זה הסטנדרט המומלץ של אלכסנדר שניידר

למנמ"ר המתכנן את מרכז המחשוב ( datacenter ) החדש של הארגון, יש הזדמנות לנצל נוהגים מתקדמים ( Best Practices ) בתכנון חדרי שרתים, ולשפר את התשתית עליה נשען מערך ה IT תוך חיסכון בעלות כוללת. להלן "עשר הדיברות"

1.TCO – הגדירו את רמת היתירות הנדרשת וחשבו את העלות כוללת ל 10 עד 15 שנים. השקעה ראשונית גדולה במס' אחוזים יכולה לחסוך עשרות אחוזים ב TCO.

2.בחירת השרתים גם על פי צריכת האנרגיה – עלות התפעול (בעיקר אנרגיה חשמלית) של שרת לאורך שלוש שנים גבוהה יותר מעלות השרת עצמו. בחרו בחוכמה שכן השוני בין השרתים הוא משמעותי.

3.וירטואליזציה – שימוש בוירטואליזציה מאפשר חיסכון משמעותי ברכש חומרה ובעלות התפעול של חוות השרתים. עם זאת, צריכת האנרגיה של שרת פיזי שעליו 5-20 שרתים וירטואליים גבוהה משמעותית מבעבר ויש צורך בחשיבה עדכנית בתשתית החשמל ומיזוג האוויר.

4.צפיפות מחשוב גבוהה – העלות הכוללת של חדר שרתים עם צפיפות מחשוב גבוהה ( high density ) נמוכה משמעותית ממרכזי מחשוב המפזרים את המחשוב על שטח רצפה נרחב. עם זאת, נדרשת חשיבה מקצועית וחדשנית להתמודדות עם כבילה צפופה, תשתית חשמל ומיזוג אוויר לצפיפות גבוהה. כדאי להתגבר על הנטייה להיצמד לשיטות עבר – החיסכון הוא משמעותי.

5.מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.

6. מיזוג אוויר חדשני וממוקד. המיזוג הממוקד מאפשר התמודדות עם כל עומס, חיסכון באנרגיה חשמלית וניצול מיטבי של ההשקעה בתשתית. עם זאת, היזהרו ממוכרנים שממוקדים רק במה שכדאי להם למכור . ישנן מגוון שיטות כגון קירור פנים-ארון, קירור חדר, קירור שורה ולכל אחת מאלו ואריציות שונות. מה נכון? כל פרויקט לגופו על פי הדרישות, הצרכים והאילוצים. טיפ חשוב: בחדרים בהם מיזוג האוויר מבוסס על צ'ילרים: דרשו ממתכנן מיזוג האוויר לתכנן לפי טמפ' מים קרים של לפחות 12 מעלות צלזיוס. רצוי אף יותר. זה יביא לחיסכון עצום בצריכת החשמל ותקבלו הרבה יותר מהמערכות שהתקנתם.

7. הפרדה מוחלטת של אוויר קר ואוויר חם – אחת הסיבות העיקריות לבזבוז העצום במיזוג אוויר ובחשמל בחוות שרתים הוא חוסר ההפרדה בין אוויר קר לחם. שימוש בפנלים עיוורים הוא חובה בסיסית עם החזר השקעה של יומיים בערך. הפרדה בין המעבר הקר למעבר החם יכולה גם היא להביא לחיסכון משמעותי. גם כאן יש כר נרחב של אפשרויות: סגירת מעבר הקר (עם או בלי מערכות קירור מים), סגירת המעבר החם ( רק בשילוב מערכות קירור מים), שיטה היברידית ועוד.

8.ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.

9. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .

10. הסמכה מבצעית של חדרי שרתים – טבען של תקלות בתכנון וביצוע של חדרי שרתים חדשים, הוא שהן מתגלות זמן רב לאחר העלייה לאוויר עם הצמיחה הטבעית בעומס. תקלות אלו גורמות לזמן דמימה ( downtime ) של חדרי שרתים קריטיים לארגון. ההסמכה המבצעית של אלכסנדר שניידר בוחנת תחת עומס אמיתי את כל מערכות חדר השרתים: מיזוג אוויר, חשמל , יתירות ויעילות אנרגטית. הבדיקה היא באמצעות אמולטורים של חומרה , חיישנים מתקדמים ותוכנת בקרה ייעודית. ההסמכה המבצעית מורידה דרמטית את ההסתברות לתקלות תשתית ומגלה את כל הבעיות לפני הכנסת מערכות האמת של ה IT לחדר השרתים החדש כאשר כל המערכות עדיין באחריות וכל המתכננים והקבלנים עדיין זמינים.

ארגון אשר יישם את עשרת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יכולת חוות השרתים להגיב לצרכי הארגון, ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.

אנו מקיימים ימי עיון לעיתים קרובות בנושא תכנון וניהול חדרי שרתים. למעוניינים כתבו לטלי שרון tali@schneider.co.il

בדרך כלל מדובר ביום מלא ואינטנסיבי אם כי לעיתים עורכים יום מקוצר כדי להתמקד בנושא בוער או בשניים.

מאחר ושקפים זה עניין שיכול להתיש, בנינו חדר שרתים עובד לצורך הדגמה. מדובר בחוות שרתים עובדת ופעילה שנבנתה לצרכי המחשה והדרכה כך שניתן לבקר בחדר, לגעת וללמוד באופן חופשי.

הדגמה של יתרונות סגירת המעבר הקר

נושאי ההדרכה קשורים כולם לתשתית הפיזית של ה datacenter: ניהול, בקרה, חשמל, מיזוג אוויר, תקשורת נחושת ואופטיקה, ניהול כבילה, יעילות אנרגטית, תכנון העמדה ועוד. הדגש הוא על נוהגים מיטביים – BEST PRACTICES בניהול חוות שרתים.

high density cooling up to 30KW / rack

בחדר השרתים להמחשה תראו הדגמות לנושאים רבים: ארונות שרתים מסוגים שונים, PDU מסוגים שונים, פסי צבירה מודולאריים, קירור שורה ( In Row ), קירור ארון (In Rack ), ארונות עם קירור מים, סגירת מעבר קר, ארונות ארובה, ארונות תקשורת ייעודיים לסיסקו, פתרונות ניהול כבילה, הארקה של חוות שרתים, נחושת ואופטיקה בצפיפות גבוהה, תיעול כבילה, תוכנות ואמצעי בקרה, תוכנות ניהול ועוד נושאים רבים אחרים.

חוות השרתים להדגמה של אלכסנדר שניידר

ההדרכות מתקיימות בתיאום מראש ללקוחות מתחומי ה IT, מיזוג אוויר, חשמל ושו"ב.

אורחים מחו"ל שהגיעו להדרכה בנושאי חדרי שרתים

ההנהלה הבכירה של ארגונים רבים נוטה לעיתים לחשוב על הDatacenter הארגוני כחסין מנפילות. קיים תמיד ועובד תמיד. מכונה של תנועה נצחית. כל כך נצחית עד שאין להשקיע משאבים ואנרגיה מחשבתית באספקטים של המשכיות העסקית הקשורים בחדרי המחשב.

מחקר של חברת Ponemon אליו התוודעתי בכנס AFCOM האחרון הראה שנפילות של מרכזי מחשוב תכופות הרבה יותר משחשבתי. המחקר כלל שיחות עם 450 מנהלי חדרי מחשב בארה"ב והתמקד בתקופה של 24 החודשים האחרונים. 41 מתוך הנשאלים זכו לביקור ותחקיר מעמיק באתר הדטה סנטר עצמו כדי לחקור את הסיבות והנסיבות הקשורות לאובדן ההמשכיות העסקית שלו.

לא פחות מ 95% ממרכזי המחשוב שנדגמו סבלו מקריסה משמעותית ( unplanned downtime ) אחת או יותר  בשנתיים האחרונות. ממוצע הקריסות בשנתיים האחרונות היה 2.4 פעמים בשנתיים לקריסה מליאה של הדטה סנטר ו 6.8 פעמים בשנתיים לקריסה חלקית. קריסה חלקית מוגדרת כנפילה של שורת ארונות אחת או יותר.

הסקטור הבנקאי וחוות האירוח ( Co-Location )  הראו ביצועים טובים יותר מהממוצע אך לא בהרבה: הם קרסו באופן מלא 1.8 ו 1.9 פעמים ( בהתאמה) בשנתיים האחרונות. הביצועים של סקטור הציבורי והרפואי היו פחות טובים מהממוצע. אישית הופתעתי מהממצאים משום שהם מראים שחוות האירוח בארה"ב אינן מספקות רציפות עסקית טובה יותר ממרכזי המחשוב הארגוניים.

זמן הדמימה ( downtime ) הממוצע לקריסה מליאה של הדטה סנטרים שקרסו היה 102 דקות .  זמן הדמימה הממוצע לקריסה חלקית  של הדטה סנטרים שקרסו היה 152 דקות.

החוקרים ביקרו ב 41 ממרכזי האירוח שקרסו כדי לאמוד את העלות הממוצעת של נפילת מרכזי המחשוב.  עלות קריסה מליאה של חוות השרתים הייתה כ 680,000 דולר בממוצע ועלות קריסה חלקית הייתה 258,000 דולר בממוצע. השונות בנתון זה היא גבוהה מאוד בהתאם לסקטור העסקי. בענף המלונאות עלות הקריסה הממוצעת היה כ 85,000 $ בלבד לעומת M1.1 $ בסקטור התקשורת.  עלות הקריסה של מרכזי המחשוב נובעת בעיקר מאובדן הכנסות, אובדן נתונים, נזק לחומרה, אובדן שעות עבודה, ואובדן לקוחות.

היריעה קצרה מכדי שנוכל להגיע לדיון מעמיק בסיבות ובנסיבות הקשורות לקריסה של חדרי שרתים וכיצד למנוע אותן. די אם נאמר שניהול מתקדם של הדטה סנטר מחייב בקרה ברמות שאינן נפוצות היום בישראל. אסתפק בדוגמה קצרה אחת מני רבות. דיון מעמיק יותר אנו מספקים בהדרכות שאנו עורכים ללקוחות בנושא נוהגים מיטביים ( Best Practices ).

98% מהפסקות החשמל בארה"ב אורכות פחות מ 10 שניות. במהלך אותו זמן קצר, עובר העומס מהחדר אל מערכות האל-פסק ( UPS ) ואלו, כמעט תמיד, תלויות במצברים לאספקת האנרגיה החשמלית. אחת הסיבות המובילות לקריסה של חוות שרתים היא לא אחרת מהמצברים. מצברי הגיבוי הם מוצרים אלקטרו-כימיים עשויים בטכנולוגיה בת 200 שנה והם מככבים ברשימת הסיבות המובילות לקריסת מרכזי מחשוב ב58%  מהמקרים!

יתכבד נא המנמ"ר ויסור לחדר האנרגיה שלו. אנחש שלא ביקר שם זמן רב ואולי אף פעם לא. בכל "בנק" של מצברים, יש בדרך כלל עשרות מצברים. בכל מצבר – 6 תאים. כלומר, מאות תאים חשמליים מזינים את האל פסק שלנו. בשורה התחתונה,  תא כושל אחד, יכול להפיל את מרכז המחשוב.

שלוש השיטות הנפוצות בישראל להתמודד עם סיכון זה הן
·    לא לעשות דבר ולקוות לטוב (אופטימיות היא תכונה כובשת)
·    או להחליף מצברים כל 3 שנים ( הוצאה עצומה ומיותרת).
·    המדקדקים מזמינים ספק שיבצע בדיקה למצברים כל חצי שנה או שנה שזה טוב וראוי אך יקר ולא מקטין את הסיכון ברמה ניכרת.

חיישנים ותוכנה המאפשרים לבקר בזמן אמיתי את "בריאות" המצברים

את בקרת המצברים ניתן לבצע או על ידי רכש חומרה ייעודית או כשירות מבוסס IP שבמסגרתו אנו מתקינים את מערכת הבקרה ומבצעים את ניתוח הנתונים וניהול האתראות דרך IP.  לפרטים, פנו אלי או לאבי סולומון avi@schneider.co.il

מאז שהתחילה לפעול, בנתה eBay שנים-עשר מרכזי מחשוב, ועומס החישובים רק הולך וגובר. לא פלא שגם עלויות התפעול של מרכזי המחשוב של החברה גדלות מדי שנה, במקביל לצמיחה העסקית הרצופה. בשל כך בנתה חברת eBay תוכנית ארבע-שנתית, והתחילה להפעיל אותה במרכזי המחשוב שלה. לתוכנית יש יעד שאפתני: להקטין את הוצאות החשמל בחצי תוך הכפלה של ביצועי החישוב; יחד עם זאת, המבנה של התשתית החדשה ישפר את המהימנות ואת מהירות התגובה התפעולית.

כדי להשיג יעדים אלה, תמזג חברת eBay את נכסיה ותקטין את מספרם של מרכזי המחשוב שלה. כל מרכז מחשוב חדש ייבנה מן היסוד במטרה להיות חסכוני באנרגיה ככל האפשר, בלי לפגוע ברציפות העסקית.
"אסטרטגיה מוצלחת במרכזי מחשוב מניחה שדרישות המחשוב יגדלו מדי שנה, אבל היא מאפשרת להם לגדול כנדרש בלי לייקר באופן פרופורציוני את עלויות התפעול," מסביר דין נלסון (Dean Nelson), דירקטור בכיר ב-eBay לתפעול ואסטרטגיה במרכזי המחשוב אותו פגשתי בכנס שערכה חברת Starline . "אנו חייבים לשבור את הקשר הליניארי שבין עומס החישובים לבין עלויות התפעול. לשם כך עלינו לעשות קפיצת דרך ביכולות שלנו בתחומי החיסכון באנרגיה, כוח החישוב וניצול השרתים."

במאי 2010 חנכה eBay את מתקן הדגל שלה, אבן הפינה של האסטרטגיה החדשה למרכזי המחשוב, פרויקט 'טופז'. במתקן זה, הממוקם בסאות ג'ורדן, יוטה, השקיעה חברת eBay את ההון הרב ביותר שהשקיעה אי פעם בפרויקט יחיד, והוא מחזיק כשליש מתשתית השרתים העולמית של החברה. אף על פי שהפריסה במרכז הנתונים כוללת את כל היתירות הנדרשת לצורך מהימנות בסיווג Tier IV, מתגאה מתקן 'טופז' בנצילות שימוש בחשמל (PUE) בגובה 1.4 בלבד.

נהלים מיטביים ליעילות מירבית
בתשתיות של 'טופז' שולבו מנגנונים חדשניים לחיסכון באנרגיה. חמישה מרכיבים מרכזיים בתכנון 'טופז' מעוררים עניין מיוחד בשל ערכם ובשל התאמתם לכל מרכז מחשוב מודרני:

1. הפרדה פיזית וסגירה של מעברים קרים /חמים כדי להגיע ליעילות קירור מירבית, התקינה eBay פתרון להפרדה בין מעברים. eBay בחרה בסגירה של המעבר החם, לא לפני שתכננה אותו בתשומת לב, ניסתה אבטיפוס שלו וביצעה מדידות. סגירת המעבר החם מתבצעת על ידי הפרדה קשיחה של המעברים ותיעול האוויר החם החוזר אל מערכות המיזוג דרך התקרה הכפולה.

2. הפצה של 400V לכל ארון בחלק מהארונות ב-eBay יושבים שרתי להב מרובים, ולכן החברה רצתה שכל המסדים יהיו מסוגלים לספק עומסים בהספק של עד 17kW. אפשר, אמנם, להשיג זאת גם בשיטה המסורתית, אבל ב'טופז' בחרו למתוח את כבלי המתח הגבוה עד לארונות, והוזילו משמעותית את העלויות. משום שכל מסד מקבל חשמל במתח 400V, מצטמצמים אובדני הכוח בשנאים מורידי המתח ועל הקווים, ויחד עם זאת החברה חוסכת בתשתיות הנחושת. eBay בחרה לספק מתח תלת-פאזי של 400V לשני פסי שקעים חכמים במסד (הנקראים גם "PDU במסד"). מערכות ה-PDU במסדים, מספקות לכל שרת מתח חד-פאזי של 240V. מתח זה נמצא בתוך טווח הפעילות של כל ספק כוח של ציוד IT כלשהו. בזכות ביטולן של המרות מתח מיותרות, הפצת 400V מקטינה את עלויות האנרגיה ב-2-3% בערך בהשוואה להפצת 220V.

3. מדידה מפורטת של צריכת חשמל בשרתים נהוג לומר שהמדד הכלכלי החשוב ביותר בעיניהם של צוותי התפעול במרכזי המחשוב של eBay הוא העלות המצרפית הכוללת לכל חיפוש. ומשום שכל דור שרתים חדש מציע שיפורים אדירים בביצועי ה-CPU, חברת eBay מחליפה את השרתים שלה במחזוריות של שנתיים; הרווח בביצועים פֶּר וואט גבוה ממחירו של הציוד החדש. אבל חברת eBay תקטין באמת את העלות לכל חיפוש רק אם תכלול בחישוביה את כל עלויות התפעול של כל שרת חדש שהיא רוכשת, ולא רק את מחירו. ועלות התפעול הגבוהה ביותר של כל מכשיר היא ההוצאה על צריכת החשמל שלו. כדי לאתר הזדמנויות לחיסכון המרבי, eBay התקינה במסדים מערכות PDU של חברת Raritan הקוראות את צריכת החשמל המדויקת בכל ספק כוח ובכל שרת בודד. פסי השקעים של Raritan מספקים מידע רציף על צריכת החשמל בקוט"ש בכל מכשיר בודד במרכז המחשוב, בדיוק של 1%. רמת דיוק זו מאפשרת, על פי התקינה, חיוב לקוחות על פי מדידה זו. פסי שקעים חכמים אלו מיועדים לספֵּק הן את צרכי ה-IT והן את צרכי המתקן כולו, והן מזינות, בזמן אמיתי, את הנתונים שהן אוספות למערכות ניהול המבנה ורישום הציוד של eBay. במושגי קונסורציום Green Grid, הן מבצעות ניטור PUE מקטגוריה 3 (או PUE3). "פסי שקעים חכמים נותנים לי את הדיוק שאני צריך בשביל לחשב את עלויות התפעול האמיתיות שלי בכל שרת עד האגורה האחרונה," אומר נלסון. "כך אני יכול להכיר את פרופיל היעילות של כל אחד מספקי הציוד, וכשאני מכין את סבב ה-RFP הבא של השרתים, אני יכול לגבש דרישות שיחזירו את מחירן."

4. מדידת טמפרטורה ברזולוציה גבוהה פרויקט 'טופז' שילב מנגנונים מהפכניים שונים במערכת הקירור שלו, ואז פנה להמשיך ולייעל אותה בזמן אמיתי – הן בהיבט העלויות והן בהיבט המהימנות – מתוך היכרות עם סביבת הפעילות של כל אחד מהשרתים. רוב מרכזי המחשוב מודדים ומבקרים את טמפרטורות האוויר היוצא ממערכות המיזוג ואת טמפרטורת האוויר החוזר אליהן. אבל נתונים אלה מוסרים מידע מקורב בלבד על סביבת השרתים האמיתית. הקירובים מאלצים את צוות המתקן לקחת מרווחי ביטחון ולקרר קירור עודף, וזהו צעד בזבזני, בהגדרה. חברת eBay, לעומת זאת, יודעת מהן טמפרטורות הכניסה והיציאה המדויקות בכל ארון וארון במרכז המחשוב 'טופז'. בפרט, מאמצים ב'טופז' את המלצות ASHRAE לניטור סביבתי של שרתים, ומודדים את הטמפרטורה בשלושה מפלסים של המעבר הקר: למעלה, באמצע ולמטה. מדידות אלה מתווספות למדידות במעבר החם. בזכות הניטור הרצוף יכולה eBay לכוונן את משתני הקירור ליעילות מרבית, ויחד עם זאת לקבל התראה מיידית על כל בעיה ברמת השרת. הקורא יזכור את החיישנים ותוכנת LiveImaging מאחד הפוסטים הקודמים.

5. פסי צבירה (busway) עיליים להפצת חשמל ברוב מרכזי המחשוב פרוס מבוך תת רצפתי של קווי חשמל היוצאים מלוחות PDU אל הארונות. אלא שמבנה כזה מפריע לאוורור ובכך משבש את יעילות הקירור. כל זה קורה מתחת לרצפה הצפה ולכן לא זוכה לתשומת לב רבה, אבל עלול להיות משמעותי. יתרה מזאת, תכנון סטנדרטי המכין חיבורי "שוט" (power whips) תת-רצפתיים ייעודיים לכל מפסק, צורך כבלי נחושת מיותרים שאינם מנוצלים היטב, ואף מגביל את גמישות הזיווד של ארונות חדשים. כדי לפתור את הבעיה, משתמשים ב'טופז' בפסי צבירה עיליים של חברת starline להפצת חשמל אשר מאפשרים חיבור קל של הארונות למקור כוח של 400A. לאורכה של כל שורת ארונות מתוחים שני מסלולים, וכל אחד מהם מספק כוח חלופי ובכך מבטל לחלוטין את הצורך בחיבורי "שוט" תת-רצפתיים. תוך דקות אפשר להוסיף שקעים למארזים מוגנים במפסק אוטומטי בכל נקודה לאורך שורת הארונות, במקום להמתין מספר ימים עד שיגיע חשמלאי ויתקין עוד "נקודות חיבור".

סיכום
חברת eBay מעוניינת מאוד בשיפור המהימנות של מערכות המחשוב שלה, שכן זמן דמימה עולה לה 2,000 $ לשנייה, כלומר $120,000 לדקה. בגלל היקף הפעילות הגדול של החברה, היא חייבת לשמור שההוצאות על ציוד ועל חשמל לא יצאו משליטה. משום כך פיתחה eBay מודל למרכזי המחשוב שלה, המבטיח פעילות IT ברמת מהימנות גבוהה מאוד וגם מוזיל את עלויות התפעול ב-50% בהשוואה למרכזים הישנים שהיא מוציאה מפעילות בהדרגה. גם מרכזי מחשוב צנועים יותר שיאמצו את הנהלים המיטביים בתעשיית ה-IT כפי שעשתה eBay, יכולים להאריך את זמן הרציפות העסקית (uptime), לקצץ בהוצאות ולהתייעל, תוך שימוש בציוד זמין ובטכניקות ותהליכים פשוטים.

על פי ASHRAE , טווח הטמפרטורה הרצוי לאוויר הקר הנשאב לשרתים הוא בין 18 ל 27 מעלות צלזיוס ( בעבר הלא רחוק זה היה 20-25 ) . הטווח המותר הוא בין 15-31 מעלות. הנוהגים המיטביים בתעשייה מכוונים ליישום טמפרטורה של 24 מעלות. טמפרטורה זו מאפשרת חיסכון בחשמל ועדיין מותירה מרווח ביטחון למקרה של כשל קצר במערכות מיזוג האוויר.

ניתן לכוון לטמפרטורה של 24 מעלות כאשר החדר ממוזג ביעילות, בדרך כלל באמצעות הפרדת מעברים קרים וחמים, ויש אחידות פחות או יותר בטמפרטורת האוויר במעבר הקר.

מס' טעויות נפוצות:

טעות 1: למדוד את הטמפרטורה במקומות לא חשובים כגון במעבר החם, בפינת החדר, ליד התקרה.
מה שחשוב מבחינת שרידות המערכות זה לבקר את האוויר הקר הנשאב לשרתים. מדידות במקומות נוספים כגון במעבר החם ובנקודות הכניסה והיציאה של מערכות מיזוג האוויר חשובות לצורך בקרה על היעילות האנרגטית של מיזוג האוויר בחדרי המחשב. אך, מה שקריטי לצורך שרידות חדר המחשב זו טמפרטורת (ולחות) האוויר בכניסה לשרתים.

טעות 2: למדוד בנקודות בודדות בחדר:
לחסוך בחיישנים זה כבר לא באופנה. המלצת ASHRAE היא למדוד בכל קדמת ארון, בשלוש נקודות גובה את הטמפרטורה והלחות. הנוהגים המיטביים ( best practices ) אומרים: בשלושה גבהים בקדמת ושלושה גבהים בצידו האחורי של ארון השרתים

טעות 3: להיבהל מטמפרטורות גבוהות בחלק האחורי של הארון
תרגיע. 50 מעלות בחלק האחורי של השרת זה בסדר גמור ואפילו טוב מאוד. גם 60 מעלות בהנחה שיש לך הפרדה טובה של מעברים קרים וחמים. אם אין לך, זה סיפור אחר.

טעות 4: לקרר יתר על המידה
יש עדיין כאלה שאוהבים שאנשים יוצאים חולים מחדר המחשב שלהם. סתם בזבוז.

בתמונה המצורפת רואים תמונה שמשגרים חיישנים אלחוטיים ל DASHBOARD .  התמונה מראה את מפת החום בחדר המחשב. תוכנה זו הנקראת LIVEIMAGING  מבית אלכסנדר שניידר.  התוכנה מאפשרת לצפות בזמן אמיתי במצב החדר מבחינה טרמית ולזהות את הנקודות הדורשות טיפול מיידי. חמוד לא?

תוכנה המראה את מפת החום בחדר המחשב בזמן אמיתי

הסבר קצר על רמות השרידות:  Tier System

הגדרת רמות השרידות מ רמה 1 ( Tier 1 ) הבסיסית עד רמה 4  (Tier 4  הגבוהה ביותר) של מכון ה Uptime  הפכה כבר לפני שנים להיות הסטנדרט בפועל של התעשייה להגדרת רמות השרידות.

השינוי הוא הגדרה לאחסנה מינימאלית של 12 שעות סולר לגנראטורים לגיבוי.  השינוי חוצה את כל הרמות, מ 1 עד 4.

השינוי התקבל בעזרת הועדה המייעצת הכוללת 29 חברות שלהן חדרי מחשב בגדלים וברמות שונות.  מס' הצעות עלו לוועדה ולא התקבלו, ביניהן החלטה על זמן גיבוי מינימאלי של מערכות UPS.

המתבונן מן הצד יכול לתמוה מדוע גם Tier 1  – שהוא חדר מחשב בסיסי , הוא חלק מן ההחלטה.  ובכן אחד היעדים של המכון הוא לבדל גם את חדרי Tier 1  מחדרים מאולתרים בסגנון שאנו רואים לא מעט בישראל ( לדוגמא מזגני קיר  משרדיים שמזעזעים אותי כל פעם מחדש) או מסתם ארון שרתים המוצב באיזו פינה.

מדובר בחדר מחשב מתקדם שבו מיזוג האווויר מבוסס ברובו על יחידות קירור שורה ( ROW COOLING ) מסוג cooloop של קנור אמרסון. זהו חדר בינוני בגודלו (עומס IT של מאות קילוואט) אך מתקדם ומקצועי מאוד.  האם הנזילה מקורה בתשתית מיזוג האוויר שאנו התקנו?

בעוד הצוות בדרכו לאתר, הגיעה צפירת ההרגעה.  מסתבר שהמנקה החרוצה של אותו אתר, החליטה לשטוף את רצפת חדר המחשב.  מי השטיפה הגיעו לאחד מחיישני המים מתחת לרצפה הצפה והפעילו את מערכת ההתראה וזו השביתה את יחידות מיזוג האוויר.

מסקנות ולקחים:

1. כניסת המנקה לחדר הייתה צריכה להיות מפוקחת.  אין להכניס דלי מים לדטה סנטר. הדלי צריך להישאר מחוץ לאולם המחשב או בפנים בסמוך לדלת הכניסה. את הרצפה הצפה יש לנקות עם סמרטוט לח בלבד. על עובדי הניקיון לעבור הדרכה מתאימה ולעבוד תחת פיקוח.

2. המערכת עבדה כפי שתוכננה.  אך האם הנוהל היה נכון? על מנהל חדר המחשב להחליט האם באמת יש צורך בהשבתת מערכות המיזוג כתוצאה מהתראה של חיישן אחד. לדעתנו, לא.

יש לכם סיפור טוב על לקוחים מתקלות בחדרי מחשב ?  שתפו את הקהילה כתבו לי

יגאל שניידר

כתוצאה נראה ב 2010 את 10 המגמות הללו צוברות תאוצה:

1. תוכנות ניהול ל Data Center כדוגמת תוכנת ה DC TRACK  של חברת Raritan לניהול חדרי מחשב. תוכנה זו מאפשרת ניהול מקצועי של החדר וניצול מקסימאלי של התשתיות המותקנות. לדוגמא, מנהל חדר המקבל לידיו, נניח, 10 שרתים של U1 הצורכים ביחד KW5, יוכל לקבל בלחיצת כפתור את הנתון הבא: באיזה ארון שרתים בחדר יש מקום פיזי, יש שקעי נחושת פנויים, שקעי אופטיקה פנויים, קיבולת חשמל מתאימה, קיבולת מיזוג אוויר מספיק וכ'.

2. Liquid Cooling :  לפני כ 5-6 שנים הצגנו את הטכנולוגיה של הקירור הממוקד לשוק הישראלי. רבים מידידנו אמנם התרשמו מהטכנולוגיה אך הטילו ספק בנחיצותה. היום אנו יכולים לומר מעבר לכל ספק שהטכנולוגיה הזו הגיעה לזרם המרכזי. יש לנו כ 400 מערכות מותקנות בישראל מתוך בערך כ 500 סה"כ.
אפשר להזכיר את חדר המחשב של תהיל"ה, חדר המחשב החדש של בנק ישראל, פרויקט מרשים של חיל הים, אינטל (ראו סרט של אינטל ביו טיוב או בפוסט הקודם), חדרי מחשב ברפאל, בחוות מחשוב עננים של טריפל סי ועוד רבים אחרים.
אך יש שני דגשים חשובים מעבר לנושא High Density . המערכות שאנו ממליצים עליהן מסוגלות לתת ביצועים מצוינים גם בטמפרטורות מים קרים של 16 ואף 18 מעלות (במקום 6 מעלות כנהוג במערכות מיזוג אוויר). כל מעלה מאפשרת חיסכון של 3%-4% בחשבון החשמל.
בנוסף חשוב לבחור במערכות מודולאריות. כאלו שמאפשרות לעלות מ 10kw ל kw 40 ללא קושי.

3. סגירת המעבר הקר:  המערכות הזולות ביותר, הן אלו שאנו לא צריכים לרכוש. סגירת המעבר הקר מאפשרת שדרוג אפקטיבי של חדרי מחשב קיימים וניצול מקסימאלי של התשתיות הקיימות. מדובר בסגירה מכאנית של האוויר הקר, שדרוג תוכנה למערכות המיזוג ובמקרים מסוימים החלפת מאווררים ביחידות המיזוג. היתרונות: יכולת מיזוג האוויר אפקטיבית יותר ב 50%. כתבו לי לקבלת עותק מוקדם של whitepaper שכתבנו בנושא.

4. בקרה על צריכת האנרגיה ( PUE ) יותר ויותר ארגונים מודדים את ה PUE . יחס יעילות האנרגיה של התשתית. כדי להשתפר, עלינו לדעת היכן אנו היום.

5.  Intelligent  RPDU :  פסי השקעים המתקדמים הם אבן בנין חשובה וחיונית בחדר המחשב המתקדם. RPDU מאפשרים איסוף מידע בזמן אמיתי של צריכת החשמל ופליטת החום של כל שרת וכל ארון, וקבלת מידע לצורך שימור שרידות ויתירות אמת.

6. ניהול הרצפה הצפה פתרונות כגון Cool Boot ו Kold LOK מונעים בריחת אוויר קר מפתחים לא מבוקרים ברצפה הצפה. מאפשר השבת קיבולת קירור "אבודה".

7. פסי צבירה ( Bus Ways ) כאשר תשתית החשמל מבוססת על כבלים, כל שינוי אורך שבועות וחודשים ומצריך תקציב של עשרות ואף מאות אלפי שקלים. שימוש בפסי צבירה מאפשר למנהלי הדטה סנטר לבצע שינויים באופן מיידי ללא צורך בתקציב נוסף. ראו פוסט קודם בנושא פסי צבירה של Starline .

8.  ארונות ייעודיים למתגי תקשורת מתגי סיסקו החדשים מחייבים התייחסות מקצועית גם ברמת התשתית. ביחוד ה ,Nexus 7010,  7018. ארונות ייעודיים של Panduit תוכננו יחד עם סיסקו במיוחד למתגים אלו. היתרון: פתרון לנושא הכבילה ומיזוג האוויר.

9.   מדבקות RFID מאפשרות לדעת בכל רגע נתון, בזמן אמיתי, אילו מערכות יש לנו בחדר והיכן הן בדיוק. מוכנות ל AUDIT בכל רגע נתון ואבטחת החומרה.

10. סימולציה ב CFD תוכנה הנדסית אשר מאפשרת בניית מודל טרמי של חדר המחשב והדמייה של תרחישים שונים לבדיקת תכנון מיזוג האוויר, אימות יתירות, אפקטיביות התכנון ובחירה בין אלטרנטיבות. מומלץ מאוד גם לתכנון חדר חדש וגם לתכנון שדרוג.

אישית רוויתי נחת מהצגת ארונות High Density המבוססים על קירור מים שסופקו על ידינו, חברת אלכסנדר שניידר. מדובר בארונות Cooltherm   תוצרת קנור (Knurr ) , שבהם מחליף החום נמצא בתחתית הארון ( In-Rack Cooling ) . בשל הקירור הממוקד ניתן לקרר עד KW 35 בארון ו/או לחסוך הרבה מאוד כסף בחשבון החשמל. זו המערכת היעילה ביותר ל high density הקיימת היום בשוק.

בכל ארון כזה עובדים 6 בלייד סנטרים ( 84 שרתים) .  עוד חשוב לדעת שיחידות אלו צורכות מים קרים בטמפרטורה של 16 מעלות, דבר המקנה לדטה סנטר חיסכון משמעותי בחשבון החשמל וניצול מקסימאלי של יכולות הצ'ילר.

למען הסר ספק, השורות למטה הן תוספות שלי ואינן מוצגות בסרט: 
למי שלא עוקב אחרי נושאים אלו ביומיום, אציין שבדרך כלל, מערכות מיזוג אוויר דורשות מים קרים בטמפרטורה של 6-7 מעלות כדי לספק קירור ברמה המתקרבת לטענות אנשי השיווק שלהם.

מערכת כגון זו שלנו, המאפשרת להגיע לקיבולת קירור מליאה ב 16 מעלות מים קרים מספקת את היתרונות הבאים

1. חיסכון של 30% חשבון החשמל לקירור ( 3% לכל מעלת צלזיוס)
2. אין בזבוז אנרגיה הנגרם מהוצאת והשבת לחות לאוויר
3. הצ'ילרים נותנים יותר קיבולת קירור בטמפרטורות מים גבוהות

 

 תודה לאינטל שמשתפת את השוק בתובנות שפיתחה ומסייעת לתעשייה להתייעל ולחסוך באנרגיה חשמלית.

במחקר שנערך קודם לדיון ע"י אמרסון בקרב אגוד משתמשי הדטה סנטר ( DCUG ), התברר שמרבית הארגונים מקררים את חדרי המחשב יתר על המידה.

בעוד שהמלצות ASHRAE מתירות לקרר את האוויר הקר המגיע לשרתים לרמה מקסימאלית של 27 מעלות, כל הארגונים שנסקרו ( כ 70) מקררים לטמפרטורת אוויר של 21 מעלות ומטה.

זהו בזבוז, הדגיש דילן לארסן, העלאת הטמפרטורה חוסכת הרבה מאוד חשמל וכסף.

בישראל המצב אף יותר קיצוני. הסיבות לקירור יתר ולבזבוז הנובע מכך הן כדלקמן:

1. חוסר מודעות של מנהלי חדרי המחשב לפוטנציאל הגדול לחיסכון בהעלאת הטמפרטורה
2. הנחה מוטעית שהמחשבים יתפקדו טוב יותר בטמפרטורות קרות מאוד
3. קירור בלתי ממוקד (קירור חדר) מצריך "מאבק" בנקודות חום שונות ולשם כך מקררים את כל החדר יתר על המידה
4. חוסר נוחות טבעי מעבודה בקצות הטווח המותר
5. ארונות High density שאינם ממוזגים באופן מקצועי וממוקד מכתיבים למעשה את מיזוג אוויר בזבזני

כתוצאה מקירור היתר הזה, על כל שקל המושקע בחשמל ל IT מושקעים עוד שקל עד שניים בתקורה שרובה הוא מיזוג אוויר ( PUE בין 2 ל 3 ) . בזבוז כבר אמרנו?