Posts tagged ‘Data center’
PDU לארונות שרתים: מבוקר או מנוהל?
האם יש עדיין טעם להצטייד בפסי שקעים "בסיסיים" לארונות שרתים?
פס השקעים הידוע בכינוי RPDU, הפך לחלק משמעותי ומעניין בחוות השרתים. כיום נהוגים מס' סוגים של פסי שקעים:
1. פסי שקעים מנוטרים – כאלו שמודדים ומציגים באמצעות צג מקומי את צריכת החשמל
2. פסי שקעים חכמים – מודדים ומציגים את צריכת החשמל ושולחים התראות דרך הרשת
3. פסי שקעים מנוהלים- יש בהם את יכולות הפסים החכמים + מאפשרים כיבוי והדלקה מרחוק
במה לבחור אם כך?
אני מאמין שהתשתית הפיזית של חוות השרתים חייבת לתמוך בשלושת יעדי העל:
1. רציפות עסקית
2. זמינות ( קיבולת בכל זמן)
3. עלות כוללת
לטעמי, פסי שקעים חכמים הם המינימום ההכרחי:
1. רציפות עסקית – כמעט כל חוות שרתים רצינית משקיעה ביתירות כלשהי. עם פס שקעים בסיסי, אין ערובה לשום יתירות. וזאת משום שללא בקרה, קל מאוד להעמיס את פסי השקעים בעומס העובר את ה 50%. במקרה של קריסת אחת ה"רגליים" יועמס פס השקעים הנותר ביותר מ 100% ויקרוס. עמו יקרוס גם ארון השרתים (במקרה הטוב). כלומר ההשקעה העצומה ביתירות (שרתים בעלי שתי הזנות המובילות לשני פסי שקעים ומשם לשני לוחות חשמל, לשתי מערכות אל פסק וכו) מתבזבזת בשל חיסכון תמוה על פס השקעים.
לאנגלים יש ביטוי טוב לתאר זאת:
"penny wise and pound foolish"
פס שקעים חכם יתן לנו התראה כאשר נעבור רמת סף של עומס אותה נגדיר אנחנו. לדוגמא 45%. לדיון מעמיק ראו פוסט קודם.
2. זמינות: השקענו בחוות שרתים ואנו רוצים לנצל את ההשקעה במלואה. איך זה שמרבית הארונות ריקים למחצה ומנהל החווה מתלונן שאין לו יכולת לקלוט ציוד חדש? ובכן, בכדי לדעת אם ארון השרתים מולנו יכול לקלוט ציוד נוסף הצורך, נניח, עוד 2 קילו-וואט, עלינו לדעת כמה צורך הארון שלפנינו. פס שקעים חכם המחובר לתוכנת שליטה כגון Power IQ , יציג את צריכת הארון שלפנינו לאורך זמן. כך נדע ברמת ביטחון גבוהה אם נוכל להוסיף ציוד לארון וכמה.
3. עלות כוללת: ניטור צריכת החשמל ברמת הארון נותן לנו את האפשרות ליזום שיפורים בתחום היעילות האנרגטית ולחסוך כסף רב לארגון אותו ניתן לנצל להתעצמות. בנוסף, ניטור מאפשר ניתוח עלות-תועלת של רכישת שרתים חדשים.
טיפים נוספים לבחירה נבונה:
– הטמפרטורה בחלקו האחורי של הארון יכולה היום להגיע ל 50 מעלות. ולכן, חשוב לבחור פסי שקעים חכמים העומדים בטמפרטורות של 60 מעלות.
-תכנון המאפשר מינימום טעויות אנוש:
כיסוי למפסקים, קליפים למניעה של ניתוק לא מכוון של כבלים , לדים וסימון צבעים לפאזות השונות.
חוות שרתים בבניה מודולארית
הקונגרס בארה"ב חוקק חוק הקובע שכל חוות השרתים החדשות של הממשלה הפדרלית ייבנו בטכנולוגיה מודולארית. במה מדובר?
בניה של חוות שרתים מצריכה השקעה ראשונית משמעותית. השקעה זו גדלה עם דרישות היתירות והמיגון. עם זאת, לא רבים יודעים שהוצאות התפעול, בעיקר חשבון החשמל, מגמדות את ההשקעה הראשונית. לתופעה זו ייחדתי לא מעט פוסטים ולא נדון בכך עכשיו.
היתרונות של הדטה סנטר המודולארי הם משמעותיים ביותר:
1. זמן תכנון הנמדד בשבועות לעומת חודשים בגישה המסורתית
2. זמן הקמה קצר: 5-6 חודשים לעומת 24-36 חודשים של חוות שרתים מסורתית זאת בניגוד לחוות שרתים מדור 1.0 שהיא תמיד יחידה ומיוחדת ואין כמוה בעולם ועל כן הסיכון הוא תמיד גדול יותר.
3. תכנון מוכח ומנוסה ואף הוסמך ל טיר 3
4. עלות ההקמה נמוכה יותר בגישה המודולארית משום שיש יתרון כלכלי בייצור על פס ייצור לעומת בניה יחידנית.
5. כל מי שניהל פרויקט בינוי מורכב יודע שחלק גדול מהעלות והסיבה לחריגות בתקציב הוא התארכות הפרויקט מעבר ללו"ז המקורי. פרויקטים ממשלתיים אורכים שנים רבות. במגזר הפרטי, שנתיים. בבנקאות שלוש שנים. בשיטה המודולארית, זמן ההקמה הוא 5-6 חודשים מההזמנה ולכן הסיכון להתארכות הפרויקט קטן מאוד.
6. חוות שרתים מודולארית יכולה להיבנות בשלבים. ועל כן ניתן להתחיל בהשקעה קטנה יותר ובתקציב נוח יותר לארגון.
7. עלות המימון קטנה בהרבה כאשר בונים מודולארית
8. עלות התפעול זולה יותר. זאת משום שחוות שרתים מודולארית יכולה להיות מאוד יעילה מבחינה אנרגטית
9. עדכנות טכנולוגית: מערכות המחשוב/תקשורת/אחסון מתפתחות בקצב מואץ של דור אחד לכל שנתיים-שלוש. מערכות התשתית של הדטה סנטר מתפתחות בקצב איטי יותר של כל 5-6 שנים בערך. בשיטה המודולארית, ניתן להתקדם עם הטכנולוגיה ולהגיב לצרכים משתנים באופן ממוקד ללא השפעה על כלל המתקן.
10. עמידות במפגעים פיזיים טובה יותר בשיטה המודולארית. לדוגמא, דליקה בחוות שרתים מסורתית תשבית את כל המתקן. בחווה מודולרית, יושבת רק המודול היחידי בו אירע האירוע.
11. מערכת שו"ב מובנית בכל מודול חוסכת עלות משמעותית של פרויקט שו"ב
אם נחזור לשאלה המקורית בתחילת הפוסט, הממשל הפדרלי החליט לחסוך כסף. רעיון לא רע, גם אם מדובר בכספי ציבור.
בתמונה אתר של חוות שרתים מודולארית בניו-ג'רזי. האתר מתוכנן ל 100 מגה וואט מתוכו כ 50% בערך כבר מאוכלס. התמונה מראה את החלק הראשון של המתקן בגודל של 3 מגה-וואט שהיה מוכן לפעולה 95 יום אחרי החוזה
החסרונות: זה לא למתקנים קטנים. לטעמי, גודל מינימאלי הוא 800 קילו-וואט. עוד חיסרון: נדרש גובה של כ 6 מטר בערך בין רצפת הבטון לתקרה.
שוק חדרי השרתים צומח במהירות
מחקר של Datacenter Dynamics של שוק מרכזי המחשוב ( דאטה-סנטר) העולמי העלה את הנתונים המעניינים הבאים
1. ההשקעה בחדרי מחשב גדלה ב 2012 ב 22.1% מ 86 מיליארד דולר ל 105 מיליארד דולר
2. צפי הצמיחה בהשקעה בחדרי שרתים הוא 14.5% ב 2013
3. עיקר הצמיחה בהשקעה הוא במערכות אלקטרומכניות כגון מערכות מיזוג אוויר וחשמל
4. צמיחה חדה נרשמה גם בהשקעה במערכות ניהול
5. קניות מערכות IT כגון מחשוב, אחסון ותקשורת לתחום זה צמחו ב 16.7% ב 2012
6. תשתית ההספק (בגיגה-וואט) צמחה ב 63% ב 2012 ותצמח ב 17% ב 2013
7. 18% מארונות השרתים צורכים יותר מ 10 קילוואט לארון ( צפיפות גבוהה)
8. 33% מארונות השרתים צורכים בין 5 ל 10 קילוואט בארון (צפיפות בינונית)
9. שטח רצפה גדל ב 8.3% ב 2012 וצפוי לצמוח ב 19% נוספים ב 2013.
עד כאן הנתונים. הפרשנות שלי למספרים היא כדלקמן
בעוד חלקים נרחבים של המשק נמצאים במיתון, שוק חדרי השרתים נמצא בגידול מואץ. הסיבות העיקריות לכך הן
1. צמיחה תלולה במס' המשתמשים ביישומים ומכשירים ניידים יצרה מציאות שבה המשתמש מצפה לשירות רציף בכל תנאי ובכל זמן מה"ענן". הארגונים חייבים לבנות תשתית המאפשרת מענה ללא מגבלות CAPACITY
2. העליה התלולה בצריכת החשמל ובעלות צריכת החשמל יצרה כורח מיידי להתייעלות תפעולית. זו באה לידי ביטוי בשדרוג ובנייה של חדרי שרתים יעילים באנרגיה.
3. לקחים שהופקו משלל אסונות וניתוח סיכונים אילצו ארגונים רבים להשקיע ביתירות לצורך רציפות עסקית
בישראל מגמות אלו החלו אך עדיין לא במימדים שנראים בשאר המקומות בעולם. הארגונים הישראלים ברובם הגדול עדיין לא יישמו הלכה למעשה את תוכניות הרציפות העסקית שלהם ובוודאי לא הפנימו את התועלת הכלכלית האפשרית בהתייעלות אנרגטית.
מה בין הטמפרטורה בחדרי השרתים לבחירת ה PDU ?
כדי לחסוך בחשבון החשמל, ארגונים נאורים מכוונים את מערכות מיזוג האוויר בחדרי השרתים כך שהאוויר הקר שנצרך על ידי השרתים יהיה בסביבות 24 מעלות צלזיוס. בפוסט הזה נידרש להשלכות של מהלך זה על ה Rack PDU .
מהי הטמפרטורה בחלקו האחורי של ארון השרתים? ובכן זה תלוי בשרתים. יש שרתים שפולטים אוויר חם ב 10 מעלות מהאוויר הקר שינקו. יש שרתים, בעיקר שרתי להב ושרתי HPC, שפולטים אוויר חם ב 25 -20 מעלות מהאוויר הקר שינקו. להפרש הטמפרטורה הזו אנחנו קוראים Delta T.
אם טמפרטורת האוויר הקר שיונק השרת היא 25 מעלות, הרי שבהסתמך על הכתוב לעיל, הטמפרטורה בחלקו האחורי של הארון יכולה לנוע בין 35 ל 50 מעלות.
כבר פגשתי מנהלי חוות שרתים שנחרדו מטמפרטורות אלו. אל חשש, מה שחשוב לפעולתו התקינה של השרת היא הטמפרטורה (והלחות) של האוויר הנכנס לשרת. לא של האוויר היוצא ובוודאי לא הטמפרטורה במקומות אחרים בחלל החדר.
עם זאת, בחלק האחורי של ארון השרתים יש ציוד אקטיבי. וחשוב מאוד לוודא שציוד זה יכול לעבוד בטמפרטורות של 55 מעלות.
פסי השקעים החכמים/ מנוטרים ( PDU ) הם חלק חיוני מהדטה-סנטר המתקדם. מדובר בציוד אקטיבי לכל דבר וחשוב מאוד לוודא שהם יכולים לעמוד ולעבוד בטמפרטורת סביבה של 55 מעלות בחלקו האחורי של הארון.
יצרני Rack PDU העומדים בכך: Server Technology, Raritan, Emerson .
תכנון חדרי מחשב וחוות שרתים
זה הסטנדרט המומלץ של אלכסנדר שניידר
למנמ"ר המתכנן את מרכז המחשוב ( datacenter ) החדש של הארגון, יש הזדמנות לנצל נוהגים מתקדמים ( Best Practices ) בתכנון חדרי שרתים, ולשפר את התשתית עליה נשען מערך ה IT תוך חיסכון בעלות כוללת. להלן "עשר הדיברות"
1.TCO – הגדירו את רמת היתירות הנדרשת וחשבו את העלות כוללת ל 10 עד 15 שנים. השקעה ראשונית גדולה במס' אחוזים יכולה לחסוך עשרות אחוזים ב TCO.
2.בחירת השרתים גם על פי צריכת האנרגיה – עלות התפעול (בעיקר אנרגיה חשמלית) של שרת לאורך שלוש שנים גבוהה יותר מעלות השרת עצמו. בחרו בחוכמה שכן השוני בין השרתים הוא משמעותי.
3.וירטואליזציה – שימוש בוירטואליזציה מאפשר חיסכון משמעותי ברכש חומרה ובעלות התפעול של חוות השרתים. עם זאת, צריכת האנרגיה של שרת פיזי שעליו 5-20 שרתים וירטואליים גבוהה משמעותית מבעבר ויש צורך בחשיבה עדכנית בתשתית החשמל ומיזוג האוויר.
4.צפיפות מחשוב גבוהה – העלות הכוללת של חדר שרתים עם צפיפות מחשוב גבוהה ( high density ) נמוכה משמעותית ממרכזי מחשוב המפזרים את המחשוב על שטח רצפה נרחב. עם זאת, נדרשת חשיבה מקצועית וחדשנית להתמודדות עם כבילה צפופה, תשתית חשמל ומיזוג אוויר לצפיפות גבוהה. כדאי להתגבר על הנטייה להיצמד לשיטות עבר – החיסכון הוא משמעותי.
5.מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
6. מיזוג אוויר חדשני וממוקד. המיזוג הממוקד מאפשר התמודדות עם כל עומס, חיסכון באנרגיה חשמלית וניצול מיטבי של ההשקעה בתשתית. עם זאת, היזהרו ממוכרנים שממוקדים רק במה שכדאי להם למכור . ישנן מגוון שיטות כגון קירור פנים-ארון, קירור חדר, קירור שורה ולכל אחת מאלו ואריציות שונות. מה נכון? כל פרויקט לגופו על פי הדרישות, הצרכים והאילוצים. טיפ חשוב: בחדרים בהם מיזוג האוויר מבוסס על צ'ילרים: דרשו ממתכנן מיזוג האוויר לתכנן לפי טמפ' מים קרים של לפחות 12 מעלות צלזיוס. רצוי אף יותר. זה יביא לחיסכון עצום בצריכת החשמל ותקבלו הרבה יותר מהמערכות שהתקנתם.
7. הפרדה מוחלטת של אוויר קר ואוויר חם – אחת הסיבות העיקריות לבזבוז העצום במיזוג אוויר ובחשמל בחוות שרתים הוא חוסר ההפרדה בין אוויר קר לחם. שימוש בפנלים עיוורים הוא חובה בסיסית עם החזר השקעה של יומיים בערך. הפרדה בין המעבר הקר למעבר החם יכולה גם היא להביא לחיסכון משמעותי. גם כאן יש כר נרחב של אפשרויות: סגירת מעבר הקר (עם או בלי מערכות קירור מים), סגירת המעבר החם ( רק בשילוב מערכות קירור מים), שיטה היברידית ועוד.
8.ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
9. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
10. הסמכה מבצעית של חדרי שרתים – טבען של תקלות בתכנון וביצוע של חדרי שרתים חדשים, הוא שהן מתגלות זמן רב לאחר העלייה לאוויר עם הצמיחה הטבעית בעומס. תקלות אלו גורמות לזמן דמימה ( downtime ) של חדרי שרתים קריטיים לארגון. ההסמכה המבצעית של אלכסנדר שניידר בוחנת תחת עומס אמיתי את כל מערכות חדר השרתים: מיזוג אוויר, חשמל , יתירות ויעילות אנרגטית. הבדיקה היא באמצעות אמולטורים של חומרה , חיישנים מתקדמים ותוכנת בקרה ייעודית. ההסמכה המבצעית מורידה דרמטית את ההסתברות לתקלות תשתית ומגלה את כל הבעיות לפני הכנסת מערכות האמת של ה IT לחדר השרתים החדש כאשר כל המערכות עדיין באחריות וכל המתכננים והקבלנים עדיין זמינים.
ארגון אשר יישם את עשרת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יכולת חוות השרתים להגיב לצרכי הארגון, ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
אנו מקיימים ימי עיון לעיתים קרובות בנושא תכנון וניהול חדרי שרתים. למעוניינים כתבו לטלי שרון tali@schneider.co.il
פורום Datacenter: ביקור בחדר המחשב של אינטל
יום ה DATACENTER באינטל שפורסם קודם לכן נדחה לחודש מרץ.
נוציא הודעה בנושא כשיסגר התאריך המדויק.
יגאל
גל של חדשנות שוטף את תחום חוות השרתים
ארונות קירור מים,פסי צבירה,PDU מנוהלים- נוהגים מיטביים בחוות שרתים
עתה כשנותרנו מיעוט קטן (אך איכותי!) אפשר להתעמק בדברים.
לפני מס' חודשים נועדתי עם חברה המתכננת חדר מחשב חדש שיעלה לאוויר, לפי תוכניותיהם, ב 2015. אמנם אני מצדיע לחברות ישראליות החושבות לטווח ארוך, אך הדבר גרם לי להרהר בלוחות הזמנים הנהוגים לעיתים בתעשייה שלנו. פרויקט הקמה של אולם מחשוב הוא פרויקט בפני עצמו. יצירת אומנות יחידנית אשר הכול בה מפותח מאפס ונתפר כולו לפי צרכי הלקוח. נכון? לא בהכרח.
מאחר וחברה מקימה לעצמה חדר מחשב אחת לכל 5 עד 20 שנים, הרי כשארגון מבקש להקים לעצמו חדר מחשב חדש, זו התנסות חדשה לרוב מובילי הפרויקט. אל צוות המפעל חוברים יועצים וקבלנים חיצוניים שלהם יותר ניסיון (אנו מקווים) ונוצר צוות פרויקט אשר אין לו ניסיון משותף. הצוות מתחיל את התכנון מאפס (דבר משתלם ביותר למתכננים) ונשען על ידע לא מושלם ולא עדכני. זו הסיבה העיקרית לכך ששלב התכנון אורך בדרך כלל חודשים רבים (במקרים אחדים גם מספר שנים), כמו גם שלב הבניה, ושהפרויקט ברובו מבוסס על ניסוי וטעייה ולא על נוהגים מיטביים.
גם בהתחשב בעבודה הקשה של צוות הפרויקט, עלות התמשכות הפרויקט והטעויות בהחלטות התכנוניות עולים לארגון כסף רב. התוצאה הסופית היא חדר מחשב ייחודי באמת אשר אין זהה לו והדבר נזכר כאן לא כמחמאה (אולי להיפך) אלא כציון עובדה.
התופעות הללו מתרחשות לא רק בחדרי מחשב הנבנים במבנה חדש על קרקע בתולית (Greenfield data center ) אלא גם בפרויקטים של שדרוג חדרי מחשב ( datacenter upgrade ). גם כאן מדובר בהוספת יכולות של אספקת חשמל ומיזוג אוויר וגם כאן צוותים שהוקמו אד-הוק עובדים כדי לשדרג את חדר מחשב במינימום עלויות והשבתה.
כדי לפתור בעיות מסוג אלו, אחת המגמות המתחזקות בתחום חדרי השרתים היא חדרי מחשב מודולאריים בבנייה טרומית המבוססים על מודולים בתצורות אשר נוסו ונבדקו במפעל ( pre-configured ), וקל להתקינם באתר ולדעת מראש את רמת הביצועים שנקבל ( Pre-engineered ). הרחבה והגדלה ניתנים לביצוע בקלות יחסית.
גם כאן הנוהגים המיטביים מאפשרים היום הוספת מודולים פנימיים ( Pods ) כגון ה SMART AISLE של אמרסון המכילים מס' משתנה של ארונות שרתים, מערכות מיזוג ממוקד ( כגון מערכות קירור ארון או קירור שורה) ומערכות חלוקת חשמל (כגון פסי צבירה של STARLINE ) המורידות באופן דרמטי את זמני התכנון והיישום הנדרשים כמו גם את העלויות.
דוגמא נאה לצורך המחשה היא חדר מחשב הנבנה על פי השמועה על ידי מייקרוסופט באיידהו שבארה"ב. גודל החדר כ MW 5, ענק במושגים ישראליים אך לא במושגי מייקרוסופט, והוא יושלם תוך 28 שבועות מיום חתימת החוזה. החדר בנוי ממודולים של KW 600 כ"א כל מודול בנוי ממספר מבנים טרומיים המובלים לאתר במשאית ומחוברים תוך ימים לתשתית.
חיסכון באנרגיה בזמן אמיתי ונהלים מיטביים. מה ניתן ללמוד מ eBay ?
זירת המסחר eBay היא אחת מזירות המסחר האינטרנטי הגדולות בעולם, ולכן היא דורשת שרידות מוחלטת ממרכז המחשוב שלה; כל זמן דמימה (downtime) יכשיל עסקאות ששוויין יותר מ-2,000 $ לשנייה. משום כך חייבים אנשי הצוות במרכז המחשוב העולמי של eBay לספק הן רציפות עסקית (uptime) והן גמישות ברמה הגבוהה ביותר, וכל זאת תוך שמירה על עלויות נמוכות.
זהו אתגר מורכב בהחלט, שכדי להצליח בו דרושה חדשנות מתמדת.
מאז שהתחילה לפעול, בנתה eBay שנים-עשר מרכזי מחשוב, ועומס החישובים רק הולך וגובר. לא פלא שגם עלויות התפעול של מרכזי המחשוב של החברה גדלות מדי שנה, במקביל לצמיחה העסקית הרצופה. בשל כך בנתה חברת eBay תוכנית ארבע-שנתית, והתחילה להפעיל אותה במרכזי המחשוב שלה. לתוכנית יש יעד שאפתני: להקטין את הוצאות החשמל בחצי תוך הכפלה של ביצועי החישוב; יחד עם זאת, המבנה של התשתית החדשה ישפר את המהימנות ואת מהירות התגובה התפעולית.
כדי להשיג יעדים אלה, תמזג חברת eBay את נכסיה ותקטין את מספרם של מרכזי המחשוב שלה. כל מרכז מחשוב חדש ייבנה מן היסוד במטרה להיות חסכוני באנרגיה ככל האפשר, בלי לפגוע ברציפות העסקית.
"אסטרטגיה מוצלחת במרכזי מחשוב מניחה שדרישות המחשוב יגדלו מדי שנה, אבל היא מאפשרת להם לגדול כנדרש בלי לייקר באופן פרופורציוני את עלויות התפעול," מסביר דין נלסון (Dean Nelson), דירקטור בכיר ב-eBay לתפעול ואסטרטגיה במרכזי המחשוב אותו פגשתי בכנס שערכה חברת Starline . "אנו חייבים לשבור את הקשר הליניארי שבין עומס החישובים לבין עלויות התפעול. לשם כך עלינו לעשות קפיצת דרך ביכולות שלנו בתחומי החיסכון באנרגיה, כוח החישוב וניצול השרתים."
במאי 2010 חנכה eBay את מתקן הדגל שלה, אבן הפינה של האסטרטגיה החדשה למרכזי המחשוב, פרויקט 'טופז'. במתקן זה, הממוקם בסאות ג'ורדן, יוטה, השקיעה חברת eBay את ההון הרב ביותר שהשקיעה אי פעם בפרויקט יחיד, והוא מחזיק כשליש מתשתית השרתים העולמית של החברה. אף על פי שהפריסה במרכז הנתונים כוללת את כל היתירות הנדרשת לצורך מהימנות בסיווג Tier IV, מתגאה מתקן 'טופז' בנצילות שימוש בחשמל (PUE) בגובה 1.4 בלבד.
נהלים מיטביים ליעילות מירבית
בתשתיות של 'טופז' שולבו מנגנונים חדשניים לחיסכון באנרגיה. חמישה מרכיבים מרכזיים בתכנון 'טופז' מעוררים עניין מיוחד בשל ערכם ובשל התאמתם לכל מרכז מחשוב מודרני:
1. הפרדה פיזית וסגירה של מעברים קרים /חמים כדי להגיע ליעילות קירור מירבית, התקינה eBay פתרון להפרדה בין מעברים. eBay בחרה בסגירה של המעבר החם, לא לפני שתכננה אותו בתשומת לב, ניסתה אבטיפוס שלו וביצעה מדידות. סגירת המעבר החם מתבצעת על ידי הפרדה קשיחה של המעברים ותיעול האוויר החם החוזר אל מערכות המיזוג דרך התקרה הכפולה.
- האוויר החם חוזר ליחידות המיזוז דרך התקרה
2. הפצה של 400V לכל ארון בחלק מהארונות ב-eBay יושבים שרתי להב מרובים, ולכן החברה רצתה שכל המסדים יהיו מסוגלים לספק עומסים בהספק של עד 17kW. אפשר, אמנם, להשיג זאת גם בשיטה המסורתית, אבל ב'טופז' בחרו למתוח את כבלי המתח הגבוה עד לארונות, והוזילו משמעותית את העלויות. משום שכל מסד מקבל חשמל במתח 400V, מצטמצמים אובדני הכוח בשנאים מורידי המתח ועל הקווים, ויחד עם זאת החברה חוסכת בתשתיות הנחושת. eBay בחרה לספק מתח תלת-פאזי של 400V לשני פסי שקעים חכמים במסד (הנקראים גם "PDU במסד"). מערכות ה-PDU במסדים, מספקות לכל שרת מתח חד-פאזי של 240V. מתח זה נמצא בתוך טווח הפעילות של כל ספק כוח של ציוד IT כלשהו. בזכות ביטולן של המרות מתח מיותרות, הפצת 400V מקטינה את עלויות האנרגיה ב-2-3% בערך בהשוואה להפצת 220V.
3. מדידה מפורטת של צריכת חשמל בשרתים נהוג לומר שהמדד הכלכלי החשוב ביותר בעיניהם של צוותי התפעול במרכזי המחשוב של eBay הוא העלות המצרפית הכוללת לכל חיפוש. ומשום שכל דור שרתים חדש מציע שיפורים אדירים בביצועי ה-CPU, חברת eBay מחליפה את השרתים שלה במחזוריות של שנתיים; הרווח בביצועים פֶּר וואט גבוה ממחירו של הציוד החדש. אבל חברת eBay תקטין באמת את העלות לכל חיפוש רק אם תכלול בחישוביה את כל עלויות התפעול של כל שרת חדש שהיא רוכשת, ולא רק את מחירו. ועלות התפעול הגבוהה ביותר של כל מכשיר היא ההוצאה על צריכת החשמל שלו. כדי לאתר הזדמנויות לחיסכון המרבי, eBay התקינה במסדים מערכות PDU של חברת Raritan הקוראות את צריכת החשמל המדויקת בכל ספק כוח ובכל שרת בודד. פסי השקעים של Raritan מספקים מידע רציף על צריכת החשמל בקוט"ש בכל מכשיר בודד במרכז המחשוב, בדיוק של 1%. רמת דיוק זו מאפשרת, על פי התקינה, חיוב לקוחות על פי מדידה זו. פסי שקעים חכמים אלו מיועדים לספֵּק הן את צרכי ה-IT והן את צרכי המתקן כולו, והן מזינות, בזמן אמיתי, את הנתונים שהן אוספות למערכות ניהול המבנה ורישום הציוד של eBay. במושגי קונסורציום Green Grid, הן מבצעות ניטור PUE מקטגוריה 3 (או PUE3). "פסי שקעים חכמים נותנים לי את הדיוק שאני צריך בשביל לחשב את עלויות התפעול האמיתיות שלי בכל שרת עד האגורה האחרונה," אומר נלסון. "כך אני יכול להכיר את פרופיל היעילות של כל אחד מספקי הציוד, וכשאני מכין את סבב ה-RFP הבא של השרתים, אני יכול לגבש דרישות שיחזירו את מחירן."
4. מדידת טמפרטורה ברזולוציה גבוהה פרויקט 'טופז' שילב מנגנונים מהפכניים שונים במערכת הקירור שלו, ואז פנה להמשיך ולייעל אותה בזמן אמיתי – הן בהיבט העלויות והן בהיבט המהימנות – מתוך היכרות עם סביבת הפעילות של כל אחד מהשרתים. רוב מרכזי המחשוב מודדים ומבקרים את טמפרטורות האוויר היוצא ממערכות המיזוג ואת טמפרטורת האוויר החוזר אליהן. אבל נתונים אלה מוסרים מידע מקורב בלבד על סביבת השרתים האמיתית. הקירובים מאלצים את צוות המתקן לקחת מרווחי ביטחון ולקרר קירור עודף, וזהו צעד בזבזני, בהגדרה. חברת eBay, לעומת זאת, יודעת מהן טמפרטורות הכניסה והיציאה המדויקות בכל ארון וארון במרכז המחשוב 'טופז'. בפרט, מאמצים ב'טופז' את המלצות ASHRAE לניטור סביבתי של שרתים, ומודדים את הטמפרטורה בשלושה מפלסים של המעבר הקר: למעלה, באמצע ולמטה. מדידות אלה מתווספות למדידות במעבר החם. בזכות הניטור הרצוף יכולה eBay לכוונן את משתני הקירור ליעילות מרבית, ויחד עם זאת לקבל התראה מיידית על כל בעיה ברמת השרת. הקורא יזכור את החיישנים ותוכנת LiveImaging מאחד הפוסטים הקודמים.
5. פסי צבירה (busway) עיליים להפצת חשמל ברוב מרכזי המחשוב פרוס מבוך תת רצפתי של קווי חשמל היוצאים מלוחות PDU אל הארונות. אלא שמבנה כזה מפריע לאוורור ובכך משבש את יעילות הקירור. כל זה קורה מתחת לרצפה הצפה ולכן לא זוכה לתשומת לב רבה, אבל עלול להיות משמעותי. יתרה מזאת, תכנון סטנדרטי המכין חיבורי "שוט" (power whips) תת-רצפתיים ייעודיים לכל מפסק, צורך כבלי נחושת מיותרים שאינם מנוצלים היטב, ואף מגביל את גמישות הזיווד של ארונות חדשים. כדי לפתור את הבעיה, משתמשים ב'טופז' בפסי צבירה עיליים של חברת starline להפצת חשמל אשר מאפשרים חיבור קל של הארונות למקור כוח של 400A. לאורכה של כל שורת ארונות מתוחים שני מסלולים, וכל אחד מהם מספק כוח חלופי ובכך מבטל לחלוטין את הצורך בחיבורי "שוט" תת-רצפתיים. תוך דקות אפשר להוסיף שקעים למארזים מוגנים במפסק אוטומטי בכל נקודה לאורך שורת הארונות, במקום להמתין מספר ימים עד שיגיע חשמלאי ויתקין עוד "נקודות חיבור".
סיכום
חברת eBay מעוניינת מאוד בשיפור המהימנות של מערכות המחשוב שלה, שכן זמן דמימה עולה לה 2,000 $ לשנייה, כלומר $120,000 לדקה. בגלל היקף הפעילות הגדול של החברה, היא חייבת לשמור שההוצאות על ציוד ועל חשמל לא יצאו משליטה. משום כך פיתחה eBay מודל למרכזי המחשוב שלה, המבטיח פעילות IT ברמת מהימנות גבוהה מאוד וגם מוזיל את עלויות התפעול ב-50% בהשוואה למרכזים הישנים שהיא מוציאה מפעילות בהדרגה. גם מרכזי מחשוב צנועים יותר שיאמצו את הנהלים המיטביים בתעשיית ה-IT כפי שעשתה eBay, יכולים להאריך את זמן הרציפות העסקית (uptime), לקצץ בהוצאות ולהתייעל, תוך שימוש בציוד זמין ובטכניקות ותהליכים פשוטים.
מהי הטמפרטורה הרצויה בחדרי מחשב? עדכון
וחשוב לא פחות: היכן מודדים את הטמפרטורה? זו אחת השאלות החשובות למנהלי חדר מחשב, והאמת היא גם שעניתי על כך לא אחת בפוסטים קודמים ובמאמרים בעיתונות המקצועית. לא הייתי מטריח את הקורא אלמלא החידושים בתחום. החידושים הם גם בתחום התקינה וגם בתחום תוכנות הניהול והבקרה של חדרי המחשב.
על פי ASHRAE , טווח הטמפרטורה הרצוי לאוויר הקר הנשאב לשרתים הוא בין 18 ל 27 מעלות צלזיוס ( בעבר הלא רחוק זה היה 20-25 ) . הטווח המותר הוא בין 15-31 מעלות. הנוהגים המיטביים בתעשייה מכוונים ליישום טמפרטורה של 24 מעלות. טמפרטורה זו מאפשרת חיסכון בחשמל ועדיין מותירה מרווח ביטחון למקרה של כשל קצר במערכות מיזוג האוויר.
ניתן לכוון לטמפרטורה של 24 מעלות כאשר החדר ממוזג ביעילות, בדרך כלל באמצעות הפרדת מעברים קרים וחמים, ויש אחידות פחות או יותר בטמפרטורת האוויר במעבר הקר.
מס' טעויות נפוצות:
טעות 1: למדוד את הטמפרטורה במקומות לא חשובים כגון במעבר החם, בפינת החדר, ליד התקרה.
מה שחשוב מבחינת שרידות המערכות זה לבקר את האוויר הקר הנשאב לשרתים. מדידות במקומות נוספים כגון במעבר החם ובנקודות הכניסה והיציאה של מערכות מיזוג האוויר חשובות לצורך בקרה על היעילות האנרגטית של מיזוג האוויר בחדרי המחשב. אך, מה שקריטי לצורך שרידות חדר המחשב זו טמפרטורת (ולחות) האוויר בכניסה לשרתים.
טעות 2: למדוד בנקודות בודדות בחדר:
לחסוך בחיישנים זה כבר לא באופנה. המלצת ASHRAE היא למדוד בכל קדמת ארון, בשלוש נקודות גובה את הטמפרטורה והלחות. הנוהגים המיטביים ( best practices ) אומרים: בשלושה גבהים בקדמת ושלושה גבהים בצידו האחורי של ארון השרתים
טעות 3: להיבהל מטמפרטורות גבוהות בחלק האחורי של הארון
תרגיע. 50 מעלות בחלק האחורי של השרת זה בסדר גמור ואפילו טוב מאוד. גם 60 מעלות בהנחה שיש לך הפרדה טובה של מעברים קרים וחמים. אם אין לך, זה סיפור אחר.
טעות 4: לקרר יתר על המידה
יש עדיין כאלה שאוהבים שאנשים יוצאים חולים מחדר המחשב שלהם. סתם בזבוז.
בתמונה המצורפת רואים תמונה שמשגרים חיישנים אלחוטיים ל DASHBOARD . התמונה מראה את מפת החום בחדר המחשב. תוכנה זו הנקראת LIVEIMAGING מבית אלכסנדר שניידר. התוכנה מאפשרת לצפות בזמן אמיתי במצב החדר מבחינה טרמית ולזהות את הנקודות הדורשות טיפול מיידי. חמוד לא?
תוכנה המראה את מפת החום בחדר המחשב בזמן אמיתי
שינויים ב Tier system של מכון ה Uptime
בשנה שעברה הודיע ה Uptime Institute שהוא עובד על שינויים בהגדרת רמות השרידות בעזרת ועדה המורכבת ממנהלי DATA CENTER. לאחרונה פורסם השינוי הראשון.
הסבר קצר על רמות השרידות: Tier System
הגדרת רמות השרידות מ רמה 1 ( Tier 1 ) הבסיסית עד רמה 4 (Tier 4 הגבוהה ביותר) של מכון ה Uptime הפכה כבר לפני שנים להיות הסטנדרט בפועל של התעשייה להגדרת רמות השרידות.
השינוי הוא הגדרה לאחסנה מינימאלית של 12 שעות סולר לגנראטורים לגיבוי. השינוי חוצה את כל הרמות, מ 1 עד 4.
השינוי התקבל בעזרת הועדה המייעצת הכוללת 29 חברות שלהן חדרי מחשב בגדלים וברמות שונות. מס' הצעות עלו לוועדה ולא התקבלו, ביניהן החלטה על זמן גיבוי מינימאלי של מערכות UPS.
המתבונן מן הצד יכול לתמוה מדוע גם Tier 1 – שהוא חדר מחשב בסיסי , הוא חלק מן ההחלטה. ובכן אחד היעדים של המכון הוא לבדל גם את חדרי Tier 1 מחדרים מאולתרים בסגנון שאנו רואים לא מעט בישראל ( לדוגמא מזגני קיר משרדיים שמזעזעים אותי כל פעם מחדש) או מסתם ארון שרתים המוצב באיזו פינה.
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 