The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

כמה עולה מ”ר של חדר מחשב?    ובכן, תלוי אם מחלקים את העלות בכל השטח שכולל שטחי שרות ואת שטח חדר האנרגיה, או רק את שטח ה IT שהוא בערך השטח של הרצפה הצפה.

חדר מחשב ברמה של Tier 4 נבנה בימים אלה בניופורט , ויילס שבאנגליה. מרכז נתונים זה נבנה על ידי NGD ( Next Generation Data Ltd ) ויקרא NGD1 . גודלו כ 37,000 מ”ר והוא יחולק ל 15 חדרים נפרדים כדי לאחסן לפחות 15 לקוחות גדולים שונים. עלות הבנייה היא כ 400 מיליון דולר ( מעל 10,000$ למ”ר). לא נמסר כמה מתוך השטח הזה יהיה ל IT בלבד כלומר כמה יהיה שטח הרצפה הצפה.

אם ננחש שכ 40% משטח המתקן ייוחד לרצפה צפה הרי שמחיר מ”ר יהיה כ 27,000 $.

חדר מחשב ברמה של Tier 3 נבנה בימים אלה על ידי חברת VISI במיניאפוליס בעלות של 19 מיליון דולר. גודל המתקן כ 4600 מ”ר בסה”כ ( $4,000 למ”ר) מתוכו כ כ 1,200  מ”ר יהיה שטח רצפה צפה המיוחד ל IT. אם מודדים לפי פרמטר זה הרי שעלות כל מ”ר היא כ 15,000 $ למ”ר.

רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDU - Cabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding).  הפתרון מבוסס על CDU של חברת    Server Technology               
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים: 

1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר

 משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.

מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי.  כמו כן יש דיון בנושא יישום נכון של  יתירות ב PDU בפוסט קודם

חג שמח

בהרצאת הפתיחה של כנס AFCOM בלאס וגאס נאם מייקל מאנוס, דיירקטור לשרותי דטה-סנטר של מייקרוסופט. שלושה דברים הדהימו אותי בהרצאה שלו:

1. מאנוס סיפר שמיקרוסופט מוסיפה כ 12,000 (שנים עשר אלף) שרתים בחודש.  אף אחד בקהל לא הניד עפעף. לפני מס’ שנים היינו היינו שולחים אדם שמצהיר על מספרים כאלו להסתכלות.  היום זה כבר מובן מאליו.  השמועות מספרות שגוגל למשל מוסיפה כ 25,000 שרתים בחודש.

2. מאנוס תיאר את הפרוייקט הבא של מיקרוסופט בתחום חדרי המחשב.  חדר מחשב ענק זה ייבנה כעיר מכולות, לא כבניין בטון.  כלומר, ציוד מחשוב חדש יתווסף במכולות שיכילו מס’ כלשהו של ארונות שרתים מזוודים, מחווטים ומוכנים להפעלה.  גילוי נאות: כמי שמקדם את נושא חדרי המחשב הניידים בארץ, שמחתי לקבל חיזוק כה משמעותי.  לפרטים על מכולות חדרי המחשב ראו      

3. מיקרוסופט הגיעו להשגים מדהימים ביעילות האנרגיה של חדרי המחשב על ידי שימוש בנוהגים מתקדמים.  יעילות זו נמדדת ביחס פשוט.  לוקחים את קריאת מונה החשמל המסופק לכלל החדר (ל IT, מיזוג ותשתיות)  ומחלקים את החשמל המסופק לציוד ה IT בלבד ( קריאת ה UPS ).  יחס זה נקרא PUE ( הגריד הירוק) או EER על ידי ה Uptime Institute .

האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב? 

אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב.  הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל”נפילת” חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים   (Practices)   לא עדכניים.

מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:

1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU  - Power Distribution Unit  ברמת הארון
6. ספקי הכוח של השרתים עצמם

מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 .  לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU. 

כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח.  עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא  נכון.  במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.

בחדר מחשב ברמה 4  ( Tier 4 ) יש שתי מערכות של אספקת  החשמל ובכל מערכת (ענף) מצויים  כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N  וזה גם המחיר:  עלות כפולה. 

בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4  ולכן אין לנו בד”כ יתירות של 2N.  אנו מתפשרים   משיקולי עלות- תועלת ואילוצים אחרים.    

נתמקד אם כך בשיפור היתירות בעלות נמוכה  ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.

במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת.  ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.

ברוב המקרים מותקנים שני PDU בארון.  תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס.  במקרה של כשל  בספק אחד, עובר כל העומס לספק השני.  תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה. 

לדוגמא,  ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו.  ובכן מה הבעיה? 
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל  PDU B . במקרה כזה, PDU B  סופג עומס של 120% והארון נופל.    

נוהגים נכונים:

חוק מס 1:  העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון 

חוק מס’ 2:  העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.

כלומר, אם הנקודה מאפשרת 20A  לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)

מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר.  בישראל קוראים לזה בדרך כלל PDU חכם  (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)

מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים  והנה PDU חדש וחכם במיוחד

לחזרה לבלוג הקליקו כאן

האתגר של ניהול מקצועי של הכבילה, נהיה קשה יותר עם צפיפות המחשבים ( high density ) .  ראו תמונות של כבילה בחדרי מחשב ותקשורת ברחבי העולם.    תמונות אלו הורדו מהאינטרנט ואינן של אתרים בארץ. מזכיר לכם משהו?

לחזרה לבלוג

יגאל שניידר

הרעב הבלתי פוסק של התעשייה לכוח מחשובי מביא אותנו להתמודד עם אתגרי תשתית חדשים כגון חום, אספקת חשמל, ניהול כבילה צפוף, רעש ומשקל.

בפוסט הזה אני מעוניין להקדיש מס’ מילים לנושא הרעש.

ארון שרתים יכול להכיל היום כ 42 שרתי “פיצה” או למעלה מ 90 שרתי להב. במעבדות ובחדרי מחשב בהן אנשים עובדים במחיצת המחשבים, ייתכן נזק רב לבריאות העובדים בשל הרעש הנוצר מהמחשבים.
רעש מעל 65 דציבלים נחשב רעש הפוגע באופן משמעותי באיכות החיים, רעש שעוצמתו מעל 70 דציבלים נחשב רעש מזיק, ורעש מעל 60 דציבלים נחשב רעש מפריע.

בחברת אלכסנדר שניידר פיתחנו  פיתרון בדמות ארון שרתים המבודד את רעש המחשבים מהסביבה החיצונית. בהתקנה שביצענו מדדנו ירידה של למעלה מ 20 דציבלים ברמת הרעש מארון שרתים ( מ 70 דציבל לפחות מ 50).

כמו כן, בשיתוף עם חברה ישראלית בשם סילנטיום, פיתחנו ארון שרתים אקוסטי המאפשר לקרר כ KW 6 של ציוד מחשוב ומכשור המייצר רעש נגדי ובכך “מבטל” למעשה את הרעש.

בתמונה, ארון אקוסטי מבוסס קנור עם תוספת פיתוח ישראלי, בזמן תהליך הייצור.  הארון , במקרה זה סופק מחווט ללקוח.

יגאל שניידר

לחזרה לעמוד הבית של הבלוג www.datacenter.org.il

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה”ירוק” הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד”כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ”רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

לא רבים מבינים את מלוא החשיבות של תכנית העמדה של ארונות השרתים בעת תכנון חדר המחשב.  ביצועי אולם המחשב הם במידה רבה פונקציה של תוכנית העמדה נכונה ושל ביצוע מדויק של התוכנית.

תוכנית העמדה כוללת את מימדי החדר ואת מיקום ארונות השרתים וכל ציוד אחר בחדר.  לתוכנית ההעמדה השפעות על הפרמטרים הבאים:

1. מספר ארונות השרתים והאחסון שניתן להציב בחדר
2. צפיפות המחשוב שניתנת לביצוע ( לדוגמא: כמה קילו-וואט בארון)
3. מורכבות ועלות תשתית החשמל והמיזוג
4. התנהגות האוויר החם והקר בחדר ועד כמה היא צפויה בעת שינויים
5. עלות החשמל לתפעול החדר לאורך חיי חדר המחשב

בפרויקטים רבים , תוכנית ההעמדה נעשית בשלב מאוחר מידי של הפרויקט. במקרים אלו ביצועי החדר לא יהיו אופטימאליים.  תכנון או ביצוע כלאחר יד של תוכנית העמדה של אולם המחשב  תגרום לירידה בקיבולת החדר וביכולת להציב כמות שרתים נאותה, ירידה בצפיפות המחשוב ועלייה בחשבון החשמל.

יצא  white paper  מאוד מעניין של APC בנושא זה.  המסמך באנגלית. מי שמעוניין בהעתק, מוזמן לכתוב לי ואשלח בשמחה.

יגאל

לחזרה לראש הבלוג לחצו כאן

חדרי השרתים הם זוללי החשמל הגדולים ביותר בארגונים כגון היי-טק, מוסדות פיננסים וספקי שרותי תקשורת. ההספקים הנדרשים על ידי השרתים והאחסון בחוות השרתים מגיעים למאות קילוואט ואף מגה-וואטים לחדר מחשב. 

כיום, כשחברת החשמל מתריעה על הקושי לספק את הצריכה וכאשר מחירי החשמל מאמירים, חשיבה וניהול של חדר מחשב “ירוק” , תהיה לא רק ידידותית לסביבה אלא גם תחסוך מאות אלפי דולרים בשנה בחשבון החשמל.

לא כולם יודעים שעל כל שקל  המושקע בחשמל המגיע לשרתים, מושקע עוד שקל לפחות על מיזוג אוויר ועוד שקל מושקע בחשמל לתשתיות אחרות. כלומר, על כל שקל חשמל לשרתים יש תקורה (בזבוז) של 2 שקלים. בחדר מחשב גדול מדובר בבזבוז של מאות אלפי שקלים בחודש בחשבון החשמל.

בחדר המחשב הירוק – מקטינים משמעותית את הבזבוז בחשמל. איך עושים זאת ב 3 צעדים קלים יחסית?

1. מרכזים את כל זוללי החשמל ( = פולטי חום) הגדולים באזור אחד שנקרא HOT ZONE .  אם למדת שעליך לפזר אותם בחדר, חשוב שנית. זה כבר לא עובד כך.  ה HOT ZONE יכול להיות שורה אחת או שתיים של ארונות שרתים באחת מפינות החדר.
2. קררו את ה HOT ZONE באמצעי קירור מתקדמים לשרתים בצפיפות גבוהה. בעיקר מדובר בארונות עם קירור אינטגראלי בהם יחידות הקירור (לא אוורור) נמצאות קרוב לציוד ומקררות אותו ולא את החדר. בשפת העם- ארונות עם קירור מים.  זה יעיל יותר טכנולוגית וכלכלית.
3. בנו תשתית מודולארית של הספק וקירור . תשתית מוגזמת גורמת לבזבוז אדיר בחשמל, בייחוד כאשר הניצול בפועל נמוך משמעותית מהקיבולת.   כמו כן,  ההשקעה הקפיטאלית (  CAPEX )  בציוד מתבצעת רק בזמן הנדרש ולא בהכרח בזמן הקמת החדר.
4. השתמשו במה שקרוי Best Practices . ראו פוסט קודם.

בתמונה זו נראה HOTZONE בחדר מחשב ירוק בארץ.  7 ארונות שבכל אחד 6 בלייד-סנטרס . בכל ארון שרתים   23 קילו-וואט של שרתים.  סה”כ 160 קילוואט בשבעה ארונות.  החיסכון השנתי בחשמל : 58,000 $ . לא אמרנו שמנהל הכספים יאהב אותך?

כנס  E-Gov  בנושא “ממשל זמין” שהתקיים ב- 5 יולי בהשתתפות בכירי המשק והתעשייה הטכנולוגית דן באתגרים המורכבים שמציבה המאה ה- 21 . 

הוזמנתי להרצות בכנס בזכות פרוייקט חדר המחשב שבצענו ב TURN KEY בפרוייקט תהיל”ה - ממשל זמין.  חדר המחשב של תהיל”ה כולל 1,000 שרתי “פיצה” בשטח של 90 מ”ר ומצטיין בפתרונות קירור חדשניים, חיסכון משמעותי בהוצאות החשמל, אמצעי בקרה מתקדמים ומטריצת שליטה מאובטחת ( Paragon ) המאפשרת לאדמיניסטרטורים רמת גישה ושרות גבוהה מאוד.  זהו חדר המחשב המתקדם והחסכוני ביותר בישראל. לתיאור מפורט של הפרויקט ראו פוסט קודם.

 בהרצאה בכנס הצגתי את הסיבות למשבר הפוקד את חדרי המחשב בתחום ההספק ומיזוג האוויר.   בניגוד לסברה שפתרונות לפתיחת צוואר הבקבוק של התשתית עולים כסף רב ודורשים חודשים רבים, הצגתי דוגמאות לפרוייקטים בישראל המבוססים על ארונות מקוררי מים שלא עלו ממון רב והתקנתם התבצעה תוך זמן קצר.

העליתי לאוויר וידיאו של המצגת (ראו מימין) . אורכו כ 15 דקות בערך.

יגאל