The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

בימים אלו הושלם ע”י חברת אלכסנדר שניידר פרויקט חוות השרתים החדשה של NetApp Israel : מעבדות פיתוח של חברת האחסון מהמובילות בתחומה.  במעבדה שולבו חוקי תכנון של IT ירוק.

המעבדה הוקמה בבניין החדש של בית צים במת”מ חיפה, והיא מהווה פריצת דרך טכנולוגית בכל הקשור לתשתיות חדרי מחשב בישראל.  החווה כוללת בשלב א’ כ- 300 שרתים ביניהם שרתי האחסון של חברת NetApp מסוג FAS3000 ו-FAS6000 בעלי קיבולת אחסון של עשרות טרה-בתים.  בשלב הסופי החדר מתוכנן לאחסן קרוב ל 1 מגה-וואט של ציוד IT בשטח של כ-240 מ”ר בלבד ועו שה שימוש חדשני ביחי דות קירור מים המבוסס על קירור שורת ארונות השרתים.

היזמים ומנהלי הפרויקט מטעם נט-אפ היו המהנדסים ארז רוזנטל ואפרים גרינברג. הפרויקט בוצע  ע”י חברת אלכסנדר שניידר משלב התכנון, הבנייה והביצוע . שמנו דגש רב על חיסכון בהוצאות החשמל ויישמנו במידת האפשר כללים של IT ירוק כגון קירור מים ויישום מודולארי והדרגתי. כמו כן ביצענו  את פרויקט המעבר מחדר המחשב הישן של NetApp .

עיקרי הפרויקט:
240 מ”ר
100 ארונות שרתים (בשלב הסופי)
40 יחידות קירור מים - מבוסס לפי קירור שורה Row cooling
תכנון מודולארי ליישום הדרגתי
מיזוג אוויר מתוכנן לחיסכון בחשמל
KW 7 לארון שרתים בשלב א, 10 KW לארון בשלב הסופי
ניהול כבילה מתקדם
תשתית מים, כבילה וחשמל עילית
ללא רצפה צפה
מעבר החדר  - תוך 36 שעות

שלום אביטן-מנהל תחום Data Center באלכסנדר שניידר:
“האתגר הראשון בהעתקת החווה ובתכנון האתר היה לתמוך בציוד IT מתקדם ומגוון הנדרש על ידי מהנדסי החברה בעת פיתוח מערכות האחסון של הדור החדש”, “סך הכול קיבלנו כ 240 מ”ר לאחסנת מאות שרתים ובצריכה כוללת של קרוב ל 1 מגה-וואט. נבנתה תשתית כבילה עילית, ויושמה צפיפות מחשוב-הספק ( high density computing ) של קרוב ל 10 קילו-וואט לארון שרתים, הרבה מעבר ל 4 קילו-וואט לארון שהוא הגבול הסביר להספק בחדר מחשב רגיל”.

הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית.  כבלי נחושת ואופטיקה נפרשו באתר החווה. “לצורך זה התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב

חיסכון בחשמל הוא עיקרון היסוד של חדר המחשב הירוק.  גם בחדרים שטרם הגיע זמנם לשדרוג “ירוק” , ניתן לקיים צעדי חיסכון והתייעלות קלים ומהירים. לדוגמא, כדי לחסוך משמעותית בחשמל בחדרי מחשב, אנו ממליצים ללקוחותינו לנהל בתבונה את הרצפה הצפה. 
מדוע זה חשוב ולמה אנו מתכוונים?

הוצאות החשמל הן כ 50% מהוצאות התפעול של חדרי המחשב. יתרה מזאת, סעיף הוצאות זה ממשיך לצמוח בטור גיאומטרי. חשוב לצמצם הוצאה זו במידת האפשר. ניהול נבון של הרצפה הצפה מאפשר חיסכון משמעותי בהשקעה מזערית.

דוגמא לניהול שגוי הוא השארת פתחים ברצפה הצפה למעבר כבלים. פתח של 15X20 ס”מ יכול לגרום לאובדן המשתווה ל 2 קילוואט של קירור, כלומר הוצאה מיותרת של כ 8,000 ₪ בשנה! מאחר ומדובר בד”כ בפתחים רבים שאינם מבוקרים,  מדובר בהוצאות של עשרות אלפי שקלים בשנה בחדר בינוני.

בנוסף, האוויר הקר הלא מבוקר נוטה להתערבב עם אוויר חם ולהשפיע לרעה על נצילות וקיבולת יחידות הקירור בחדר. דבר הגורם להוצאות חשמל מיותרות נוספות ולנקודות חמות בחדר.דוגמא לפיתרון שעלותו מזערית: מסגרת עם מברשות שערות (אנטי סטטיים – זה חשוב!) שניתן להרכיב בפתח חדש או על פתח קיים. מאפשר תיעול כבילה נוח ובמקביל מונע בריחת אוויר קר.

משרד האוצר והצוות בראשות בועז דולב זכו בפרס ה”אוסקר של ה IT ” לשנת 2007 של קבוצת אנשים. הפרס, לקטגורית DRP,  יוענק למשרד האוצר, כמו גם לזוכים האחרים בטקס חגיגי ב 15/12/07.
מדובר בחדר המחשב של תהיל”ה, ממשל זמין, שהוקם על ידי חברת אלכסנדר שניידר. אני מאוד גאה בפרויקט זה משום משדובר בחדר מחשב המתקדם מסוגו בארץ המאחסן כ 1,000 שרתים בשטח של 90 מ”ר ברוטו - מה שקרוי high density servers .  החדר משלב מערכות קירור המספקות 60% חיסכון בעלות חשבון החשמל; צעד גדול בכיוון של חדר מחשב “ירוק”.

 הפתרונות שסיפקנו כוללים ארונות  עם קירור מים אינטגראלי, כבילת נחושת ואופטיקה בצפיפות גבוהה, מערכות PDU מנוהלות, ומטריצות שליטה KVM מסוג Paragon . החדר הוקם כפרויקט TURN KEY ע”י חברת אלכסנדר שניידר שניהלה גם את מעבר חדר המחשב. מידע נוסף על הפרויקט וחדר המחשב, ניתן לראות בפוסט קודם מחודש מאי 2007.

יגאל שניידר

לחזרה לבלוג לחצו כאן

חבר שלי התקשר אלי לשאול: באחת מהחברות שבבעלותו בונים חדר מחשב חדש במסגרת מעבר משרדים. הוא קיבל תקציב שבין השאר מפרט 105 טון קירור. “זה הרבה מאוד, לא?” הוא שאל.

ברור שהתשובה היא פונקציה של העומס. אבל, להלן כמה מושגים שימושיים לאנשי IT.

Watts (W) = Volts (V) x Amps (A)

למעשה זהו גם החום הנפלט מהשרתים. כל האנרגיה החשמלית הנכנסת לשרתים נפלטת בצורה של חום:

BTU  (British Thermal Unit)  =  יחידת חום  

כדי לקרר הספק של   1W (וואט אחד) נדרשים 3.432 BTU

אז כמה זה טון קירור?

BTU=  ~  3.5KW 12,000 =  1 ton cooling

לדוגמא:

230Volts x 160Amps = 36,800Watts = 36.8kW

36.8KW  /  3.5    =   10.5  ton cooling

חוקי אצבע שימושיים:

1. לחישוב מהיר, חלקו את מספר הקילו-וואט ב 3.5 כדי לקבל טון קירור
2. ארון שרתים ממוצע של שרתי  2U מפזר 4-5KW
3. ארון תקשורת ( U40 )  מלא במתגים יצרוך  6KW
4. שרת מתקדם עם שני כרטיסי רשת ושני דיסקים יצרוך  400- 500 וואט בפועל (נתוני 2007)
5. שרתים עם כרטיס רשת אחד יצרכו באופן טיפוסי W 300 לשרת
6. צריכה בפועל של שרת תהיה 50% מהנומינאלי (בחדר מחשב אופייני. לא במעבדות!)

דוגמאות:

בלייד סנטר אחד (14 שרתי להב, W 3600 ) דורש אחד טון קירור
ארון שרתי להב עם 6 בלייד סנטרס ( 84 שרתי להב) יצרוך 6 טון קירור
ארון מלא ב 40 שרתי פיצה מתקדמים,  W 400 כ”א (50% מהנומינאלי) פולט KW 16 שדורשים 4.5 טון קירור.

יגאל שניידר

לחזרה לבלוג לחצו כאן

אינטל פרסמה white paper שנושאו באנגלית צחה
” Expanding Data Center Capacity with water cooled cabinets ”

במסמך מתארת אינטל פרויקט בו נדרשו להוסיף לחדר מחשב ישן בן 2,000 שרתים שהגיע לקצה קיבולת הקירור שלו עוד כ 2,000 שרתי להב. אינטל עשתה זאת באמצעות התקנה של 26 ארונות מקוררי מים. בכל ארון 84 שרתי להב, סה”כ 21 עד 23 קילוואט לארון!

מאוחר יותר, עם הצלחת הפרויקט נוסף שלב שני ובו הותקנו עוד כ 2,000 שרתי להב. סה”כ הותקנו באותו חדר מחשב ותיק למעלה מ 4,000 שרתי להב נוספים.

בניית חדר מחשב חדש דורשת משאבים רבים ונאמדת במיליוני דולרים. ניתן לשדרג את חדר המחשב, להכפיל ולשלש את הקיבולת שלו, בחמישית העלות. אינטל, חברה מקצועית מאוד הבינה את הפוטנציאל בשיטה זו ויישמה אותה במהירות ובמקצוענות.

מעניין שמחברי המסמך לא הזכירו אלמנט חשוב מאוד: ארונות אלו חוסכים כ 50% ויותר מעלות החשמל לקירור בחדר המחשב. כלומר, יתרון משמעותי בהוצאות התפעול.

אנו מכירים את הפרויקט היטב ונשמח להוסיף פרטים כפוף להרשאות מחברת אינטל.

אינטל הודיעה על כוונתה לאחד את 130 חדרי המחשב שלה ברחבי העולם ל 8  מרכזי נתונים בלבד.  לדברי ברנטלי דייויס ,מנהל תהליכי ההתייעלות של חדרי מחשב באינטל, הקונסולידציה של מרכזי הנתונים תאפשר לה להגיע לסטנדרטיזציה מליאה, וירטואליזציה נרחבת, וצפיפות מחשוב (יותר קילו-וואט לארון,  י.ש) גבוהה יותר. 

המטרה: חיסכון באנרגיה, הורדת עלויות ויצירת גמישות תפעולית לצורך מענה מהיר לדרישות הארגון.    

מעניין לראות שהמגמה עליה הצבענו באלכסנדר שניידר כבר לפני 3 שנים של צפיפות המחשוב (high density computing ) ממשיכה לעלות עם מגמת הקונסולידציה.  כדי לחסוך בעלויות, חברות מאחדות חדרי מחשב ובד בבד מנסות להקטין ככל האפשר את גודל החדר. עלות מ”ר של חדר כזה עולה אך החדר קטן יותר וכך קטנה העלות הכוללת (השקעה ראשונית + עלות תפעול שוטף)  וגם (למי שזה חשוב) קטנה הפגיעה באיכות הסביבה.   

לחזרה לראש הבלוג הקליקו כאן

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה”ירוק” הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד”כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ”רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

נניח שמחלקת ה-IT מודיעה לקבוצת התשתיות על כוונתה לרכוש שרתים חדשים במהלך התקופה הקרובה.

כיצד יכולה מחלקת ה-IT לסייע למתכנני תשתיות המיזוג להתכונן כיאות?

דרך אחת היא לבקש מספק הציוד דוח ביצועים של ASHRAE לשרת המדובר (לחצו על הטבלה להגדלה).

ASHREA הוא הארגון האמריקאי למהנדסי חשמל ומיזוג אוויר. זהו ארגון אובייקטיבי, לא למטרות רווח, והוא במידה רבה האורים והתומים של תשתיות חדרי המחשב בעולם.

רוב יצרני ציוד ה-IT מסוגלים לספק דוח זה. הדוח מספק למתכנני המיזוג והחשמל שני נתונים חשובים:

1. פליטת החום של השרת (בוואט)
2. צריכת האוויר של השרת ( ב CFM )

הדוח נותן את הנתונים לשרת ב 3 תצורות- תצורת מקסימום, תצורה טיפוסית, ומינימום. נתונים אלו יאפשרו למתכנני המיזוג להבין היטב את עומס החום שיתווסף לחדר המחשב, לפני שלב ההטמעה.

 לחזרה לראש הבלוג לחצו כאן

אחד מידידי שמנהל אולם מחשב, הביע באוזני תסכול על כך שלמרות שאנשי התשתיות בחברתו הוסיפו כ 30 טון קירור לחדר המחשב שלו, המצב בחוות השרתים השתפר רק באופן מינורי.  ” החדר חם ואני יודע שיהיו לי בעיות” אמר.

ידידי אינו לבד.  בכל מקום מנסים מהנדסי התשתית/הנדסה/בינוי לפתור את בעיית החום בחדרי המחשב ע”י הוספת יחידות קירור. הטעות שבידם היא שהפתרון אינו בהוספת אוויר קר לחדר , אלא בהפרדת אוויר חם וקר ובהולכת האוויר ( air delivery ) הקר אל הארון, ומן הארון אל יחידת המיזוג.

קצת רקע לאנשי ה IT: 
• ספיקת אוויר נמדדת בד”כ ביחידה הנקראת    (CFM ( cubic feet per minute
• שרת להב זקוק ל 105 CFM לכל קילו-וואט, ( בערך 3000 CFM לארון מלא)
• שרת “פיצה” זקוק ל 160 CFM לכל קילוואט  (בערך 4800 CFM לארון מלא
• הגדרה: מחשוב בצפיפות גבוהה – מעל KW 6 בארון
לדוגמא:  כדי לקרר ארון שרתים המלא ב 40 שרתי U1 חדישים  יש צורך ב 2400-4800 CFM

הבעיה: מרצפת מחוררת מסוגלת להעביר לכל היותר כ 550 CFM של אוויר קר לארון.  הבעיה השנייה היא שהשרתים פולטים חום רב שמשתחרר לחלל החדר ואינו מתועל באופן מדויק חזרה ליחידת הקירור. 
 
 ולכן, הוספת יחידות קירור בשיטה הקלאסית תבזבז חשמל רב ותעלה ממון רב אך יעילות השיטה מפוקפקת מאוד למחשוב בצפיפות גבוהה.

הבעיה כפי שאני רואה אותה היא בחוסר התקשורת שבין אנשי ה IT למתכנן המיזוג.  להערכתי, ידידי היה מקבל פתרון טוב יותר לו היה מציב מול מתכנן המיזוג את העובדות הבאות:
1. חדר המחשב נזקק לפתרונות של מחשוב בצפיפות גבוהה ( high density ) - שרתי להב ו U1
2. אני זקוק ל 10 ארונות של שרתי להב עם יכולת של 3000 CFM לכל ארון.

לו היה עושה כך,  מתכנן המיזוג היה מבין שהוספת יחידת קירור של 30 טון-קירור כגון ליברט בקצה החדר היא רעיון נואל.  הפתרון האמיתי הוא HOTZONE כפי שתואר בפוסט קודם.

שנה טובה

לחזרה לראש הבלוג לחצו כאן

בכמה מסתכם חשבון החשמל של ארון שרתים בודד?  (התשובה אגב, 35,000 $)

כמובן שהשאלה מעניינת אם  אנו בוחנים שרתים מתקדמים ולא מכונות מיושנות.

ובכן שרתי פיצה מתקדמים של תחילת 2007 כדוגמת שרתי TWIN צורכים בתצורה מליאה בין 800W ל 1 KW לשרת.

כמובן שמעטים רוכשים את התצורה המליאה ומפעילים את השרת ב 100%.  ולכן בוא נניח 40% מההספק הנומינאלי כלומר, 400W לשרת.

40 שרתים בארון מלא —> KW 16 לארון שרתים.

קילוואט שעה עולה בישראל 0.10 $ . לארון השרתים הנ”ל  נכפיל ב 16 ונקבל 1.60 $  לשעה.  

כפי שתיארנו בפוסט קודם, על כל קילוואט לציוד ה IT מושקעים עוד 2 קילוואט במיזוג אוויר ובתשתיות החשמל.  בחדרי מחשב (חוות שרתים)  מתקדמים יחסית מקדם היעילות הוא 2.5 . בואו נניח שחדר המחשב שבדוגמא שלנו הוא אכן חדר מתוכנן היטב עם מקדם יעילות של 2.5 .

ולכן עלות החשמל לארון שרתים זה הוא 1.6X 2.5 =  כלומר , 4 $ בשעה.

נכפיל ב 24 שעות ונקבל 96 $ ביום.

נכפיל ב 365 ונקבל 35,040 $ בשנה לארון הצורך KW 16 .

אגב גארטנר צופים שארון שרתים יגיע ל KW 52 עד שנת 2011. לפי אותה שיטת חישוב - חשבון החשמל יגיע בארון כזה ל 45,000 $ בשנה ואף יותר. עלות החשמל למיזוג האוויר היא 40% מסכום זה.

לחזרה לראש הבלוג לחצו כאן