The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

בימים אלו הושלם ע”י חברת אלכסנדר שניידר פרויקט חוות השרתים החדשה של NetApp Israel : מעבדות פיתוח של חברת האחסון מהמובילות בתחומה.  במעבדה שולבו חוקי תכנון של IT ירוק.

המעבדה הוקמה בבניין החדש של בית צים במת”מ חיפה, והיא מהווה פריצת דרך טכנולוגית בכל הקשור לתשתיות חדרי מחשב בישראל.  החווה כוללת בשלב א’ כ- 300 שרתים ביניהם שרתי האחסון של חברת NetApp מסוג FAS3000 ו-FAS6000 בעלי קיבולת אחסון של עשרות טרה-בתים.  בשלב הסופי החדר מתוכנן לאחסן קרוב ל 1 מגה-וואט של ציוד IT בשטח של כ-240 מ”ר בלבד ועו שה שימוש חדשני ביחי דות קירור מים המבוסס על קירור שורת ארונות השרתים.

היזמים ומנהלי הפרויקט מטעם נט-אפ היו המהנדסים ארז רוזנטל ואפרים גרינברג. הפרויקט בוצע  ע”י חברת אלכסנדר שניידר משלב התכנון, הבנייה והביצוע . שמנו דגש רב על חיסכון בהוצאות החשמל ויישמנו במידת האפשר כללים של IT ירוק כגון קירור מים ויישום מודולארי והדרגתי. כמו כן ביצענו  את פרויקט המעבר מחדר המחשב הישן של NetApp .

עיקרי הפרויקט:
240 מ”ר
100 ארונות שרתים (בשלב הסופי)
40 יחידות קירור מים - מבוסס לפי קירור שורה Row cooling
תכנון מודולארי ליישום הדרגתי
מיזוג אוויר מתוכנן לחיסכון בחשמל
KW 7 לארון שרתים בשלב א, 10 KW לארון בשלב הסופי
ניהול כבילה מתקדם
תשתית מים, כבילה וחשמל עילית
ללא רצפה צפה
מעבר החדר  - תוך 36 שעות

שלום אביטן-מנהל תחום Data Center באלכסנדר שניידר:
“האתגר הראשון בהעתקת החווה ובתכנון האתר היה לתמוך בציוד IT מתקדם ומגוון הנדרש על ידי מהנדסי החברה בעת פיתוח מערכות האחסון של הדור החדש”, “סך הכול קיבלנו כ 240 מ”ר לאחסנת מאות שרתים ובצריכה כוללת של קרוב ל 1 מגה-וואט. נבנתה תשתית כבילה עילית, ויושמה צפיפות מחשוב-הספק ( high density computing ) של קרוב ל 10 קילו-וואט לארון שרתים, הרבה מעבר ל 4 קילו-וואט לארון שהוא הגבול הסביר להספק בחדר מחשב רגיל”.

הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית.  כבלי נחושת ואופטיקה נפרשו באתר החווה. “לצורך זה התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב

ארון שרתים אמור לאחסן ציוד יקר ולאפשר נגישות ושירותיות קלה. היום ברור שבחירת ארון שרתים על סמך מחיר בלבד גובלת בחוסר אחריות מובהק.  30 או 40 שרתי פיצה או 3-4 מארזי להבים עולים עשרות ומאות אלפי דולרים ושוקלים קרוב לטון.  חשוב לבחור ארון שלא רק יענה לצרכים של היום אלא גם של השנים הקרובות:   להלן  קריטריונים לבחירת ארון שרתים

1. משקל – יכול לשאת משקל של 1,200 קילו לפחות
2. דלת מחוררת קדמית עם חרור של 83% משטח הדלת  – לצורך אספקת כמות אוויר מקסימאלית
3. רוחב של 80 ס”מ – בניגוד לרוחב 60 ס”מ שהיה נהוג בעבר. הסיבה – ניהול כבילה מסודר שאינו מפריע לזרימת האוויר
4. עומק –  מומלץ 120 ס”מ.  השרתים נהיים עמוקים יותר ויותר.
5. דלת אחורית מחוררת כפולה – מינימום מקום.
6. פרופילים עם סימון U לצורך התקנה קלה יותר
7. למתקדמים בלבד– עמידות ברעידות אדמה לארונות המיועדים לציוד קריטי
 

אשמח להערות והארות

יגאל

עיקר הנזק הסביבתי והבזבוז הכספי ב IT נגרמים על ידי צריכת החשמל הגוברת של חדרי המחשב. אבל לא רק שם.
ולכן Green IT מגדיר 4 קריטריונים, שלושה מהם רלבנטיים לחדר המחשב, והרביעי הוא מעבר לחדר המחשב.

חדר המחשב הירוק:
1. תשתית חדר המחשב יעילה וחסכונית בחשמל. מדובר בעיקר במיזוג אוויר יעיל, ובתכנון חסכוני בתשתיות האחרות ( אל-פסק, גנרציה, לחות וכ’) . דוגמאות: ארנות מקוררי מים, מערכת אל פסק עם אובדן סטטי נמוך, שימוש בהוהגם מתקדמים ( Best Practices ) וכן הלאה.
2. שימוש חסכוני במשאבי חדר המחשב: בעיקר בציוד IT על ידי וירטואליזציה, ובשטח על ידי שימוש ב High Density
3. בחירת ציוד IT גם (לא רק) על סמך ניצולת ההספק שלהם. לדוגמא: מעבר לשרתי להב, ספקי כוח עם ניצולת מעל 80%.

משרד האוצר והצוות בראשות בועז דולב זכו בפרס ה”אוסקר של ה IT ” לשנת 2007 של קבוצת אנשים. הפרס, לקטגורית DRP,  יוענק למשרד האוצר, כמו גם לזוכים האחרים בטקס חגיגי ב 15/12/07.
מדובר בחדר המחשב של תהיל”ה, ממשל זמין, שהוקם על ידי חברת אלכסנדר שניידר. אני מאוד גאה בפרויקט זה משום משדובר בחדר מחשב המתקדם מסוגו בארץ המאחסן כ 1,000 שרתים בשטח של 90 מ”ר ברוטו - מה שקרוי high density servers .  החדר משלב מערכות קירור המספקות 60% חיסכון בעלות חשבון החשמל; צעד גדול בכיוון של חדר מחשב “ירוק”.

 הפתרונות שסיפקנו כוללים ארונות  עם קירור מים אינטגראלי, כבילת נחושת ואופטיקה בצפיפות גבוהה, מערכות PDU מנוהלות, ומטריצות שליטה KVM מסוג Paragon . החדר הוקם כפרויקט TURN KEY ע”י חברת אלכסנדר שניידר שניהלה גם את מעבר חדר המחשב. מידע נוסף על הפרויקט וחדר המחשב, ניתן לראות בפוסט קודם מחודש מאי 2007.

יגאל שניידר

לחזרה לבלוג לחצו כאן

אינטל פרסמה white paper שנושאו באנגלית צחה
” Expanding Data Center Capacity with water cooled cabinets ”

במסמך מתארת אינטל פרויקט בו נדרשו להוסיף לחדר מחשב ישן בן 2,000 שרתים שהגיע לקצה קיבולת הקירור שלו עוד כ 2,000 שרתי להב. אינטל עשתה זאת באמצעות התקנה של 26 ארונות מקוררי מים. בכל ארון 84 שרתי להב, סה”כ 21 עד 23 קילוואט לארון!

מאוחר יותר, עם הצלחת הפרויקט נוסף שלב שני ובו הותקנו עוד כ 2,000 שרתי להב. סה”כ הותקנו באותו חדר מחשב ותיק למעלה מ 4,000 שרתי להב נוספים.

בניית חדר מחשב חדש דורשת משאבים רבים ונאמדת במיליוני דולרים. ניתן לשדרג את חדר המחשב, להכפיל ולשלש את הקיבולת שלו, בחמישית העלות. אינטל, חברה מקצועית מאוד הבינה את הפוטנציאל בשיטה זו ויישמה אותה במהירות ובמקצוענות.

מעניין שמחברי המסמך לא הזכירו אלמנט חשוב מאוד: ארונות אלו חוסכים כ 50% ויותר מעלות החשמל לקירור בחדר המחשב. כלומר, יתרון משמעותי בהוצאות התפעול.

אנו מכירים את הפרויקט היטב ונשמח להוסיף פרטים כפוף להרשאות מחברת אינטל.

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה”ירוק” הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד”כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ”רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

לא רבים מבינים את מלוא החשיבות של תכנית העמדה של ארונות השרתים בעת תכנון חדר המחשב.  ביצועי אולם המחשב הם במידה רבה פונקציה של תוכנית העמדה נכונה ושל ביצוע מדויק של התוכנית.

תוכנית העמדה כוללת את מימדי החדר ואת מיקום ארונות השרתים וכל ציוד אחר בחדר.  לתוכנית ההעמדה השפעות על הפרמטרים הבאים:

1. מספר ארונות השרתים והאחסון שניתן להציב בחדר
2. צפיפות המחשוב שניתנת לביצוע ( לדוגמא: כמה קילו-וואט בארון)
3. מורכבות ועלות תשתית החשמל והמיזוג
4. התנהגות האוויר החם והקר בחדר ועד כמה היא צפויה בעת שינויים
5. עלות החשמל לתפעול החדר לאורך חיי חדר המחשב

בפרויקטים רבים , תוכנית ההעמדה נעשית בשלב מאוחר מידי של הפרויקט. במקרים אלו ביצועי החדר לא יהיו אופטימאליים.  תכנון או ביצוע כלאחר יד של תוכנית העמדה של אולם המחשב  תגרום לירידה בקיבולת החדר וביכולת להציב כמות שרתים נאותה, ירידה בצפיפות המחשוב ועלייה בחשבון החשמל.

יצא  white paper  מאוד מעניין של APC בנושא זה.  המסמך באנגלית. מי שמעוניין בהעתק, מוזמן לכתוב לי ואשלח בשמחה.

יגאל

לחזרה לראש הבלוג לחצו כאן

מגמת ה IT הירוק / חדר מחשב ירוק צוברת תאוצה

סיסקו הכריזה ש  Green IT ומערכות תקשורת חסכוניות בחשמל הפכו לתחום צמיחה עבור החברה. 
כמו כן, הודיע אנדרה סמית, מנכ”ל סיסקו-אסיה שהחברה שוקדת בימים אלו על בניית חדר מחשב ירוק בפיליפינים.

חברת פוג’יטסו ( Fujitsu Services ) הודיעה שהיא תשקיע 44 מיליון לירות סטרלינג בבניית חדר מחשב ירוק ליד לונדון.  הדטה-סנטר יוקם למטרות אירוח וישתרע על שטח של 7,000 מ”ר בערך. תכנון החדר יחסוך חשמל בערכים המשתווים לאלו הנצרכים על ידי 6,000 בתי אב בשנה ביחס לשיטות תכנון מיושנות (ראה פוסטים קודמים).  מבחינת איכות הסביבה מדובר במניעת פליטה של 10,000 טון של פחמן דו-חמצני בשנה.

נתון מעניין:  חישוב זריז של עלות למ”ר מראה עלות של מעל  12,000 $ למ”ר. כנראה שמדובר ב Tier 4 .

למנהלי חוות שרתים ואולמות מחשב המתעניינים בנושא הדטה-סנטר הירוק: בימים אלו אני שוקד על כתיבת white paper בנושא חדר המחשב הירוק.  מי שמעוניין לקבל טיוטה ולהגיב עליה, מוזמן ליצור עמי קשר ואשלח לו (או לה) עותק  ברצון.

לחזרה לראש הבלוג לחצו כאן

אחד מידידי שמנהל אולם מחשב, הביע באוזני תסכול על כך שלמרות שאנשי התשתיות בחברתו הוסיפו כ 30 טון קירור לחדר המחשב שלו, המצב בחוות השרתים השתפר רק באופן מינורי.  ” החדר חם ואני יודע שיהיו לי בעיות” אמר.

ידידי אינו לבד.  בכל מקום מנסים מהנדסי התשתית/הנדסה/בינוי לפתור את בעיית החום בחדרי המחשב ע”י הוספת יחידות קירור. הטעות שבידם היא שהפתרון אינו בהוספת אוויר קר לחדר , אלא בהפרדת אוויר חם וקר ובהולכת האוויר ( air delivery ) הקר אל הארון, ומן הארון אל יחידת המיזוג.

קצת רקע לאנשי ה IT: 
• ספיקת אוויר נמדדת בד”כ ביחידה הנקראת    (CFM ( cubic feet per minute
• שרת להב זקוק ל 105 CFM לכל קילו-וואט, ( בערך 3000 CFM לארון מלא)
• שרת “פיצה” זקוק ל 160 CFM לכל קילוואט  (בערך 4800 CFM לארון מלא
• הגדרה: מחשוב בצפיפות גבוהה – מעל KW 6 בארון
לדוגמא:  כדי לקרר ארון שרתים המלא ב 40 שרתי U1 חדישים  יש צורך ב 2400-4800 CFM

הבעיה: מרצפת מחוררת מסוגלת להעביר לכל היותר כ 550 CFM של אוויר קר לארון.  הבעיה השנייה היא שהשרתים פולטים חום רב שמשתחרר לחלל החדר ואינו מתועל באופן מדויק חזרה ליחידת הקירור. 
 
 ולכן, הוספת יחידות קירור בשיטה הקלאסית תבזבז חשמל רב ותעלה ממון רב אך יעילות השיטה מפוקפקת מאוד למחשוב בצפיפות גבוהה.

הבעיה כפי שאני רואה אותה היא בחוסר התקשורת שבין אנשי ה IT למתכנן המיזוג.  להערכתי, ידידי היה מקבל פתרון טוב יותר לו היה מציב מול מתכנן המיזוג את העובדות הבאות:
1. חדר המחשב נזקק לפתרונות של מחשוב בצפיפות גבוהה ( high density ) - שרתי להב ו U1
2. אני זקוק ל 10 ארונות של שרתי להב עם יכולת של 3000 CFM לכל ארון.

לו היה עושה כך,  מתכנן המיזוג היה מבין שהוספת יחידת קירור של 30 טון-קירור כגון ליברט בקצה החדר היא רעיון נואל.  הפתרון האמיתי הוא HOTZONE כפי שתואר בפוסט קודם.

שנה טובה

לחזרה לראש הבלוג לחצו כאן

חדרי השרתים הם זוללי החשמל הגדולים ביותר בארגונים כגון היי-טק, מוסדות פיננסים וספקי שרותי תקשורת. ההספקים הנדרשים על ידי השרתים והאחסון בחוות השרתים מגיעים למאות קילוואט ואף מגה-וואטים לחדר מחשב. 

כיום, כשחברת החשמל מתריעה על הקושי לספק את הצריכה וכאשר מחירי החשמל מאמירים, חשיבה וניהול של חדר מחשב “ירוק” , תהיה לא רק ידידותית לסביבה אלא גם תחסוך מאות אלפי דולרים בשנה בחשבון החשמל.

לא כולם יודעים שעל כל שקל  המושקע בחשמל המגיע לשרתים, מושקע עוד שקל לפחות על מיזוג אוויר ועוד שקל מושקע בחשמל לתשתיות אחרות. כלומר, על כל שקל חשמל לשרתים יש תקורה (בזבוז) של 2 שקלים. בחדר מחשב גדול מדובר בבזבוז של מאות אלפי שקלים בחודש בחשבון החשמל.

בחדר המחשב הירוק – מקטינים משמעותית את הבזבוז בחשמל. איך עושים זאת ב 3 צעדים קלים יחסית?

1. מרכזים את כל זוללי החשמל ( = פולטי חום) הגדולים באזור אחד שנקרא HOT ZONE .  אם למדת שעליך לפזר אותם בחדר, חשוב שנית. זה כבר לא עובד כך.  ה HOT ZONE יכול להיות שורה אחת או שתיים של ארונות שרתים באחת מפינות החדר.
2. קררו את ה HOT ZONE באמצעי קירור מתקדמים לשרתים בצפיפות גבוהה. בעיקר מדובר בארונות עם קירור אינטגראלי בהם יחידות הקירור (לא אוורור) נמצאות קרוב לציוד ומקררות אותו ולא את החדר. בשפת העם- ארונות עם קירור מים.  זה יעיל יותר טכנולוגית וכלכלית.
3. בנו תשתית מודולארית של הספק וקירור . תשתית מוגזמת גורמת לבזבוז אדיר בחשמל, בייחוד כאשר הניצול בפועל נמוך משמעותית מהקיבולת.   כמו כן,  ההשקעה הקפיטאלית (  CAPEX )  בציוד מתבצעת רק בזמן הנדרש ולא בהכרח בזמן הקמת החדר.
4. השתמשו במה שקרוי Best Practices . ראו פוסט קודם.

בתמונה זו נראה HOTZONE בחדר מחשב ירוק בארץ.  7 ארונות שבכל אחד 6 בלייד-סנטרס . בכל ארון שרתים   23 קילו-וואט של שרתים.  סה”כ 160 קילוואט בשבעה ארונות.  החיסכון השנתי בחשמל : 58,000 $ . לא אמרנו שמנהל הכספים יאהב אותך?