Posts filed under ‘מרכזי נתונים’

Green IT White Paper : חדר מחשב ירוק בארבעה שלבים

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה"ירוק" הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד"כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ"רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

נובמבר 4, 2007 at 2:42 pm כתיבת תגובה

תכנית העמדה לארונות שרתים

לא רבים מבינים את מלוא החשיבות של תכנית העמדה של ארונות השרתים בעת תכנון חדר המחשב.  ביצועי אולם המחשב הם במידה רבה פונקציה של תוכנית העמדה נכונה ושל ביצוע מדויק של התוכנית.

תוכנית העמדה כוללת את מימדי החדר ואת מיקום ארונות השרתים וכל ציוד אחר בחדר.  לתוכנית ההעמדה השפעות על הפרמטרים הבאים:

1. מספר ארונות השרתים והאחסון שניתן להציב בחדר
2. צפיפות המחשוב שניתנת לביצוע ( לדוגמא: כמה קילו-וואט בארון)
3. מורכבות ועלות תשתית החשמל והמיזוג
4. התנהגות האוויר החם והקר בחדר ועד כמה היא צפויה בעת שינויים
5. עלות החשמל לתפעול החדר לאורך חיי חדר המחשב

בפרויקטים רבים , תוכנית ההעמדה נעשית בשלב מאוחר מידי של הפרויקט. במקרים אלו ביצועי החדר לא יהיו אופטימאליים.  תכנון או ביצוע כלאחר יד של תוכנית העמדה של אולם המחשב  תגרום לירידה בקיבולת החדר וביכולת להציב כמות שרתים נאותה, ירידה בצפיפות המחשוב ועלייה בחשבון החשמל.

יצא  white paper  מאוד מעניין של APC בנושא זה.  המסמך באנגלית. מי שמעוניין בהעתק, מוזמן לכתוב לי ואשלח בשמחה.

יגאל

לחזרה לראש הבלוג לחצו כאן

אוקטובר 5, 2007 at 6:54 pm כתיבת תגובה

חדר מחשב ירוק – מנהל הכספים יאהב אותך

חדרי השרתים הם זוללי החשמל הגדולים ביותר בארגונים כגון היי-טק, מוסדות פיננסים וספקי שרותי תקשורת. ההספקים הנדרשים על ידי השרתים והאחסון בחוות השרתים מגיעים למאות קילוואט ואף מגה-וואטים לחדר מחשב. 

כיום, כשחברת החשמל מתריעה על הקושי לספק את הצריכה וכאשר מחירי החשמל מאמירים, חשיבה וניהול של חדר מחשב "ירוק" , תהיה לא רק ידידותית לסביבה אלא גם תחסוך מאות אלפי דולרים בשנה בחשבון החשמל.

לא כולם יודעים שעל כל שקל  המושקע בחשמל המגיע לשרתים, מושקע עוד שקל לפחות על מיזוג אוויר ועוד שקל מושקע בחשמל לתשתיות אחרות. כלומר, על כל שקל חשמל לשרתים יש תקורה (בזבוז) של 2 שקלים. בחדר מחשב גדול מדובר בבזבוז של מאות אלפי שקלים בחודש בחשבון החשמל.

בחדר המחשב הירוק – מקטינים משמעותית את הבזבוז בחשמל. איך עושים זאת ב 3 צעדים קלים יחסית?

1. מרכזים את כל זוללי החשמל ( = פולטי חום) הגדולים באזור אחד שנקרא HOT ZONE .  אם למדת שעליך לפזר אותם בחדר, חשוב שנית. זה כבר לא עובד כך.  ה HOT ZONE יכול להיות שורה אחת או שתיים של ארונות שרתים באחת מפינות החדר.
2. קררו את ה HOT ZONE באמצעי קירור מתקדמים לשרתים בצפיפות גבוהה. בעיקר מדובר בארונות עם קירור אינטגראלי בהם יחידות הקירור (לא אוורור) נמצאות קרוב לציוד ומקררות אותו ולא את החדר. בשפת העם- ארונות עם קירור מים.  זה יעיל יותר טכנולוגית וכלכלית.
3. בנו תשתית מודולארית של הספק וקירור . תשתית מוגזמת גורמת לבזבוז אדיר בחשמל, בייחוד כאשר הניצול בפועל נמוך משמעותית מהקיבולת.   כמו כן,  ההשקעה הקפיטאלית (  CAPEX )  בציוד מתבצעת רק בזמן הנדרש ולא בהכרח בזמן הקמת החדר.
4. השתמשו במה שקרוי Best Practices . ראו פוסט קודם.

בתמונה זו נראה HOTZONE בחדר מחשב ירוק בארץ.  7 ארונות שבכל אחד 6 בלייד-סנטרס . בכל ארון שרתים   23 קילו-וואט של שרתים.  סה"כ 160 קילוואט בשבעה ארונות.  החיסכון השנתי בחשמל : 58,000 $ . לא אמרנו שמנהל הכספים יאהב אותך?

Hot Zone with 42 Blade centers

אוגוסט 6, 2007 at 7:44 am כתיבת תגובה

המשבר הבלתי נראה של חדרי המחשב

כנס  E-Gov  בנושא "ממשל זמין" שהתקיים ב- 5 יולי בהשתתפות בכירי המשק והתעשייה הטכנולוגית דן באתגרים המורכבים שמציבה המאה ה- 21 . 

הוזמנתי להרצות בכנס בזכות פרוייקט חדר המחשב שבצענו ב TURN KEY בפרוייקט תהיל"ה – ממשל זמין.  חדר המחשב של תהיל"ה כולל 1,000 שרתי "פיצה" בשטח של 90 מ"ר ומצטיין בפתרונות קירור חדשניים, חיסכון משמעותי בהוצאות החשמל, אמצעי בקרה מתקדמים ומטריצת שליטה מאובטחת ( Paragon ) המאפשרת לאדמיניסטרטורים רמת גישה ושרות גבוהה מאוד.  זהו חדר המחשב המתקדם והחסכוני ביותר בישראל. לתיאור מפורט של הפרויקט ראו פוסט קודם.

 בהרצאה בכנס הצגתי את הסיבות למשבר הפוקד את חדרי המחשב בתחום ההספק ומיזוג האוויר.   בניגוד לסברה שפתרונות לפתיחת צוואר הבקבוק של התשתית עולים כסף רב ודורשים חודשים רבים, הצגתי דוגמאות לפרוייקטים בישראל המבוססים על ארונות מקוררי מים שלא עלו ממון רב והתקנתם התבצעה תוך זמן קצר.

העליתי לאוויר וידיאו של המצגת (ראו מימין) . אורכו כ 15 דקות בערך.

יגאל

יולי 18, 2007 at 2:36 pm כתיבת תגובה

אוויר מאולץ לקירור שרתי להב – פתרון או מתכון לכישלון?

נשאלתי מספר פעמים לאחרונה לדעתי על גישה המשתמשת במאווררים היונקים אוויר קר מתחת לרצפה הצפה וזורקים אותו למעלה לכיוון ארון השרתים.

אין חדש בגישה זו ויש לה 3 מוטציות:

1. מפוח המותקן במרצפת הצפה וזורק אוויר קר אל קדמת הארון
2. מגירת מאווררים המותקנת בתחתית הארון (ראה תמונה 1)
3. ארון שרתים שבתחתיתו מותקנים מאווררים המפזרים אוויר כלפי מעלה

גישה כזו טובה רק במקרים בודדים ויש בה לא מעט בעיות:

1. האוויר החם עדיין נפלט לחלל החדר ויוצר בעיות לשאר הארונות בסביבתו (ראו תמונה 2)
2. המאווררים יונקים את האוויר הקר בעוצמה ו"מרעיבים" ארונות אחרים בסביבתם (ראו תמונה 3)

זוהי אם כן גישה שיש להשתמש בה רק בארונות שרתים בודדים ומרוחקים מאוד אחד מן השני. בסביבתם אין לשים ארונות שרתים עם מעל 2 קילו-וואט. אם כבר משתמשים, הפתרון היעיל ביותר הוא מגירת מאווררים כגון זו של APC. גם פחות יקר וגם מודולרי.

תמונה 1

fanunit-apc

תמונה 2: סימולציה ב CFD מראה השפעה הרסנית של 5 ארונות להב ובהם מאווררים בתחתית הארון.  אמנם שרתי הלהב ב 5 ארונות מקבלים אוויר (להגדלה הקליקו על התרשים):

fanunit-heat

תמונה 3 מראה כיצד המאווררים בתחתית הארון מרעיבים שורות ארונות אחרות מאוויר קר מתחת לרצפה הצפה (להגדלה הקליקו על התרשים):

fanunit-starvingracks-big

יולי 9, 2007 at 10:44 am כתיבת תגובה

מאמר מרתק בגלובס: השוק החם של פתרונות הקירור

במאמר מרתק  בגלובס (שוק ההון)    ב 27/6/07  כותב שמוליק שלח על משבר האנרגיה והחום בחדרי המחשב. כמה נקודות מעניינות:
 
–  גארטנר צופה שעד 2011 ארונות שרתים יצרכו KW 52 לארון
–  עלות החשמל לארון שרתים מלא תעלה מעל 37,000 $ בשנה

חום בחדרי המחשב

למאמר המלא לחצו כאן

המסקנות הן ברורות:

–  יש ליישם באולמות המחשב פתרונות לשרתים בצפיפות גבוהה (מעל KW 20 לארון)
–  הוצאות החשמל צומחות אקפוננציאלית.  עיקר הבזבוז הוא בשיטת מיזוג אוויר מיושנות.

מי שמעוניין סקירה לעומק של  המגמות הללו והשפעתן על עלויות התפעול (OPEX ) של חדרי המחשב, מוזמן לכתוב לי. 

יוני 28, 2007 at 5:29 pm כתיבת תגובה

משבר החום וההספק בחדרי מחשב עפ"י גארטנר

חדר שרתים במשבר

בכנס Data Center Power and Cooling Challenge שנערך השבוע על ידי גארטנר  בארה"ב נשאלו באי הכנס מה הבעיות הקשות ביותר שלהם.  37% ענו שבעיית מיזוג האוויר ו 43% ענו שבעיית החשמל היא הבעיה הגדולה ביותר שלהם.

אלו, כמובן שני צדדים של אותה המטבע.

מבין הנשאלים, 93% ענו שהם צופים שדרוג או הרחבה משמעותית של תשתית חדר המחשב, או מעבר לאתר חדש עד סוף 2008.

מייקל בל, סמנכ"ל מחקר בגארטנר טוען שחדרי המחשב נמצאים במשבר של חום והספק.  עוד ב 2008 מחצית מחדרי המחשב בעולם יהיו מיושנים עד כדי משבר ( obsolete ) .
 
גארטנר צופים שעד שנת 2011 ארונות מקוררי מים ( IN RACK  כגון אלו של חברת קנור) ויחידות קירור השורה מקוררות מים ( INROW כגון אלו של חברת APC) יהיו טכנולוגיות הקירור הנפוצות ביותר בחדרי המחשב.

לקריאת המאמר המלא באנגלית לחצו כאן

יוני 21, 2007 at 2:08 pm כתיבת תגובה

בעיית חשבון החשמל של חדרי המחשב

חשבון החשמל של מרכזי הנתונים (חדרי המחשב) בארה"ב הסתכם ב 2.7 מיליארד דולר בשנת 2005 . כך במחקר שהתפרסם בארה"ב על ידי ג'ונתן קומי מאוניברסיטת סטנפורד ומדען במעבדות לורנס בברקלי. מעניין לדעת שכדי להפעיל את המחשבים בארה"ב נצרך חשמל בסך העולה על 5,000 מגהוואט , קיבולת הייצור של חמש תחנות חשמל גרעיניות. 

באזור כפרי שקט במדינת וושינגטון בארה"ב בונה מייקרוסופט חדר מחשב שיצרוך עד 48 מגהוואט. לא רחוק משם בונה יאהו חדר מחשב שיצרוך 42 מגהוואט. חברת סאבי בונה בשכנות להם חדר מחשב של 30 מגאווט. יחד 3 החברות צורכות 120 מגהוואט. אם נניח שמגאווט אחד נדרש כדי לספק חשמל ל 350 בתי אב, הרי ששלושת חדרי המחשב צורכים חשמל כמו 42,000 משפחות אמריקאיות.

הנתונים המפתיעים הללו מסבירים מדוע גם בישראל הקטנה שצרכיה צנועים יותר, מנהלי חדרי המחשב ( Data Centers ) טרודים יותר ויותר בעלייה התלולה בצריכת החשמל (הספק) בחדרי המחשב. 

מדובר במשבר של ממש.  המשבר הוא תפעולי וכלכלי. בתחום התפעולי, מתקשות החברות לקרר את חדרי המחשב שלהם ולספק פתרונות מבצעיים הנדרשים לצמיחה עסקית. בתחום הכלכלי, חשבון החשמל מאמיר והולך עד כדי כך שהחברות משלמות יותר כספים לחברת החשמל מאשר לספקי המחשבים והציוד שלהם. 

לא כולם מודעים לכך שכל החשמל המסופק למחשב מתפזר בצורת חום שיש לקררו באמצעות מיזוג אוויר.  מחשבי הדור החדש יעילים יותר אך מספרם הגדל, המזעור וצפיפות המחשוב מכבידים על תשתית החדר. לדוגמה, חדרי המחשב שתוכננו אך לפני 3-4 שנים, תוכננו לצריכת הספק של אחד עד ארבעה קילווואט לארון שרתים. הצריכה המקסימלית היום לארון עומדת על 30 קילוואט, כמעט פי 10".

צריכת החשמל בחדרי המחשב גם עולה כסף. על כל וואט שצורך מחשב, יש להשקיע עוד וואט במיזוג ועוד וואט אחד בתשתית החשמל ( כגון אל-פסק, גנרטור, לחות ותאורה). בהנחה שקילוואט שעה עולה כחצי שקל, הרי שעל שרת משלמת החברה כ 4000 ₪ בשנה ויותר.

חדר מחשב בינוני של 500 שרתים (בערך 500 קילוואט בפועל ל IT + מיזוג+תשתיות) יצרוך אם כך באופן מעשי חשמל בשווי של מעל 2 מיליון ₪ בשנה, או 20 מיליון ₪ בעשר שנים. זהו סכום נכבד שכל מנכ"ל ישמח לחסוך בו.

הגורם העיקרי לצמיחה הדרמטית בצריכת החשמל ובצרכי המיזוג הוא בעיקר מס' השרתים הנדרשים כדי לספק את כוח המחשוב הנדרש לצמיחה עסקית. עם זאת יש היום פתרונות מתקדמים הנותנים מענה טכני מתקדם ועושים זאת ביעילות תפעולית תוך חיסכון בחשמל

את הפתרונות אני מחלק לשלושה
• פתרונות שניתן ליישם באפס עלות כמעט. (ראה פוסט קודם)
• פתרונות שדרוג שניתן לבצע בחדר מחשב קיים
• פתרונות תכנוניים לחדרי מחשב חדשים.

חוקי התכנון הישנים של חדרי מחשב כבר לא תקפים, ניתן עדיין לראות תכנונים לחדרי מחשב חדשים אשר הופכים את החדר למיושן ביום גזירת הסרט.

אחד הפתרונות המעניינים הוא אחסון השרתים בארונות מקוררי מים. פתרון זה מסוגל לקרר 35 קילוואט של הספק בארון אחד (פי 10 מהקיים) ולעשות זאת ביעילות החוסכת במקום ובחשבון החשמל. ראה דוגמא לפרוייקט כזה בפוסט קודם

יוני 6, 2007 at 7:44 pm כתיבת תגובה

הוצאות החשמל של אולמות המחשב (1)

החל מ 2007 הוצאות החשמל של חדרי המחשב עולות על התקציב הרכש לשרתים!  כך על פי IDC

הוצאות החשמל באולמות מחשב

 למרות שחשבון החשמל הוא ההוצאה הכבדה ביותר של אולם המחשב, מעטים נוטים למדוד יעילות הוצאה זו. קל למדוד אותה:

IT Load power / Total data center input power 

על פי מחקר של APC  , רק שליש מהוצאות החשמל של חדר המחשב מוקדשות לציוד ה IT.  על כל קילוואט שמסופק לשרתים, אנו משקיעים עוד קילוואט במיזוג ועוד בערך קילוואט בתשתית (אל פסק, גנרציה, לחות, תאורה וכו') .

זהו מקדם יעילות ( energy efficiency ratio) של 3 המשקף 2 שקלים של "תקורה" על כל שקל של חשמל המושקע בשרתים. 

עיקר הבזבוז הוא במיזוג אוויר לא יעיל בעיקר ב high density , ובתשתית מוגזמת ( Oversized).

בחדר מחשב של 500 שרתים מתקדמים מדובר בתקורה או בזבוז של 2 מיליון ₪ בשנה.  על פני 10 שנים מדובר ב 20 מיליון שקלים.  ניתן לקצץ בבזבוז זה ועל כך נדבר בפוסטים הבאים.

יוני 2, 2007 at 10:00 am כתיבת תגובה

שרתים בצפיפות גבוהה: 1,000 שרתים ב 90 מ"ר (ללא רצפה צפה)

פרויקט תהיל”האחד הפרויקטים הבולטים שבוצעו על ידי חברת אלכסנדר שניידר לאחרונה ואני מאוד גאה בו  הנו פרויקט חוות השרתים החדשה של תהיל"ה – תשתית הממשלה לעידן האינטרנט. למקרה שלא שמעתם עדיין על הפרויקט אני מביא מעיקריו. אני מאמין שכל מי ששוקל שדרוג אולם מחשב, מן הראוי שיבחן את הטכנולוגיות שהוצגו בו.

רקע:

תהיל"ה הנו הגוף המרכזי שמספק שירותי גלישה מאובטחים למשרדי הממשלה ומוסדותיה השונים ושירותי אירוח לכלל אתרי הממשלה באינטרנט. פרויקט תהיל"ה בא לתת מענה לחשש הקיים מחשיפת הרשת הממשלתית לאיומי פגיעה באבטחת המידע שלה ולאבטחת אתרי הממשלה באינטרנט.

מערך ממשל זמין (תהיל"ה) משמש היום כמערכת המרכזית להפצת המידע הממשלתי באינטרנט.  בתהיל"ה קיימת חוות שרתים המכילה מאות שרתי מידע דרכה נכנסים מיליוני מבקרים בכל חודש, על מנת לקבל שירותי ממשל זמין ומידע על פעולות משרדי הממשלה.

החווה הוקמה בבנין החדש של בית ממשל זמין.  החווה בנויה ל 1,000 שרתי "פיצה"  על שטח של 110 מ"ר בלבד (90 מ"ר נטו לשרתים)  ועושה שימוש חדשני בארונות שרתים מקוררי מים.

האתגרים בבניית החווה היו:

• מצוקת מקום – סה"כ 90 מ"ר לארונות שרתים
• קירור –  צפיפות המחשוב מביאה את ההספק ל KW 12 לארון שרתים
• גובה החדר –  האולם שימש למשרדים בסגנון  Opens pace . אין מקום לרצפה צפה.
• שליטה – את שרתי משרדי הממשלה ומוסדותיה מנהלים עשרות אנשי סיסטם הממוקמים במשרדי הבניין, הזקוקים לנגישות מלאה לשרתים מכל מקום. עם זאת, נדרש למנוע גישה פיזית לשרתים.
• עומס כבילה של נחושת ואופטיקה – הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית. למעלה מ 200 קילומטר של  כבלי נחושת (קט 6)  ואופטיקה נפרשו באתר החווה

עיקרי פתרונות התשתית שהותקנו:

קירור:  ארונות מקוררי מים של קנור – במקרה זה הלקוח בחר ארונות עם קיבולת קירור של KW 12. בהיעדר רצפה צפה בנינו במה קטנה המשמשת להולכת צינורות המים הגמישים לארונות.  למי שהנושא חדש לו, אציין שבארונות קנור, מחליף החום (אוויר-מים) נמצא בתחתית הארון ומבודד לחלוטין מהשרתים כך שאין סכנה ולא קלה ביותר לחשיפת השרתים למים.

Paragon KVM Switchשליטה:  הותקנה מערכת Paragon של חברת Raritan  – זוהי מטריצת שליטה שמאפשרת לעשרות אנשי סיסטם גישה מיידית ומטריציונית לכל השרתים המתאימים, מתן אפשרות לשרות מיידי  ושמירה מקסימאלית על אבטחת מידע.

כבילה: התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב. בכל ארון למעלה מ-100 נקודות. השתמשנו בפנלים 32 נקודות ב-U1. הפנלים הותקנו לצד השרתים באופן אנכי (תכונה ייחודית של ארון קנור), כך שכל גובה המסד נשמר לשרתים. זו תכונה ייחודית של ארון קנור.

כל תשתית הנחושת מאושרת ל 10 ג'יגה.

מערכות כבילת התקשורת של Panduit אפשרו לשלב כבילת נחושת ואופטיקה בצפיפות גבוהה תוך שמירה על נגישות גבוהה ונוחות עבודה לטכנאי התקשורת.

PDU: בכל ארון יש CDU שמקבל שני תלת פאזי של 32A כ"א ומוציא שש פעמים חד פאזי המתחברים אל עד 3 STS בארון. אל ה-STS  מתחברים PDU המזינים את השרתים. כל שרת , אם כך, מקבל יתירות של שתי הזנות מלמעלה. 

 חדר בקרה: התקנו מערכת פיצול וידיאו ל 20 מסכי LCD המתחברים אל מטריצת ה PARAGON. בנוסף התקנו מערכת מולטימדיה להצגת ה שו"ב כולל 5 מסכי LCD 47" .

הפרויקט שהתבצע כ-TurnKey  כלל בנוסף העתקת השרתים מהאתר הקודם לחווה החדשה.

ניתן לבקר באתר בתיאום מראש.

מאי 15, 2007 at 8:58 pm כתיבת תגובה

פוסטים ישנים יותר פוסטים חדשים יותר


פידים

הבלוג הוקם ומנוהל בסיוע: