Posts filed under ‘ארונות מקוררי מים’

תכנית העמדה לארונות שרתים

לא רבים מבינים את מלוא החשיבות של תכנית העמדה של ארונות השרתים בעת תכנון חדר המחשב.  ביצועי אולם המחשב הם במידה רבה פונקציה של תוכנית העמדה נכונה ושל ביצוע מדויק של התוכנית.

תוכנית העמדה כוללת את מימדי החדר ואת מיקום ארונות השרתים וכל ציוד אחר בחדר.  לתוכנית ההעמדה השפעות על הפרמטרים הבאים:

1. מספר ארונות השרתים והאחסון שניתן להציב בחדר
2. צפיפות המחשוב שניתנת לביצוע ( לדוגמא: כמה קילו-וואט בארון)
3. מורכבות ועלות תשתית החשמל והמיזוג
4. התנהגות האוויר החם והקר בחדר ועד כמה היא צפויה בעת שינויים
5. עלות החשמל לתפעול החדר לאורך חיי חדר המחשב

בפרויקטים רבים , תוכנית ההעמדה נעשית בשלב מאוחר מידי של הפרויקט. במקרים אלו ביצועי החדר לא יהיו אופטימאליים.  תכנון או ביצוע כלאחר יד של תוכנית העמדה של אולם המחשב  תגרום לירידה בקיבולת החדר וביכולת להציב כמות שרתים נאותה, ירידה בצפיפות המחשוב ועלייה בחשבון החשמל.

יצא  white paper  מאוד מעניין של APC בנושא זה.  המסמך באנגלית. מי שמעוניין בהעתק, מוזמן לכתוב לי ואשלח בשמחה.

יגאל

לחזרה לראש הבלוג לחצו כאן

אוקטובר 5, 2007 at 6:54 pm כתיבת תגובה

Green IT : מגמת חדר מחשב ירוק צוברת תאוצה

מגמת ה IT הירוק / חדר מחשב ירוק צוברת תאוצה

סיסקו הכריזה ש  Green IT ומערכות תקשורת חסכוניות בחשמל הפכו לתחום צמיחה עבור החברה. 
כמו כן, הודיע אנדרה סמית, מנכ"ל סיסקו-אסיה שהחברה שוקדת בימים אלו על בניית חדר מחשב ירוק בפיליפינים.

חברת פוג'יטסו ( Fujitsu Services ) הודיעה שהיא תשקיע 44 מיליון לירות סטרלינג בבניית חדר מחשב ירוק ליד לונדון.  הדטה-סנטר יוקם למטרות אירוח וישתרע על שטח של 7,000 מ"ר בערך. תכנון החדר יחסוך חשמל בערכים המשתווים לאלו הנצרכים על ידי 6,000 בתי אב בשנה ביחס לשיטות תכנון מיושנות (ראה פוסטים קודמים).  מבחינת איכות הסביבה מדובר במניעת פליטה של 10,000 טון של פחמן דו-חמצני בשנה.

נתון מעניין:  חישוב זריז של עלות למ"ר מראה עלות של מעל  12,000 $ למ"ר. כנראה שמדובר ב Tier 4 .

למנהלי חוות שרתים ואולמות מחשב המתעניינים בנושא הדטה-סנטר הירוק: בימים אלו אני שוקד על כתיבת white paper בנושא חדר המחשב הירוק.  מי שמעוניין לקבל טיוטה ולהגיב עליה, מוזמן ליצור עמי קשר ואשלח לו (או לה) עותק  ברצון.

לחזרה לראש הבלוג לחצו כאן

ספטמבר 23, 2007 at 10:49 am כתיבת תגובה

חדר מחשב ירוק – מנהל הכספים יאהב אותך

חדרי השרתים הם זוללי החשמל הגדולים ביותר בארגונים כגון היי-טק, מוסדות פיננסים וספקי שרותי תקשורת. ההספקים הנדרשים על ידי השרתים והאחסון בחוות השרתים מגיעים למאות קילוואט ואף מגה-וואטים לחדר מחשב. 

כיום, כשחברת החשמל מתריעה על הקושי לספק את הצריכה וכאשר מחירי החשמל מאמירים, חשיבה וניהול של חדר מחשב "ירוק" , תהיה לא רק ידידותית לסביבה אלא גם תחסוך מאות אלפי דולרים בשנה בחשבון החשמל.

לא כולם יודעים שעל כל שקל  המושקע בחשמל המגיע לשרתים, מושקע עוד שקל לפחות על מיזוג אוויר ועוד שקל מושקע בחשמל לתשתיות אחרות. כלומר, על כל שקל חשמל לשרתים יש תקורה (בזבוז) של 2 שקלים. בחדר מחשב גדול מדובר בבזבוז של מאות אלפי שקלים בחודש בחשבון החשמל.

בחדר המחשב הירוק – מקטינים משמעותית את הבזבוז בחשמל. איך עושים זאת ב 3 צעדים קלים יחסית?

1. מרכזים את כל זוללי החשמל ( = פולטי חום) הגדולים באזור אחד שנקרא HOT ZONE .  אם למדת שעליך לפזר אותם בחדר, חשוב שנית. זה כבר לא עובד כך.  ה HOT ZONE יכול להיות שורה אחת או שתיים של ארונות שרתים באחת מפינות החדר.
2. קררו את ה HOT ZONE באמצעי קירור מתקדמים לשרתים בצפיפות גבוהה. בעיקר מדובר בארונות עם קירור אינטגראלי בהם יחידות הקירור (לא אוורור) נמצאות קרוב לציוד ומקררות אותו ולא את החדר. בשפת העם- ארונות עם קירור מים.  זה יעיל יותר טכנולוגית וכלכלית.
3. בנו תשתית מודולארית של הספק וקירור . תשתית מוגזמת גורמת לבזבוז אדיר בחשמל, בייחוד כאשר הניצול בפועל נמוך משמעותית מהקיבולת.   כמו כן,  ההשקעה הקפיטאלית (  CAPEX )  בציוד מתבצעת רק בזמן הנדרש ולא בהכרח בזמן הקמת החדר.
4. השתמשו במה שקרוי Best Practices . ראו פוסט קודם.

בתמונה זו נראה HOTZONE בחדר מחשב ירוק בארץ.  7 ארונות שבכל אחד 6 בלייד-סנטרס . בכל ארון שרתים   23 קילו-וואט של שרתים.  סה"כ 160 קילוואט בשבעה ארונות.  החיסכון השנתי בחשמל : 58,000 $ . לא אמרנו שמנהל הכספים יאהב אותך?

Hot Zone with 42 Blade centers

אוגוסט 6, 2007 at 7:44 am כתיבת תגובה

חדר מחשב ירוק – The Green Data Center

סיטיבנק הודיעו על הקמת חוות שרתים בפרנקפורט בגרמניה שתהיה חדר מחשב "ירוק".

מרכז הנתונים יוקם בתקציב של 170 מיליון יורו, ויהיה מיועד ל 8,000 שרתים שיתמכו בפעילות הארגון באירופה, מזה"ת ואפריקה.

חדר מחשבים ירוק ( "Green Data Center ")  הוא מרכז נתונים המתוכנן למקסימום יעילות אנרגיה וחיסכון בחשמל.  באופן כללי, המאפיינים הטיפוסיים לחדר מחשב ירוק הם:

  • יעילות וחיסכון בחשמל
  • שיטות קירור מתקדמות כגון ארונות עם קירור מים
  • וירטואליזציה של שרתים
  • חיסכון בשטח רצפה להקטנת החדר
  • תאורה חסכונית
  • שליטה בלחות באמצעים אולטרהסוניים
  • אספקת מתח ב DC היכן שאפשר ומעשי לעשות כן.
  • שימוש במערכות מודולריות להרכבת חדר המחשב
  • מערכות אל פסק איכותיות ויעילות (ניצולת גבוהה יותר)

לא ברור עדיין אילו מן השיטות הנ"ל ייושמו במרכז הנתונים של סיטיבנק, אך מעניין לראות שהמגמה של חיסכון בחשמל בתכנון חדרי מחשב הופכת למגמה מרכזית.

יולי 29, 2007 at 9:29 am כתיבת תגובה

המשבר הבלתי נראה של חדרי המחשב

כנס  E-Gov  בנושא "ממשל זמין" שהתקיים ב- 5 יולי בהשתתפות בכירי המשק והתעשייה הטכנולוגית דן באתגרים המורכבים שמציבה המאה ה- 21 . 

הוזמנתי להרצות בכנס בזכות פרוייקט חדר המחשב שבצענו ב TURN KEY בפרוייקט תהיל"ה – ממשל זמין.  חדר המחשב של תהיל"ה כולל 1,000 שרתי "פיצה" בשטח של 90 מ"ר ומצטיין בפתרונות קירור חדשניים, חיסכון משמעותי בהוצאות החשמל, אמצעי בקרה מתקדמים ומטריצת שליטה מאובטחת ( Paragon ) המאפשרת לאדמיניסטרטורים רמת גישה ושרות גבוהה מאוד.  זהו חדר המחשב המתקדם והחסכוני ביותר בישראל. לתיאור מפורט של הפרויקט ראו פוסט קודם.

 בהרצאה בכנס הצגתי את הסיבות למשבר הפוקד את חדרי המחשב בתחום ההספק ומיזוג האוויר.   בניגוד לסברה שפתרונות לפתיחת צוואר הבקבוק של התשתית עולים כסף רב ודורשים חודשים רבים, הצגתי דוגמאות לפרוייקטים בישראל המבוססים על ארונות מקוררי מים שלא עלו ממון רב והתקנתם התבצעה תוך זמן קצר.

העליתי לאוויר וידיאו של המצגת (ראו מימין) . אורכו כ 15 דקות בערך.

יגאל

יולי 18, 2007 at 2:36 pm כתיבת תגובה

אוויר מאולץ לקירור שרתי להב – פתרון או מתכון לכישלון?

נשאלתי מספר פעמים לאחרונה לדעתי על גישה המשתמשת במאווררים היונקים אוויר קר מתחת לרצפה הצפה וזורקים אותו למעלה לכיוון ארון השרתים.

אין חדש בגישה זו ויש לה 3 מוטציות:

1. מפוח המותקן במרצפת הצפה וזורק אוויר קר אל קדמת הארון
2. מגירת מאווררים המותקנת בתחתית הארון (ראה תמונה 1)
3. ארון שרתים שבתחתיתו מותקנים מאווררים המפזרים אוויר כלפי מעלה

גישה כזו טובה רק במקרים בודדים ויש בה לא מעט בעיות:

1. האוויר החם עדיין נפלט לחלל החדר ויוצר בעיות לשאר הארונות בסביבתו (ראו תמונה 2)
2. המאווררים יונקים את האוויר הקר בעוצמה ו"מרעיבים" ארונות אחרים בסביבתם (ראו תמונה 3)

זוהי אם כן גישה שיש להשתמש בה רק בארונות שרתים בודדים ומרוחקים מאוד אחד מן השני. בסביבתם אין לשים ארונות שרתים עם מעל 2 קילו-וואט. אם כבר משתמשים, הפתרון היעיל ביותר הוא מגירת מאווררים כגון זו של APC. גם פחות יקר וגם מודולרי.

תמונה 1

fanunit-apc

תמונה 2: סימולציה ב CFD מראה השפעה הרסנית של 5 ארונות להב ובהם מאווררים בתחתית הארון.  אמנם שרתי הלהב ב 5 ארונות מקבלים אוויר (להגדלה הקליקו על התרשים):

fanunit-heat

תמונה 3 מראה כיצד המאווררים בתחתית הארון מרעיבים שורות ארונות אחרות מאוויר קר מתחת לרצפה הצפה (להגדלה הקליקו על התרשים):

fanunit-starvingracks-big

יולי 9, 2007 at 10:44 am כתיבת תגובה

מאמר מרתק בגלובס: השוק החם של פתרונות הקירור

במאמר מרתק  בגלובס (שוק ההון)    ב 27/6/07  כותב שמוליק שלח על משבר האנרגיה והחום בחדרי המחשב. כמה נקודות מעניינות:
 
–  גארטנר צופה שעד 2011 ארונות שרתים יצרכו KW 52 לארון
–  עלות החשמל לארון שרתים מלא תעלה מעל 37,000 $ בשנה

חום בחדרי המחשב

למאמר המלא לחצו כאן

המסקנות הן ברורות:

–  יש ליישם באולמות המחשב פתרונות לשרתים בצפיפות גבוהה (מעל KW 20 לארון)
–  הוצאות החשמל צומחות אקפוננציאלית.  עיקר הבזבוז הוא בשיטת מיזוג אוויר מיושנות.

מי שמעוניין סקירה לעומק של  המגמות הללו והשפעתן על עלויות התפעול (OPEX ) של חדרי המחשב, מוזמן לכתוב לי. 

יוני 28, 2007 at 5:29 pm כתיבת תגובה

משבר החום וההספק בחדרי מחשב עפ"י גארטנר

חדר שרתים במשבר

בכנס Data Center Power and Cooling Challenge שנערך השבוע על ידי גארטנר  בארה"ב נשאלו באי הכנס מה הבעיות הקשות ביותר שלהם.  37% ענו שבעיית מיזוג האוויר ו 43% ענו שבעיית החשמל היא הבעיה הגדולה ביותר שלהם.

אלו, כמובן שני צדדים של אותה המטבע.

מבין הנשאלים, 93% ענו שהם צופים שדרוג או הרחבה משמעותית של תשתית חדר המחשב, או מעבר לאתר חדש עד סוף 2008.

מייקל בל, סמנכ"ל מחקר בגארטנר טוען שחדרי המחשב נמצאים במשבר של חום והספק.  עוד ב 2008 מחצית מחדרי המחשב בעולם יהיו מיושנים עד כדי משבר ( obsolete ) .
 
גארטנר צופים שעד שנת 2011 ארונות מקוררי מים ( IN RACK  כגון אלו של חברת קנור) ויחידות קירור השורה מקוררות מים ( INROW כגון אלו של חברת APC) יהיו טכנולוגיות הקירור הנפוצות ביותר בחדרי המחשב.

לקריאת המאמר המלא באנגלית לחצו כאן

יוני 21, 2007 at 2:08 pm כתיבת תגובה

בעיית חשבון החשמל של חדרי המחשב

חשבון החשמל של מרכזי הנתונים (חדרי המחשב) בארה"ב הסתכם ב 2.7 מיליארד דולר בשנת 2005 . כך במחקר שהתפרסם בארה"ב על ידי ג'ונתן קומי מאוניברסיטת סטנפורד ומדען במעבדות לורנס בברקלי. מעניין לדעת שכדי להפעיל את המחשבים בארה"ב נצרך חשמל בסך העולה על 5,000 מגהוואט , קיבולת הייצור של חמש תחנות חשמל גרעיניות. 

באזור כפרי שקט במדינת וושינגטון בארה"ב בונה מייקרוסופט חדר מחשב שיצרוך עד 48 מגהוואט. לא רחוק משם בונה יאהו חדר מחשב שיצרוך 42 מגהוואט. חברת סאבי בונה בשכנות להם חדר מחשב של 30 מגאווט. יחד 3 החברות צורכות 120 מגהוואט. אם נניח שמגאווט אחד נדרש כדי לספק חשמל ל 350 בתי אב, הרי ששלושת חדרי המחשב צורכים חשמל כמו 42,000 משפחות אמריקאיות.

הנתונים המפתיעים הללו מסבירים מדוע גם בישראל הקטנה שצרכיה צנועים יותר, מנהלי חדרי המחשב ( Data Centers ) טרודים יותר ויותר בעלייה התלולה בצריכת החשמל (הספק) בחדרי המחשב. 

מדובר במשבר של ממש.  המשבר הוא תפעולי וכלכלי. בתחום התפעולי, מתקשות החברות לקרר את חדרי המחשב שלהם ולספק פתרונות מבצעיים הנדרשים לצמיחה עסקית. בתחום הכלכלי, חשבון החשמל מאמיר והולך עד כדי כך שהחברות משלמות יותר כספים לחברת החשמל מאשר לספקי המחשבים והציוד שלהם. 

לא כולם מודעים לכך שכל החשמל המסופק למחשב מתפזר בצורת חום שיש לקררו באמצעות מיזוג אוויר.  מחשבי הדור החדש יעילים יותר אך מספרם הגדל, המזעור וצפיפות המחשוב מכבידים על תשתית החדר. לדוגמה, חדרי המחשב שתוכננו אך לפני 3-4 שנים, תוכננו לצריכת הספק של אחד עד ארבעה קילווואט לארון שרתים. הצריכה המקסימלית היום לארון עומדת על 30 קילוואט, כמעט פי 10".

צריכת החשמל בחדרי המחשב גם עולה כסף. על כל וואט שצורך מחשב, יש להשקיע עוד וואט במיזוג ועוד וואט אחד בתשתית החשמל ( כגון אל-פסק, גנרטור, לחות ותאורה). בהנחה שקילוואט שעה עולה כחצי שקל, הרי שעל שרת משלמת החברה כ 4000 ₪ בשנה ויותר.

חדר מחשב בינוני של 500 שרתים (בערך 500 קילוואט בפועל ל IT + מיזוג+תשתיות) יצרוך אם כך באופן מעשי חשמל בשווי של מעל 2 מיליון ₪ בשנה, או 20 מיליון ₪ בעשר שנים. זהו סכום נכבד שכל מנכ"ל ישמח לחסוך בו.

הגורם העיקרי לצמיחה הדרמטית בצריכת החשמל ובצרכי המיזוג הוא בעיקר מס' השרתים הנדרשים כדי לספק את כוח המחשוב הנדרש לצמיחה עסקית. עם זאת יש היום פתרונות מתקדמים הנותנים מענה טכני מתקדם ועושים זאת ביעילות תפעולית תוך חיסכון בחשמל

את הפתרונות אני מחלק לשלושה
• פתרונות שניתן ליישם באפס עלות כמעט. (ראה פוסט קודם)
• פתרונות שדרוג שניתן לבצע בחדר מחשב קיים
• פתרונות תכנוניים לחדרי מחשב חדשים.

חוקי התכנון הישנים של חדרי מחשב כבר לא תקפים, ניתן עדיין לראות תכנונים לחדרי מחשב חדשים אשר הופכים את החדר למיושן ביום גזירת הסרט.

אחד הפתרונות המעניינים הוא אחסון השרתים בארונות מקוררי מים. פתרון זה מסוגל לקרר 35 קילוואט של הספק בארון אחד (פי 10 מהקיים) ולעשות זאת ביעילות החוסכת במקום ובחשבון החשמל. ראה דוגמא לפרוייקט כזה בפוסט קודם

יוני 6, 2007 at 7:44 pm כתיבת תגובה

שרתים בצפיפות גבוהה: 1,000 שרתים ב 90 מ"ר (ללא רצפה צפה)

פרויקט תהיל”האחד הפרויקטים הבולטים שבוצעו על ידי חברת אלכסנדר שניידר לאחרונה ואני מאוד גאה בו  הנו פרויקט חוות השרתים החדשה של תהיל"ה – תשתית הממשלה לעידן האינטרנט. למקרה שלא שמעתם עדיין על הפרויקט אני מביא מעיקריו. אני מאמין שכל מי ששוקל שדרוג אולם מחשב, מן הראוי שיבחן את הטכנולוגיות שהוצגו בו.

רקע:

תהיל"ה הנו הגוף המרכזי שמספק שירותי גלישה מאובטחים למשרדי הממשלה ומוסדותיה השונים ושירותי אירוח לכלל אתרי הממשלה באינטרנט. פרויקט תהיל"ה בא לתת מענה לחשש הקיים מחשיפת הרשת הממשלתית לאיומי פגיעה באבטחת המידע שלה ולאבטחת אתרי הממשלה באינטרנט.

מערך ממשל זמין (תהיל"ה) משמש היום כמערכת המרכזית להפצת המידע הממשלתי באינטרנט.  בתהיל"ה קיימת חוות שרתים המכילה מאות שרתי מידע דרכה נכנסים מיליוני מבקרים בכל חודש, על מנת לקבל שירותי ממשל זמין ומידע על פעולות משרדי הממשלה.

החווה הוקמה בבנין החדש של בית ממשל זמין.  החווה בנויה ל 1,000 שרתי "פיצה"  על שטח של 110 מ"ר בלבד (90 מ"ר נטו לשרתים)  ועושה שימוש חדשני בארונות שרתים מקוררי מים.

האתגרים בבניית החווה היו:

• מצוקת מקום – סה"כ 90 מ"ר לארונות שרתים
• קירור –  צפיפות המחשוב מביאה את ההספק ל KW 12 לארון שרתים
• גובה החדר –  האולם שימש למשרדים בסגנון  Opens pace . אין מקום לרצפה צפה.
• שליטה – את שרתי משרדי הממשלה ומוסדותיה מנהלים עשרות אנשי סיסטם הממוקמים במשרדי הבניין, הזקוקים לנגישות מלאה לשרתים מכל מקום. עם זאת, נדרש למנוע גישה פיזית לשרתים.
• עומס כבילה של נחושת ואופטיקה – הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית. למעלה מ 200 קילומטר של  כבלי נחושת (קט 6)  ואופטיקה נפרשו באתר החווה

עיקרי פתרונות התשתית שהותקנו:

קירור:  ארונות מקוררי מים של קנור – במקרה זה הלקוח בחר ארונות עם קיבולת קירור של KW 12. בהיעדר רצפה צפה בנינו במה קטנה המשמשת להולכת צינורות המים הגמישים לארונות.  למי שהנושא חדש לו, אציין שבארונות קנור, מחליף החום (אוויר-מים) נמצא בתחתית הארון ומבודד לחלוטין מהשרתים כך שאין סכנה ולא קלה ביותר לחשיפת השרתים למים.

Paragon KVM Switchשליטה:  הותקנה מערכת Paragon של חברת Raritan  – זוהי מטריצת שליטה שמאפשרת לעשרות אנשי סיסטם גישה מיידית ומטריציונית לכל השרתים המתאימים, מתן אפשרות לשרות מיידי  ושמירה מקסימאלית על אבטחת מידע.

כבילה: התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב. בכל ארון למעלה מ-100 נקודות. השתמשנו בפנלים 32 נקודות ב-U1. הפנלים הותקנו לצד השרתים באופן אנכי (תכונה ייחודית של ארון קנור), כך שכל גובה המסד נשמר לשרתים. זו תכונה ייחודית של ארון קנור.

כל תשתית הנחושת מאושרת ל 10 ג'יגה.

מערכות כבילת התקשורת של Panduit אפשרו לשלב כבילת נחושת ואופטיקה בצפיפות גבוהה תוך שמירה על נגישות גבוהה ונוחות עבודה לטכנאי התקשורת.

PDU: בכל ארון יש CDU שמקבל שני תלת פאזי של 32A כ"א ומוציא שש פעמים חד פאזי המתחברים אל עד 3 STS בארון. אל ה-STS  מתחברים PDU המזינים את השרתים. כל שרת , אם כך, מקבל יתירות של שתי הזנות מלמעלה. 

 חדר בקרה: התקנו מערכת פיצול וידיאו ל 20 מסכי LCD המתחברים אל מטריצת ה PARAGON. בנוסף התקנו מערכת מולטימדיה להצגת ה שו"ב כולל 5 מסכי LCD 47" .

הפרויקט שהתבצע כ-TurnKey  כלל בנוסף העתקת השרתים מהאתר הקודם לחווה החדשה.

ניתן לבקר באתר בתיאום מראש.

מאי 15, 2007 at 8:58 pm כתיבת תגובה

פוסטים ישנים יותר פוסטים חדשים יותר


פידים

הבלוג הוקם ומנוהל בסיוע: