Posts tagged ‘חשמל בחדרי מחשב’
7 דרכים למיזוג אוויר יעיל אנרגטית בחדרי שרתים.
מאז אוגוסט 2011 עלו מחירי החשמל בישראל ביותר מ30% (נכון לפברואר 2012). למי שמנהל חדרי שרתים, עובדה זו כואבת במיוחד משום שעלויות צריכת החשמל של חדרי המחשב הגיעו ל 20-25% מהוצאות התפעול השוטפות. בשל הדרך בה תוכננו חדרי השרתים או בשל הדרך בה הם מנוהלים, חלק משמעותי מצריכת האנרגיה מקורה בבזבוז בעיקר בשל חוסר יעילות בדרכי מיזוג האוויר.
בארגונים נאורים בהם חשבון החשמל של חדרי השרתים נבחן בדקדקנות, העלייה בצריכת החשמל הביאה לבחינה מחודשת של דרכי התכנון והניהול של מרכזי המחשוב. בארגונים פחות נאורים, חשבון החשמל משולם על ידי גוף תפעול מרכזי שאינו מסוגל לנתח את הנתונים והתוצאה היא בזבוז שעלותו מאות אלפי ואף מיליוני שקלים בשנה, תלוי בגודל המתקן. לדוגמא: במתקן של ארגון בינוני שבו כ 400 שרתים, צריכת החשמל של השרתים תהיה כ 200 קילוואט לערך. צריכת החשמל הכוללת של המתקן תכלול גם את צריכת החשמל למיזוג אוויר ולמערכות תשתית נוספות. בחדר מחשב בגודל זה המופעל היטב ( PUE=1.5 ) חשבון החשמל הכולל יהיה כ מיליון וחצי ₪ בשנה. בחדר מחשב בגודל דומה המנוהל ללא מתן חשיבות לצריכת החשמל ( PUE=3 ) , ויש רבים כאלו בישראל, חשבון החשמל יעלה כ 3 מיליון ₪, בזבוז של מיליון וחצי ש"ח בשנה או 15 מיליון ₪ בעשר שנים. להסבר על PUE
למי שלא בחן את הנושא מקרוב עד כה, אציין רק שעלות החשמל הנדרשת להפעיל ולקרר שרת מתקדם לאורך 3 שנים גבוהה יותר מעלות השרת עצמו.
בארונות INRACK אלו טמפרטורת מיים קרים של 18 מעלות
בפוסט הקודם תיארתי 10 נוהגים מתקדמים של חדרי שרתים ( datacenter Best Practices ) . הפעם אתמקד בנושא מיזוג האוויר בחדרי שרתים.
רבים ממנהלי חדר המחשב יודעים שעליהם ליישם מעברים קרים וחמים ולזווד פנלים עיוורים בארונות שרתים כדי למנוע חזרת אוויר חם אל קדמת הארון. על כן, לא אעסוק בנושאים טריוויאלים מעין אלו. אלא אתמקד בנוהגים מתקדמים אשר לא רבים בישראל נתנו עליהם את הדעת:
ניתן לחסוך בצריכת החשמל למיזוג בן 30% ל 50% על ידי הפרדה מוחלטת של אוויר קר וחם ועל ידי העלאת טמפרטורת העבודה. הפרדה מוחלטת של אוויר קר וחם מתבצעת על ידי הכלה ( Containment ) והעלאת טמפרטורת העבודה מתבצעת על ידי העלאת טמפרטורת המים הקרים למיזוג ( CW ) מ 7 מעלות ל 16 ואף 18 מעלות צלזיוס. נסביר…
1. הפרדה מוחלטת של אוויר קר וחם על ידי הכלה ( Containment ) של האוויר הקר ( Cold Containment ) או הכלה של האוויר החם ( Hot Containment ) . בחדרי שרתים הממוזגים בשיטת קירור החדר ( בדרך כלל על ידי מערכות ליברט ) הכלת האוויר הקר מתבצעת על ידי סגירת המעבר הקר או על ידי הכלת החום באמצעות ארונות ארובה. אגב, בשיטה הראשונה (סגירת מעבר קר) ניתן להגיע ל 15 קילוואט לארון שרתים ועל ידי ארונות ארובה ניתן להגיע ל KW 30 לארון שרתים.
2. שימוש במערכות קירור ממוקד הקרוי בדרך כלל "ארונות קרור מים" . קירור ממוקד זה יכול להיות מפוזר בשורות ( in row cooling ) או בתוך ארון השרתים באופן הקרוי InRack Cooling.
3. בשיטת קירור השורה ניתן לסגור את המעבר הקר או את המעבר החם. שתי השיטות טובות אם כי רבים ממש שונאים לעבוד במעבר חם סגור בשל אי הנוחות שבכך. קיימת שיטה היברידית אשר נקראת שיטת החדר הקר ( cool room concept ) אשר לה אייחד מאמר נפרד בקרוב והיא מיישמת את כל היתרונות של סגירת המעבר החם ללא החסרונות.
4. העלאת טמפרטורת העבודה. עד לאחרונה נהגו המתכננים לעבוד עם צ'ילרים שקררו את המים הקרים ל 7 מעלות צלזיוס. העלאת טמפרטורת המים הקרים ל 16 ואף 18 מעלות מספקת חיסכון בצריכת החשמל של כ 3% לכל מעלה. בחישוב זריז מדובר על חיסכון של כ 30% רק משינוי טמפרטורת העבודה.
אגב, העלאת טמפרטורת העבודה תאפשר גם לקבל כ 25% יותר קיבולת קירור מהצ'ילר אם כי נתון זה משתנה ממודל למודל.
חשוב מאוד: כדי ליישם שיטה מתקדמת זו הלכה למעשה יש לבחור מערכות In Rack או InRow המסוגלות לספק את קיבולת הקירור המקסימאליות בטמפרטורות CW אלו. ישנן מערכות, רחמנא ליצלן, שבטמפרטורות אלו של 16 מעלות מיים קרים קיבולת הקירור שלהן יורדת ב 50% ואך יותר. מיצרנים כאלו מומלץ להישמר.
5. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
6. מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
7. ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
ארגון אשר יישם את שבעת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יעילות מיזוג האוויר של חדרי השרתים בכ 30%-50% , ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
הקלות הבלתי נתפסת של נפילת מרכזי מחשוב
איני בקיא בלטינית, דבר שלא הפריע לי רבות במהלך חיי, אך ביטוי אחד בלטינית חקוק בזיכרוני מאז ששמעתי את אחד ממורי הבלתי נשכחים משתמש בו: " Perpetuum Mobile "בתרגום לעברית – תנועה נצחית. מכונת תנועה נצחית היא מכונה היפותטית שמבצעת עבודה או תנועה ללא הפסק מבלי לצרוך אנרגיה חיצונית. מכונות תנועה נצחית הן בלתי אפשריות למימוש לפי ההבנה המדעית של ימינו שכן הן מנוגדות לחוקי הפיזיקה. מפאת גילי המתקדם והסתיידות העורקים הבלתי נמנעת המתלווה לכך איני זוכר בדיוק באילו חוקים מדובר ואני מקווה שהקורא לא ייטור לי על כך.
ההנהלה הבכירה של ארגונים רבים נוטה לעיתים לחשוב על הDatacenter הארגוני כחסין מנפילות. קיים תמיד ועובד תמיד. מכונה של תנועה נצחית. כל כך נצחית עד שאין להשקיע משאבים ואנרגיה מחשבתית באספקטים של המשכיות העסקית הקשורים בחדרי המחשב.
מחקר של חברת Ponemon אליו התוודעתי בכנס AFCOM האחרון הראה שנפילות של מרכזי מחשוב תכופות הרבה יותר משחשבתי. המחקר כלל שיחות עם 450 מנהלי חדרי מחשב בארה"ב והתמקד בתקופה של 24 החודשים האחרונים. 41 מתוך הנשאלים זכו לביקור ותחקיר מעמיק באתר הדטה סנטר עצמו כדי לחקור את הסיבות והנסיבות הקשורות לאובדן ההמשכיות העסקית שלו.
לא פחות מ 95% ממרכזי המחשוב שנדגמו סבלו מקריסה משמעותית ( unplanned downtime ) אחת או יותר בשנתיים האחרונות. ממוצע הקריסות בשנתיים האחרונות היה 2.4 פעמים בשנתיים לקריסה מליאה של הדטה סנטר ו 6.8 פעמים בשנתיים לקריסה חלקית. קריסה חלקית מוגדרת כנפילה של שורת ארונות אחת או יותר.
הסקטור הבנקאי וחוות האירוח ( Co-Location ) הראו ביצועים טובים יותר מהממוצע אך לא בהרבה: הם קרסו באופן מלא 1.8 ו 1.9 פעמים ( בהתאמה) בשנתיים האחרונות. הביצועים של סקטור הציבורי והרפואי היו פחות טובים מהממוצע. אישית הופתעתי מהממצאים משום שהם מראים שחוות האירוח בארה"ב אינן מספקות רציפות עסקית טובה יותר ממרכזי המחשוב הארגוניים.
זמן הדמימה ( downtime ) הממוצע לקריסה מליאה של הדטה סנטרים שקרסו היה 102 דקות . זמן הדמימה הממוצע לקריסה חלקית של הדטה סנטרים שקרסו היה 152 דקות.
החוקרים ביקרו ב 41 ממרכזי האירוח שקרסו כדי לאמוד את העלות הממוצעת של נפילת מרכזי המחשוב. עלות קריסה מליאה של חוות השרתים הייתה כ 680,000 דולר בממוצע ועלות קריסה חלקית הייתה 258,000 דולר בממוצע. השונות בנתון זה היא גבוהה מאוד בהתאם לסקטור העסקי. בענף המלונאות עלות הקריסה הממוצעת היה כ 85,000 $ בלבד לעומת M1.1 $ בסקטור התקשורת. עלות הקריסה של מרכזי המחשוב נובעת בעיקר מאובדן הכנסות, אובדן נתונים, נזק לחומרה, אובדן שעות עבודה, ואובדן לקוחות.
היריעה קצרה מכדי שנוכל להגיע לדיון מעמיק בסיבות ובנסיבות הקשורות לקריסה של חדרי שרתים וכיצד למנוע אותן. די אם נאמר שניהול מתקדם של הדטה סנטר מחייב בקרה ברמות שאינן נפוצות היום בישראל. אסתפק בדוגמה קצרה אחת מני רבות. דיון מעמיק יותר אנו מספקים בהדרכות שאנו עורכים ללקוחות בנושא נוהגים מיטביים ( Best Practices ).
98% מהפסקות החשמל בארה"ב אורכות פחות מ 10 שניות. במהלך אותו זמן קצר, עובר העומס מהחדר אל מערכות האל-פסק ( UPS ) ואלו, כמעט תמיד, תלויות במצברים לאספקת האנרגיה החשמלית. אחת הסיבות המובילות לקריסה של חוות שרתים היא לא אחרת מהמצברים. מצברי הגיבוי הם מוצרים אלקטרו-כימיים עשויים בטכנולוגיה בת 200 שנה והם מככבים ברשימת הסיבות המובילות לקריסת מרכזי מחשוב ב58% מהמקרים!
יתכבד נא המנמ"ר ויסור לחדר האנרגיה שלו. אנחש שלא ביקר שם זמן רב ואולי אף פעם לא. בכל "בנק" של מצברים, יש בדרך כלל עשרות מצברים. בכל מצבר – 6 תאים. כלומר, מאות תאים חשמליים מזינים את האל פסק שלנו. בשורה התחתונה, תא כושל אחד, יכול להפיל את מרכז המחשוב.
שלוש השיטות הנפוצות בישראל להתמודד עם סיכון זה הן
· לא לעשות דבר ולקוות לטוב (אופטימיות היא תכונה כובשת)
· או להחליף מצברים כל 3 שנים ( הוצאה עצומה ומיותרת).
· המדקדקים מזמינים ספק שיבצע בדיקה למצברים כל חצי שנה או שנה שזה טוב וראוי אך יקר ולא מקטין את הסיכון ברמה ניכרת.
חיישנים ותוכנה המאפשרים לבקר בזמן אמיתי את "בריאות" המצברים
הנוהגים המתקדמים של היום קובעים שיש לבקר את המצברים באופן רציף ובזמן אמיתי באמצעות מערכת חיישנים ייעודיים אשר משדרים את נתוני המצבר דרך IP לשרת ייעודי. התוכנה מאפשרת לא רק לבקר את "בריאות" המצברים אלא גם לחזות במדויק מתי יגיעו למצב של כשל וניתן להחליף אותם מבעוד מועד. שימוש מעין זה של מערכת בקרת מצברים מאפשר לא רק לצמצם סיכונים באופן משמעותי אלא גם להוריד את עלויות התפעול השוטפות.
את בקרת המצברים ניתן לבצע או על ידי רכש חומרה ייעודית או כשירות מבוסס IP שבמסגרתו אנו מתקינים את מערכת הבקרה ומבצעים את ניתוח הנתונים וניהול האתראות דרך IP. לפרטים, פנו אלי או לאבי סולומון avi@schneider.co.il
טמפרטורת האוויר הקר בחדרי מחשב
מרבית חדרי המחשב מבזבזים אנרגיה וכסף רב, כך אמר דילן לארסון, דירקטור של Platform technology initiatives בחברת אינטל בדיון שנערך בפורום של מחשוב עננים בהשתתפות חברות כגון יבמ, HP, קנור-אמרסון וLawrence Berkeley National Lab .
במחקר שנערך קודם לדיון ע"י אמרסון בקרב אגוד משתמשי הדטה סנטר ( DCUG ), התברר שמרבית הארגונים מקררים את חדרי המחשב יתר על המידה.
בעוד שהמלצות ASHRAE מתירות לקרר את האוויר הקר המגיע לשרתים לרמה מקסימאלית של 27 מעלות, כל הארגונים שנסקרו ( כ 70) מקררים לטמפרטורת אוויר של 21 מעלות ומטה.
זהו בזבוז, הדגיש דילן לארסן, העלאת הטמפרטורה חוסכת הרבה מאוד חשמל וכסף.
בישראל המצב אף יותר קיצוני. הסיבות לקירור יתר ולבזבוז הנובע מכך הן כדלקמן:
- חוסר מודעות של מנהלי חדרי המחשב לפוטנציאל הגדול לחיסכון בהעלאת הטמפרטורה
- הנחה מוטעית שהמחשבים יתפקדו טוב יותר בטמפרטורות קרות מאוד
- קירור בלתי ממוקד (קירור חדר) מצריך "מאבק" בנקודות חום שונות ולשם כך מקררים את כל החדר יתר על המידה
- חוסר נוחות טבעי מעבודה בקצות הטווח המותר
- ארונות High density שאינם ממוזגים באופן מקצועי וממוקד מכתיבים למעשה את מיזוג אוויר בזבזני
כתוצאה מקירור היתר הזה, על כל שקל המושקע בחשמל ל IT מושקעים עוד שקל עד שניים בתקורה שרובה הוא מיזוג אוויר ( PUE בין 2 ל 3 ) . בזבוז כבר אמרנו?
גוגל ויעילות צריכת החשמל בחדרי המחשב
בימים שבהם עלות האנרגיה מתקרבת ל 40% מהוצאות התפעול השוטפות ( OPEX ) של חדרי המחשב, צעדי ייעול שיביאו לחיסכון באנרגיה יביאו גם לחיסכון משמעותי. עם זאת, כדי שנוכל להשתפר, עלינו לדעת בראש וראשונה מהו המצב היום.
ארגון הגריד הירוק טבע את המושג PUE, יחס יעילות האנרגיה. יחס זה מחלק את סה"כ צריכת האנרגיה של חדר המחשב בצריכת האנרגיה של ציוד ה IT בלבד.
החשמל המסופק לחדר המחשב כולל את האנרגיה המסופקת למערכות החשמל, המיזוג ו IT. אם היחס הוא 2.0 הרי שעל כל וואט שמסופק ל IT, מושקע עוד וואט בתקורה של מערכות חשמל ומיזוג.
בסקר של ה EPA בארה"ב ב 2007 נקבע שהממוצע בארה"ב הוא בסביבות 2.0. בסקר בלתי רשמי שערכה חברתנו, חברת אלכסנדר שניידר ב 14 חדרי מחשב, מצאנו שהיחס בישראל נע בין 2.3 ל 2.8 .
כלומר, על כל שקל של חשמל שמושקע ב IT מבוזבז עוד כ 1.5 ₪ על תקורה של תשתית פיזית. כלומר, בחדר מחשב בינוני שצריכתו הכוללת היא כ 500 קילו-וואט שעה ( חשבון חשמל של 2,200,000 ש"ח בשנה ) , 60% מהצריכה היא לתקורה. עלות התקורה הזו היא אם כך 1,314,000 ש"ח בשנה.
שאלה מעניינת היא מהו היחס האידיאלי אליו אנו יכולים לשאוף. סוכנות הגנת הסביבה ( EPA ) בארה"ב קבעה את היעדים הבאים לשנת 2011:
חדר מחשב ממוצע 1.9
חדר מחשב מתקדם 1.7
נוהגים מתקדמים 1.3
חדר מחשב ירוק 1.2
בימים האחרונים חברת גוגל פרסמה לראשונה את מדדי יעילות האנרגיה של שישה חדרי המחשב שלה. מדד ה PUE הממוצע של גוגל הוא 1.21 ! .
בגרף המצורף מפרסמת גוגל את מדד יעילות האנרגיה של חדרי המחשב שלה לאורך 6 חודשים. מעניין לראות שגוגל השיגה כבר את יעדי ה EPA לשנת 2011, יעד שרבים בתעשייה (וביניהם עבדכם הנאמן) פקפקו שהוא בר השגה.
ניתן לראות גם שחדר מחשב אחד משיג תוצאות טובות יותר. חדר זה על פי הרכילות בבלוגים שונים מורכב מקונטיינרים והוא מצטיין ביחס יעילות אנרגיה PUE של 1.13.
קונטיינרים ( data center containers ) הם מכולות שבהם מורכב כל ציוד מיזוג האוויר והחשמל והן מסופקות מוכנות לקליטת שרתים. ניתן להציבם בשטח פתוח, במגרש החנייה או על הגג והם מאפשרים צמיחה של חדר המחשב בן רגע וכן גם ניודו בעת הצורך. גם מיקרוסופט פרסמה שהיא עומדת להקים דר מחשב מורכב מ 150 מכולות בשיקגו. בין החברות שמשווקות פתרונות מעין אלו הם IBM, Sun, Rackable Systems, AST . גילוי נאות: כותב שורות אלו משווק, בין השאר, גם קונטיינרים מזוודים כחדרי מחשב.
אגב, גוגל אינה מפרסמת את מס' השרתים שלה. השמועות מדברות על בין חצי מיליון למיליון שרתים. אך אין ספק שבצעדי התייעלות אלו חסכה גוגל עשרות מיליוני דולרים בהוצאות התפעול , וחסכה פליטות של עשרות אלפי טונות של גזי חממה ומיליוני גלונים של מים. מה שטוב לגוגל טוב גם לארגונים קטנים.
CDU ( או PDU ): הסרת עומסים חכמה מבטיחה רציפות עסקית
רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDU – Cabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding). הפתרון מבוסס על CDU של חברת Server Technology
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים:
1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר
משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.
מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי. כמו כן יש דיון בנושא יישום נכון של יתירות ב PDU בפוסט קודם
חג שמח
מה זה Green IT ? מהו חדר מחשב ירוק?
עיקר הנזק הסביבתי והבזבוז הכספי ב IT נגרמים על ידי צריכת החשמל הגוברת של חדרי המחשב. אבל לא רק שם.
ולכן Green IT מגדיר 4 קריטריונים, שלושה מהם רלבנטיים לחדר המחשב, והרביעי הוא מעבר לחדר המחשב.
חדר המחשב הירוק:
1. תשתית חדר המחשב יעילה וחסכונית בחשמל. מדובר בעיקר במיזוג אוויר יעיל, ובתכנון חסכוני בתשתיות האחרות ( אל-פסק, גנרציה, לחות וכ') . דוגמאות: ארנות מקוררי מים, מערכת אל פסק עם אובדן סטטי נמוך, שימוש בהוהגם מתקדמים ( Best Practices ) וכן הלאה.
2. שימוש חסכוני במשאבי חדר המחשב: בעיקר בציוד IT על ידי וירטואליזציה, ובשטח על ידי שימוש ב High Density
3. בחירת ציוד IT גם (לא רק) על סמך ניצולת ההספק שלהם. לדוגמא: מעבר לשרתי להב, ספקי כוח עם ניצולת מעל 80%.
4. שימוש ב IT כדי לחסוך משאבים והוצאות לארגון ולהיטיב עם הסביבה: לדוגמא: חיסכון בהדפסות ובשימוש בנייר, כיבוי תחנות עבודה בשעות הלילה, שימוש ב Thin Client , שליטה מרחוק על מחשבים מרוחקים החוסכת נסיעות או טיסות של טכנאים, וכן הלאה.
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 