Posts filed under ‘חדר מחשב ירוק’
טמפרטורת האוויר הקר בחדרי מחשב
מרבית חדרי המחשב מבזבזים אנרגיה וכסף רב, כך אמר דילן לארסון, דירקטור של Platform technology initiatives בחברת אינטל בדיון שנערך בפורום של מחשוב עננים בהשתתפות חברות כגון יבמ, HP, קנור-אמרסון וLawrence Berkeley National Lab .
במחקר שנערך קודם לדיון ע"י אמרסון בקרב אגוד משתמשי הדטה סנטר ( DCUG ), התברר שמרבית הארגונים מקררים את חדרי המחשב יתר על המידה.
בעוד שהמלצות ASHRAE מתירות לקרר את האוויר הקר המגיע לשרתים לרמה מקסימאלית של 27 מעלות, כל הארגונים שנסקרו ( כ 70) מקררים לטמפרטורת אוויר של 21 מעלות ומטה.
זהו בזבוז, הדגיש דילן לארסן, העלאת הטמפרטורה חוסכת הרבה מאוד חשמל וכסף.
בישראל המצב אף יותר קיצוני. הסיבות לקירור יתר ולבזבוז הנובע מכך הן כדלקמן:
- חוסר מודעות של מנהלי חדרי המחשב לפוטנציאל הגדול לחיסכון בהעלאת הטמפרטורה
- הנחה מוטעית שהמחשבים יתפקדו טוב יותר בטמפרטורות קרות מאוד
- קירור בלתי ממוקד (קירור חדר) מצריך "מאבק" בנקודות חום שונות ולשם כך מקררים את כל החדר יתר על המידה
- חוסר נוחות טבעי מעבודה בקצות הטווח המותר
- ארונות High density שאינם ממוזגים באופן מקצועי וממוקד מכתיבים למעשה את מיזוג אוויר בזבזני
כתוצאה מקירור היתר הזה, על כל שקל המושקע בחשמל ל IT מושקעים עוד שקל עד שניים בתקורה שרובה הוא מיזוג אוויר ( PUE בין 2 ל 3 ) . בזבוז כבר אמרנו?
תכנון אולם מחשב לשרידות ( Tier 4 ) וליעילות בצריכת החשמל
חדר המחשב של BAIS באזור סן פרנסיסקו מספק לנו הצצה מעניינת למתרחש בארה"ב.
אולם המחשב שנחנך לאחרונה, נבנה ל MW 3 עומס IT, וברמת שרידות Tier 4 (לפי הדוברים) . שטח האתר הוא 80,000 רגל רבוע שהם בערך 7400 מ"ר.
משמעות תכנון Tier 4 הוא תכנון לזמינות של 5 תשיעיות ( 99.999% ) כלומר downtime של לא יותר מ 40 דקות בשנה.
החדר בסרט זה תוכנן לפי פעמיים N+1 . אגב, לאחרונה הוריד ה uptime institute את דרישתו לצורך tier 4 ל 2N "בלבד" מטעמי חיסכון באנרגיה.
החדר משתמש במערכות קירור של ליברט , קירור אוויר תת רצפתי וסגירת המעבר הקר. עפ"י הדוברים, סגירת המעבר הקר יעילה כלכלית פי 5 מסגירת המעבר החם. נתון מעניין.
התכנון הוא ל KW 10 לארון בממוצע. הספקים מתוכננים עד ל KW 12 לארון.
בנוסף משתמש החדר במערכות air economizer להזרמת אוויר קר מבחוץ, דרך מערכת מסננים כמובן. לדבריהם, האקלים באזורם מאפשר להם להשתמש ב free cooling כ 20% מהזמן.
PUE=1.4 (בתפוסה מלאה)
סגירת המעבר הקר בחדרי מחשב ( Cold Aisle Containment )
סגירת המעבר הקר צוברת תאוצה בחדרי מחשב רחבי העולם.
סגירת המעבר הקר מונעת בזבוז של אוויר קר שיוצר ע"י מערכות הקירור. ללא הסגירה, רוב האוויר הקר כלל אינו מגיע לשרתים.
בנוסף, סגירת המעבר הקר מונעת חזרת אוויר חם אל קדמת השרתים, בעיה הקיימת בעיקר כשעומס החום בארון שרתים עולה על 4 קילו-וואט.
מהי סגירת מעבר קר דינמית? בסגירת מעבר קר דינמית חיישנים המוצבים במעבר הקר מתקשרים עם יחידות המיזוג הפנימיות ושולטות על מהירות המאווררים ביחידות אלו. סגירת מעבר קר דינמית נחשבת היום ל BEST PRACTICES .
יתרונות סגירת המעבר הקר הם כדלקמן
- שיפור ביעילות מערכות המיזוג הקיימות.
- 50% שיפור בDensity לארון שרתים, עם יכולת להגיע ל 10 קילוואט עומס לארון שרתים (תלוי ביכולות החדר)
- טמפרטורה אחידה לכל גובה הארון ומניעת תקלות חומרה.
- התקנה קלה ומהירה
- עלות נמוכה עם החזר השקעה מהיר של מס' חודשים עד שנה.
- חיסכון משמעותי בחשבון החשמל (ראו מטה)
- אפשרות לקבל יותר CAPACITY מהצ'ילרים הקיימים (הסבר בפוסט הבא)
להלן נתונים מאמרסון ( Emerson ). סגירת מעבר קר מאפשרת 15% חיסכון בצריכת החשמל למיזוג האוויר ו קרוב לפי 2 מזה (28%) בסגירת מעבר קר דינמית.
| Traditional
Approach |
With Aisle
Containment |
With Emerson SmartAisle | |
| Chiller | 71.3% | 64.9% | 60.0% |
| Pumps | 10.0% | 5.4% | 5.2% |
| Air Handler Fan | 18.7% | 14.3% | 7.2% |
| Total | 100% | 84.6% | 72.4% |
| Savings | 15% | 28% |
דוגמא: אם נניח חדר מחשב עם PUE של 2.5 במצב ההתחלתי, הרי השקעה זעומה בסגירת מעבר קר דינמית תביא חדר זה ל PUE של 2.1 בקירוב.
הבה ניקח כדוגמא חדר מחשב שבו KVA 300 עומס IT .
עם PUE של 2.5 , צריכת החשמל של החדר כולו היא 750 קילוואט שעה בקירוב.
חשבון החשמל השנתי יהיה (במחירים הנוכחיים של 40 אגורות לקווט"ש) 6.5 מיליון שקל בקירוב.
סגירת מעבר קר דינמית תביא את החדר ל PUE של 2.1 ,
החיסכון יהיה 1,050,000 ₪ בשנה.
עלות התקנת מעבר קר דינמית לחדר זה בהערכה גסה , מוערכת 300,000 ₪. כלומר החזר השקעה של 3 עד 4 חודשים.
כמו כן ניתן להכין את תשתית החדר להתקנת יחידות DECS ( מערכות קירור העומדות בין הארונות) בעתיד. מצב זה יאפשר התקנת ארונות high density בעתיד, עד ל KW 30 לארון ואף יותר, ללא עבודות תשתית נוספות.
על ידי סגירת המעבר הקר ניתן, אם כך, לשפר את מצב החדר ולהשיג את היתרונות הכתובים מעלה תוך שימור ההשקעות שנעשו בתשתית, ותוך כדי כך להכינו לעתיד ול high density, כך שהשקעות קפיטאליות ייעשו במדורג ובהתאם לצורך.
ניהול חדרי מחשב ; הנושאים המעסיקים את מנהלי חוות השרתים
פרסום של ה DataCenter User Group כפי שנמסר בועידת DataCenter Dynamics ביוהנסבורג על ידי חברת Emerson מראה את האתגרים עימם מתמודדים מנהלי חדרי המחשב ( data centers ) וכן השוואה ל שנים 2007 ו 2005
בשנת 2005, שלושת הנושאים החשובים היו:
1. צפיפות חום והספק ( heat and power densities ) ,
2. זמינות מידע ( availability )
3. מחסור בשטח רצפה.
יעילות בצריכת החשמל כלל לא הוזכרה בעשיריה הראשונה.
בשנת 2007 , הנושאים החשובים היו:
1. חום
2. הספק
3. יעילות צריכת החשמל של חדרי המחשב.
כלומר, ב 2007 יעילות צריכת החשמל נהפכה לנושא מרכזי
בשנת 2009 הנושאים החשובים היו:
1.חום ומיזוג אוויר
2. יעילות צריכת החשמל
3. ניהול חדרי המחשב, נושא אליו נתייחס בהרחבה בפוסטים הבאים.
נושא יעילות צריכת החשמל בחדרי המחשב ממשיך להיות במוקד הדאגה של מנהלי חדרי המחשב . זאת בשל המשך הגידול בצריכה בקילו-וואט שעה והעלייה במחירי האנרגיה ( צפי: 10% בשנה). כמו כן, מחסור ב CAPACITY מזרז את פרוייקטי ההתייעלות.
ארונות שרתים מבוססי קירור מים בבנק ישראל
הדטה סנטר החדש של בנק ישראל נחנך בתחילת חודש אוקטובר בהשתתפות נגיד בנק ישראל סטנלי פישר.
מיזוג האוויר בחוות השרתים של בנק ישראל מבוסס על מערכות קירור שורה CoolLoop של Knurr-Emerson. אלו יחידות המבוססות על קירור מים( KW 30 כ"א ) וממוקמות בין ארונות השרתים. שם המותג הוא coolloop אך השם הגנרי של יחידות אלו הוא DECS אם כי יש כאלו שקוראים להם InRow או Inline.
לטעמי בחירת בנק ישראל במערכות Coolloop של חברת Knurr-Emerson מדגישה את המודעות הגוברת של ארגונים בישראל לחשיבות תכנון וניהול יעיל של חדרי מחשב, תוך מתן דגש על טכנולוגיות "ירוקות" שמביאות לחיסכון משמעותי בהוצאות התפעול. אחד המאפיינים של פרויקטים מסוג זה הוא השימוש במערכות מיזוג אוויר מתקדמות המבוססות על ארונות קירור מים .
טכנולוגיה זו של קירור ממוקד שהצגנו לשוק הישראלי ב 2004, הופכת יותר ויותר לפתרון הנבחר. זאת בשל היכולת לקלוט ולקרר בקלות ארונות מחשוב מתקדם בעל הספקים גבוהים תוך חיסכון משמעותי בחשמל ובשטח רצפה ותוך שיפור שרידות החדר .
בנוסף למערכות מיזוג האוויר הפנימיות, הותקנו בפרויקט זה ארונות שרתים עם מחשבה לעתיד ( למשקל נשיאה של 1500 ק"ג וחירור אופטימאלי של דלתות ל 83% ראו פוסט בנושא best practices לבחירת ארון שרתים ) , ארונות תקשורת של Panduit המיועדים לניהול כבילה מתקדם ומומלצים על ידי סיסקו, מערכות KVM של Raritan וכן פסי שקעים חכמים ( PDU ) עם תוכנות ניהול מתקדמות המאפשרות בקרה על צריכת החשמל בזמן אמיתי .
בשל האיסור לצלם באתר, התמונה המופיעה מעלה היא להמחשה בלבד ולקוחה מאתר אחר בישראל בסדר גודל דומה.
ניהול רצפה צפה וייעול של מיזוג האוויר ב – Data centers
בסקרים שאנו עורכים בחדרי מחשב אנו מעריכים את כמות האוויר הקר שאינה מגיעה כלל לשרתים ולציוד ה IT. בדרך כלל, למעלה מ 60% מהאוויר הקר המיוצר על ידי מערכות המיזוג כלל אינו מגיע לציוד ה IT . אוויר מבוזבז זה נקרא BYPASS AIR .
בקירור תת רצפתי הנהוג בחדרי מחשב, חלק גדול מן הבזבוז מגיע מפתחי כבילה לא מבוקרים. פתח כבילה של 15X20 ס"מ יכול לגרום לבזבוז של KW 2 קירור, הוצאה מיותרת עצומה של כ 4000 ₪ בשנה.
זו אחת הסיבות לכך שמערכות מיזוג האוויר של חדרי מחשב אינן יעילות. למרות overcapacity , חדר המחשב נמצא במצוקה של חום.
רבים טועים ומניחים שניתן לפתוח פתח בלתי מבוקר במרצפת הצפה אם פתח זה נמצא בתוך הארון. הנחה זו שגויה ופתח כזה עלול לגרום לבעיות רבות.
זו בעיה שהפתרון לה קל, זמין ואינו יקר. הפתרון נקרא KOLDLOK . מעין פתח-מברשת במרצפת הצפה. החזר ההשקעה מוערך ב 2-3 חודשים. להלן סרט הדגמה של Upsite:
חדר של חצי מגה וואט ב 20 ארונות שרתים
חדר של חצי מגה-וואט, ב-20 ארונות מקוררי מים. זהו אמנם סרטון פרסומי של קנור-אמרסון אבל מעניין לראות איך עובדים בגרמניה. אגב, זו לא טכנולוגיה אקזוטית. הותקנו מעל 300 ארונות כאלו בישראל.
מה הטמפרטורה המומלצת בחדר המחשב / חדר השרתים?
מאחר ומפת הטמפרטורה אינה אחידה בחדר המחשב, קודם כל חשוב לשאול מהי הטמפרטורה הרלבנטית? התשובה היא שהטמפרטורה הרלבנטית היא בכניסה לשרתים ולציוד ה IT. כלומר בקדמת ארון השרתים. כך, אגב, גם לגבי הלחות היחסית. הטמפרטורה בחלקו האחורי של הארון או במקומות אחרים בחדר מעניינת אך לא קריטית. כל עוד ציוד ה IT מקבל ספיקת אוויר מספקת בטמפרטורה הנכונה דיינו.
ארגון ASHRAE שמנחה את התעשייה קובע שטווח הטמפרטורה המומלץ לתפעול אופטימאלי של השרתים הוא בין 18 ל 26 מעלות צלזיוס (כאמור, בכניסת האוויר לשרתים, לא ביציאה). עד ל 2008 הטווח המומלץ היה בין 20 ל 25 מעלות אך טווח זה הורחב לאחרונה (ASHRAE 2009) כדי לאפשר חיסכון באנרגיה ולהקל על תפעול החדר.
קיימת גישה מוטעית בקרב רבים וטובים בתעשייה שאינם מאושרים אלא אם כן הטמפרטורה בחדר קרה מאוד עד כדי אי נוחות. טמפרטורה של 24 מעלות גורמת לאנשים אלו הרגשה לא נוחה למרות שזו טמפרטורה אופטימאלית. זהו קיבעון מחשבתי. אין צורך להכות אותם. טיפול רגוע וסבלנות יחזירו אותם לדרך הישר.
האתגר כמובן הוא לגרום לאחידות הטמפרטורה בקדמת הארון לכל גובהו. זו הבעיה העיקרית. בשל חוסר היעילות המובנה בתכנון מיזוג האוויר בחדרי מחשב רבים, סובלים רבים ממוקדי חום בחלקים העליונים של ארונות השרתים. כדי להילחם בתופעה זו, מגבירים את הקירור ומקבלים טמפרטורות קור קיצוניות ומזיקות (מתחת ל 15 מעלות – אסור). תופעה זו של קירור מוגזם של חדר המחשב כדי למנוע מס' מוקדי חום, לא רק מזיקה לציוד אלא גם מבזבזת חשמל ומביא להוצאות מטורפות בחשבון החשמל.
מס' פתרונות מקובלים
סגירת המעבר הקר והעלאת טמפרטורת האוויר הנכנס והחוזר – לכך אתייחס בפוסט הבא.
קירור אינטגראלי בתוך הארון ( ארונות מקוררי מים) – ראו פוסטים קודמים
הגדרות היתירות של חדרי מחשב ( Tier System )
חברות שלהן חדרי מחשב צריכות לאזן בין שני צרכים. הצורך ברציפות עסקית לעומת הצורך בחיסכון בהשקעות ( CAPEX) ובהוצאות התפעול ( OPEX ) .
מחד גיסא, הצורך בזמינות מידע ורציפות עסקית מכתיב יתירות בתכנון תשתית חדר המחשב. מאידך גיסא, יתירות עולה כסף. יתירות מכתיבה השקעות משמעותיות בחומרה והוצאות תפעול גבוהות יותר בחשבון החשמל ובחוזי שירות. על כן, על המנמ"ר להגדיר במדויק מה רמת היתירות הנדרשת בחדר שלו ולהבין את ההשלכות העסקיות כולן.
רמת היתירות מוגדרת על פי 4 רמות ( Tiers ): מרמה 1 ( Tier I ) עד רמה 4 ( Tier IV ) . הגדרת הרמות נעשתה על יד מכון האפטיים ( www.uptimeinstitute.org ) שהוא האורים והתומים בתחום חדרי המחשב.
חדרי מחשב ברמות I ו II נועדו לתת מענה לטווח קצר ולתמוך בטכנולוגיה הנוכחית בלבד. אלו פתרונות טקטיים שבהם שיקול העלות הוא שיקול כמעט בלעדי. במקומות בהם ל IT חשיבות אסטרטגית נחוץ פתרון ברמות III ו IV שנותנים מענה לרציפות העסקית ומאפשרים קליטת טכנולוגיה חדישה בקלות יחסית.
Tier I: בחדר מחשב ברמה I ניתן ביטוי לרצון החברה להכיל את ציוד ה IT בתחום בו יש תשתית מתאימה (בניגוד, למשל, לתשתית משרדית). חדר רמה 1 טיפוסי יהיה חדר מחשב סגור, מערכת אל-פסק ( UPS ) שתייצב את המתח ותיתן מענה להפסקות חשמל קצרות, מערכת מיזוג אוויר 24/7 וגנראטור להפסקות חשמל ארוכות יותר. אין יתירות ( רמה N ). אין אפשרות לביצוע טיפולים בציוד התשתית ללא השבתה. כמו כן, במקרה של תקלה בציוד התשתית, יסבול האתר מהשבתות.
Tier II: בחדר מחשב ברמה II תהיה יתירות כלשהי למערכות קריטיות של חשמל ומיזוג אוויר. בדרך כלל היתירות ( N+1 ) תהיה במערכות כגון UPS, צ'ילרים, משאבות וגנראטור. טיפולי שירות תקופתיים יגרמו להשבתות. תקלות חומרה במרכיבי התשתית יכולים גם הם לגרום לקריסת החדר באופן זמני.
Tier III: בחדר מחשב ברמה III התכנון מאפשר טיפולי שירות לתיקון ומניעה ללא השבתה ( concurrent maintenance ). כלומר, ניתן להשבית כל רכיב תשתית כגון UPS, ארון חשמל או יחידת מיזוג ללא השבתה של ציוד IT. לכל מוליך תשתית פעיל יהיה "תאום" פסיבי שיכנס לעבודה במקרה של כשל במוליך הפעיל. גם כאן היתירות במערכות היא ברמה של ( N+1). ההבדל הגדול הוא שבאתר זה ניתן לבצע עבודות שירות תקופתיות מה שיקטין בודאי גם את מס' התקלות.
Tier IV : חדר מחשב ברמה IV הוא אל-כשל ( Fault Tolerant ) . יש בו את כל מה שנכלל ברמה III אך שום כשל בודד אינו יכול לגרום להשבתה מליאה או חלקית. כל מרכיבי התשתית פעילים בו זמנית.
ברור שאם מערכת המיזוג מתוכנת לפי רמה II אך מערכת החשמל לפי רמה I, חדר המחשב הוא ברמה I. דירוג חדר ברמה 2.5 זו המצאה ישראלית שאין לה אחיזה בתורה המקצועית.
בעת תכנון ושדרוג חדרי מחשב, חשוב שהמנמ"ר יגדיר במדויק את צרכי הארגון בכל הקשור לרציפות העסקית. שיטת הדרוג ל 4 רמות מאפשרת למנמר בחינה מסודרת של עלות מול תועלת.
נתונים על חדרי מחשב מהעיתונות המקצועית
מאמרים בעיתונות המקצועית בתחום חדרי המחשב ו IT ירוק מביאים נתונים מעניינים בנושא צריכת האנרגיה של תעשיית IT. להלן לקט מעניין:
• מספר השרתים בארה"ב בשנת 2000 היה 5 מיליון. עד 2010 יהיו בארה"ב יותר מ 15 מיליון שרתים
• כדי לספק את הצמיחה בצריכת החשמל של השרתים בלבד, ייבנו בארה"ב 10 תחנות כוח בין השנים 2005-2015 , בעלות של 2 עד 6 מיליארד דולר כל אחת. באופן טבעי תגולגל עלות זאת לחברות דרך חשבון החשמל.
• כ 80% מעלות הקמת חדרי מחשב היום היא בתשתית החשמל והמיזוג. פי 6 מהנהוג לפני 10 שנים
• כדי לבנות חדר מחשב ברמת יתירות של Tier 3 , יש צורך בהשקעה קפיטאלית של 14,000 $ לשרת.
• עלות החשמל הנדרש כדי להפעיל ולקרר שרת הצורך 300 וואט, היא 520$ בשנה, או כ 2,100 ₪ לשנה.
• בהנחה ששרת כזה עולה 2,500$ , עלות החשמל עולה על מחיר השרת תוך 4-5 שנים. אם חדר המחשב אינו יעיל אנרגטית, הנתון הנכון יותר הוא 3 שנים.
• במחירים ישראלים, עלות החשמל הנדרש להפעיל ולקרר ארון שרתים ובו 40 שרתי "פיצה" הוא 84,000 ₪ בשנה. עלות זו בדרך כלל אינה משולמת על ידי מחלקות ה IT אלא על ידי גורם אחר בארגון אשר אינו יכול לנתח הוצאה זו.
• מחקר של מכון אפטיים ( uptime institute ) קובע שבמקרים רבים כ 30% מהשרתים הם מיותרים וכמעט לא עובדים. בארגון שלו 500 שרתים, השבתת 30% מהשרתים תחסוך מעל 70,000 $ בשנה ותחסוך פליטה של כ 600 טון גזי חממה . הבעיה? לא זכיתי להכיר מנהל חדר מחשב אשר קיבל ציון לשבח ממנהלו על כך שהשבית שרת.
• ייצור החשמל הנדרש להפעלת וקירור שרת אחד גורם לפליטת 4 טון גזי חממה בשנה. כמות דומה הנפלטת ממכונית משפחתית הנוסעת כ 24,000 ק"מ בשנה.
מה הסיבה לצמיחה הדרמטית הזו בצריכת החשמל?
ב 1965, קבע גורדון מור, ברבות הימים אחד מהמייסדים האגדיים של אינטל, שמספר הטרנזיסטורים במיקרו מעבדים יוכפל כל 24 חודש. אמרה זו השתרשה בתעשייה כחוק מור ( Moore's Law ). חוק זה עובד עד היום וניתן לעניות דעתי, לקרוא לו 'נבואת מור'. התגשמות נבואה זו הביא להתפתחות הטכנולוגית המדהימה שחווינו מאז אותם ימים. אלא שבהיחבא, מתחת לאפם של קברניטי החברות, התרחשה תופעה נוספת: בעוד שרמת הביצועים לכל דולר עלתה בטור הנדסי, יעילות האנרגיה השתפרה גם היא אך בקצב איטי בהרבה.
מה ניתן לעשות?
די הרבה. ובמקרים רבים די בקלות. מרבית חדרי המחשב היום אינם מנוהלים לפי Best Practices אך ניתן לשדרג אותם בקלות יחסית. סגירת המעבר הקר היא אחת הדרכים הנבונות. כדאי להתחיל בסקר טרמי ומשם להמשיך.
