Posts tagged ‘Green IT’
UNIVERSAL CONTAINMENT; HOT OR COLD AISLE CONTAINMENT
סגירת המעבר הקר (או סגירת המעבר החם) היא הכרחית היום בחוות שרתים. ללא הפרדה ראויה מובטח בזבוז עצום במיזוג האוויר, דבר המוביל לעלות גבוהה ברכש (מיותר) של מערכות מיזוג אוויר ובעלות גבוהה (מאוד) של חשמל. זאת בנוסף לבעיות חום המשפיעות לרעה על תפקוד חוות השרתים, גמישותה ועל הרציפות העסקית.
בסגירת המעבר אנו מגיעים לאופטימיזציה של מיזוג האוויר בזכות הפרדה של אוויר קר וחם, מניעה של אוויר חם החוזר לקדמת השרתים, תיעול כל האוויר הקר אל השרתים ומניעת "בריחתו" ( דבר הקרוי BYPASS AIR ) ומבטיחים את יעילות מחליף החום ביחידת המיזוג. לא ניכנס לזה עכשיו.
בעולם נהוג היום יותר ויותר לסגור את המעבר הקר. לא ניכנס לדיון מדוע בפוסט זה. עם זאת נהוג להבדיל בין שני סוגי מתקנים:
BROWNFIELD :מתקן קיים, חוות שרתים עובדת שאותה אנו רוצים לשדרג ולטייב, אם אפשר, ללא השבתה. במתקן כזה סגירת המעבר הקר היא האופציה היחידה כמעט. למעט הקמת POD חדש המבוסס על יחידות קירור מים.
GREENFIELD : מתקן חדש . כאן ניתן לבצע הפרדת אוויר קר וחם במגוון שיטות. דוגמאות: ארונות ארובה, סגירת מעבר קר עם או בלי יחדות קירור מים, סגירת מעבר חם ועוד.
מאחר וסגירת המעבר קשה יותר כאשר אין בידינו את כל ארונות ה IT שטרם נרכשו עדיין, ולחלופין יש לנו ארונות בגבהים שונים וברוחב שונה, פותחה על ידי חברת פנדויט ( PANDUIT ) שיטה אוניברסלית לסגירת מעברים. ראו:
7 דרכים למיזוג אוויר יעיל אנרגטית בחדרי שרתים.
מאז אוגוסט 2011 עלו מחירי החשמל בישראל ביותר מ30% (נכון לפברואר 2012). למי שמנהל חדרי שרתים, עובדה זו כואבת במיוחד משום שעלויות צריכת החשמל של חדרי המחשב הגיעו ל 20-25% מהוצאות התפעול השוטפות. בשל הדרך בה תוכננו חדרי השרתים או בשל הדרך בה הם מנוהלים, חלק משמעותי מצריכת האנרגיה מקורה בבזבוז בעיקר בשל חוסר יעילות בדרכי מיזוג האוויר.
בארגונים נאורים בהם חשבון החשמל של חדרי השרתים נבחן בדקדקנות, העלייה בצריכת החשמל הביאה לבחינה מחודשת של דרכי התכנון והניהול של מרכזי המחשוב. בארגונים פחות נאורים, חשבון החשמל משולם על ידי גוף תפעול מרכזי שאינו מסוגל לנתח את הנתונים והתוצאה היא בזבוז שעלותו מאות אלפי ואף מיליוני שקלים בשנה, תלוי בגודל המתקן. לדוגמא: במתקן של ארגון בינוני שבו כ 400 שרתים, צריכת החשמל של השרתים תהיה כ 200 קילוואט לערך. צריכת החשמל הכוללת של המתקן תכלול גם את צריכת החשמל למיזוג אוויר ולמערכות תשתית נוספות. בחדר מחשב בגודל זה המופעל היטב ( PUE=1.5 ) חשבון החשמל הכולל יהיה כ מיליון וחצי ₪ בשנה. בחדר מחשב בגודל דומה המנוהל ללא מתן חשיבות לצריכת החשמל ( PUE=3 ) , ויש רבים כאלו בישראל, חשבון החשמל יעלה כ 3 מיליון ₪, בזבוז של מיליון וחצי ש"ח בשנה או 15 מיליון ₪ בעשר שנים. להסבר על PUE
למי שלא בחן את הנושא מקרוב עד כה, אציין רק שעלות החשמל הנדרשת להפעיל ולקרר שרת מתקדם לאורך 3 שנים גבוהה יותר מעלות השרת עצמו.
בארונות INRACK אלו טמפרטורת מיים קרים של 18 מעלות
בפוסט הקודם תיארתי 10 נוהגים מתקדמים של חדרי שרתים ( datacenter Best Practices ) . הפעם אתמקד בנושא מיזוג האוויר בחדרי שרתים.
רבים ממנהלי חדר המחשב יודעים שעליהם ליישם מעברים קרים וחמים ולזווד פנלים עיוורים בארונות שרתים כדי למנוע חזרת אוויר חם אל קדמת הארון. על כן, לא אעסוק בנושאים טריוויאלים מעין אלו. אלא אתמקד בנוהגים מתקדמים אשר לא רבים בישראל נתנו עליהם את הדעת:
ניתן לחסוך בצריכת החשמל למיזוג בן 30% ל 50% על ידי הפרדה מוחלטת של אוויר קר וחם ועל ידי העלאת טמפרטורת העבודה. הפרדה מוחלטת של אוויר קר וחם מתבצעת על ידי הכלה ( Containment ) והעלאת טמפרטורת העבודה מתבצעת על ידי העלאת טמפרטורת המים הקרים למיזוג ( CW ) מ 7 מעלות ל 16 ואף 18 מעלות צלזיוס. נסביר…
1. הפרדה מוחלטת של אוויר קר וחם על ידי הכלה ( Containment ) של האוויר הקר ( Cold Containment ) או הכלה של האוויר החם ( Hot Containment ) . בחדרי שרתים הממוזגים בשיטת קירור החדר ( בדרך כלל על ידי מערכות ליברט ) הכלת האוויר הקר מתבצעת על ידי סגירת המעבר הקר או על ידי הכלת החום באמצעות ארונות ארובה. אגב, בשיטה הראשונה (סגירת מעבר קר) ניתן להגיע ל 15 קילוואט לארון שרתים ועל ידי ארונות ארובה ניתן להגיע ל KW 30 לארון שרתים.
2. שימוש במערכות קירור ממוקד הקרוי בדרך כלל "ארונות קרור מים" . קירור ממוקד זה יכול להיות מפוזר בשורות ( in row cooling ) או בתוך ארון השרתים באופן הקרוי InRack Cooling.
3. בשיטת קירור השורה ניתן לסגור את המעבר הקר או את המעבר החם. שתי השיטות טובות אם כי רבים ממש שונאים לעבוד במעבר חם סגור בשל אי הנוחות שבכך. קיימת שיטה היברידית אשר נקראת שיטת החדר הקר ( cool room concept ) אשר לה אייחד מאמר נפרד בקרוב והיא מיישמת את כל היתרונות של סגירת המעבר החם ללא החסרונות.
4. העלאת טמפרטורת העבודה. עד לאחרונה נהגו המתכננים לעבוד עם צ'ילרים שקררו את המים הקרים ל 7 מעלות צלזיוס. העלאת טמפרטורת המים הקרים ל 16 ואף 18 מעלות מספקת חיסכון בצריכת החשמל של כ 3% לכל מעלה. בחישוב זריז מדובר על חיסכון של כ 30% רק משינוי טמפרטורת העבודה.
אגב, העלאת טמפרטורת העבודה תאפשר גם לקבל כ 25% יותר קיבולת קירור מהצ'ילר אם כי נתון זה משתנה ממודל למודל.
חשוב מאוד: כדי ליישם שיטה מתקדמת זו הלכה למעשה יש לבחור מערכות In Rack או InRow המסוגלות לספק את קיבולת הקירור המקסימאליות בטמפרטורות CW אלו. ישנן מערכות, רחמנא ליצלן, שבטמפרטורות אלו של 16 מעלות מיים קרים קיבולת הקירור שלהן יורדת ב 50% ואך יותר. מיצרנים כאלו מומלץ להישמר.
5. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
6. מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
7. ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
ארגון אשר יישם את שבעת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יעילות מיזוג האוויר של חדרי השרתים בכ 30%-50% , ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
תכנון חדרי מחשב וחוות שרתים
זה הסטנדרט המומלץ של אלכסנדר שניידר
למנמ"ר המתכנן את מרכז המחשוב ( datacenter ) החדש של הארגון, יש הזדמנות לנצל נוהגים מתקדמים ( Best Practices ) בתכנון חדרי שרתים, ולשפר את התשתית עליה נשען מערך ה IT תוך חיסכון בעלות כוללת. להלן "עשר הדיברות"
1.TCO – הגדירו את רמת היתירות הנדרשת וחשבו את העלות כוללת ל 10 עד 15 שנים. השקעה ראשונית גדולה במס' אחוזים יכולה לחסוך עשרות אחוזים ב TCO.
2.בחירת השרתים גם על פי צריכת האנרגיה – עלות התפעול (בעיקר אנרגיה חשמלית) של שרת לאורך שלוש שנים גבוהה יותר מעלות השרת עצמו. בחרו בחוכמה שכן השוני בין השרתים הוא משמעותי.
3.וירטואליזציה – שימוש בוירטואליזציה מאפשר חיסכון משמעותי ברכש חומרה ובעלות התפעול של חוות השרתים. עם זאת, צריכת האנרגיה של שרת פיזי שעליו 5-20 שרתים וירטואליים גבוהה משמעותית מבעבר ויש צורך בחשיבה עדכנית בתשתית החשמל ומיזוג האוויר.
4.צפיפות מחשוב גבוהה – העלות הכוללת של חדר שרתים עם צפיפות מחשוב גבוהה ( high density ) נמוכה משמעותית ממרכזי מחשוב המפזרים את המחשוב על שטח רצפה נרחב. עם זאת, נדרשת חשיבה מקצועית וחדשנית להתמודדות עם כבילה צפופה, תשתית חשמל ומיזוג אוויר לצפיפות גבוהה. כדאי להתגבר על הנטייה להיצמד לשיטות עבר – החיסכון הוא משמעותי.
5.מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
6. מיזוג אוויר חדשני וממוקד. המיזוג הממוקד מאפשר התמודדות עם כל עומס, חיסכון באנרגיה חשמלית וניצול מיטבי של ההשקעה בתשתית. עם זאת, היזהרו ממוכרנים שממוקדים רק במה שכדאי להם למכור . ישנן מגוון שיטות כגון קירור פנים-ארון, קירור חדר, קירור שורה ולכל אחת מאלו ואריציות שונות. מה נכון? כל פרויקט לגופו על פי הדרישות, הצרכים והאילוצים. טיפ חשוב: בחדרים בהם מיזוג האוויר מבוסס על צ'ילרים: דרשו ממתכנן מיזוג האוויר לתכנן לפי טמפ' מים קרים של לפחות 12 מעלות צלזיוס. רצוי אף יותר. זה יביא לחיסכון עצום בצריכת החשמל ותקבלו הרבה יותר מהמערכות שהתקנתם.
7. הפרדה מוחלטת של אוויר קר ואוויר חם – אחת הסיבות העיקריות לבזבוז העצום במיזוג אוויר ובחשמל בחוות שרתים הוא חוסר ההפרדה בין אוויר קר לחם. שימוש בפנלים עיוורים הוא חובה בסיסית עם החזר השקעה של יומיים בערך. הפרדה בין המעבר הקר למעבר החם יכולה גם היא להביא לחיסכון משמעותי. גם כאן יש כר נרחב של אפשרויות: סגירת מעבר הקר (עם או בלי מערכות קירור מים), סגירת המעבר החם ( רק בשילוב מערכות קירור מים), שיטה היברידית ועוד.
8.ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
9. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
10. הסמכה מבצעית של חדרי שרתים – טבען של תקלות בתכנון וביצוע של חדרי שרתים חדשים, הוא שהן מתגלות זמן רב לאחר העלייה לאוויר עם הצמיחה הטבעית בעומס. תקלות אלו גורמות לזמן דמימה ( downtime ) של חדרי שרתים קריטיים לארגון. ההסמכה המבצעית של אלכסנדר שניידר בוחנת תחת עומס אמיתי את כל מערכות חדר השרתים: מיזוג אוויר, חשמל , יתירות ויעילות אנרגטית. הבדיקה היא באמצעות אמולטורים של חומרה , חיישנים מתקדמים ותוכנת בקרה ייעודית. ההסמכה המבצעית מורידה דרמטית את ההסתברות לתקלות תשתית ומגלה את כל הבעיות לפני הכנסת מערכות האמת של ה IT לחדר השרתים החדש כאשר כל המערכות עדיין באחריות וכל המתכננים והקבלנים עדיין זמינים.
ארגון אשר יישם את עשרת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יכולת חוות השרתים להגיב לצרכי הארגון, ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
אנו מקיימים ימי עיון לעיתים קרובות בנושא תכנון וניהול חדרי שרתים. למעוניינים כתבו לטלי שרון tali@schneider.co.il
פורום Datacenter: ביקור בחדר המחשב של אינטל
יום ה DATACENTER באינטל שפורסם קודם לכן נדחה לחודש מרץ.
נוציא הודעה בנושא כשיסגר התאריך המדויק.
יגאל
חיסכון באנרגיה בזמן אמיתי ונהלים מיטביים. מה ניתן ללמוד מ eBay ?
זירת המסחר eBay היא אחת מזירות המסחר האינטרנטי הגדולות בעולם, ולכן היא דורשת שרידות מוחלטת ממרכז המחשוב שלה; כל זמן דמימה (downtime) יכשיל עסקאות ששוויין יותר מ-2,000 $ לשנייה. משום כך חייבים אנשי הצוות במרכז המחשוב העולמי של eBay לספק הן רציפות עסקית (uptime) והן גמישות ברמה הגבוהה ביותר, וכל זאת תוך שמירה על עלויות נמוכות.
זהו אתגר מורכב בהחלט, שכדי להצליח בו דרושה חדשנות מתמדת.
מאז שהתחילה לפעול, בנתה eBay שנים-עשר מרכזי מחשוב, ועומס החישובים רק הולך וגובר. לא פלא שגם עלויות התפעול של מרכזי המחשוב של החברה גדלות מדי שנה, במקביל לצמיחה העסקית הרצופה. בשל כך בנתה חברת eBay תוכנית ארבע-שנתית, והתחילה להפעיל אותה במרכזי המחשוב שלה. לתוכנית יש יעד שאפתני: להקטין את הוצאות החשמל בחצי תוך הכפלה של ביצועי החישוב; יחד עם זאת, המבנה של התשתית החדשה ישפר את המהימנות ואת מהירות התגובה התפעולית.
כדי להשיג יעדים אלה, תמזג חברת eBay את נכסיה ותקטין את מספרם של מרכזי המחשוב שלה. כל מרכז מחשוב חדש ייבנה מן היסוד במטרה להיות חסכוני באנרגיה ככל האפשר, בלי לפגוע ברציפות העסקית.
"אסטרטגיה מוצלחת במרכזי מחשוב מניחה שדרישות המחשוב יגדלו מדי שנה, אבל היא מאפשרת להם לגדול כנדרש בלי לייקר באופן פרופורציוני את עלויות התפעול," מסביר דין נלסון (Dean Nelson), דירקטור בכיר ב-eBay לתפעול ואסטרטגיה במרכזי המחשוב אותו פגשתי בכנס שערכה חברת Starline . "אנו חייבים לשבור את הקשר הליניארי שבין עומס החישובים לבין עלויות התפעול. לשם כך עלינו לעשות קפיצת דרך ביכולות שלנו בתחומי החיסכון באנרגיה, כוח החישוב וניצול השרתים."
במאי 2010 חנכה eBay את מתקן הדגל שלה, אבן הפינה של האסטרטגיה החדשה למרכזי המחשוב, פרויקט 'טופז'. במתקן זה, הממוקם בסאות ג'ורדן, יוטה, השקיעה חברת eBay את ההון הרב ביותר שהשקיעה אי פעם בפרויקט יחיד, והוא מחזיק כשליש מתשתית השרתים העולמית של החברה. אף על פי שהפריסה במרכז הנתונים כוללת את כל היתירות הנדרשת לצורך מהימנות בסיווג Tier IV, מתגאה מתקן 'טופז' בנצילות שימוש בחשמל (PUE) בגובה 1.4 בלבד.
נהלים מיטביים ליעילות מירבית
בתשתיות של 'טופז' שולבו מנגנונים חדשניים לחיסכון באנרגיה. חמישה מרכיבים מרכזיים בתכנון 'טופז' מעוררים עניין מיוחד בשל ערכם ובשל התאמתם לכל מרכז מחשוב מודרני:
1. הפרדה פיזית וסגירה של מעברים קרים /חמים כדי להגיע ליעילות קירור מירבית, התקינה eBay פתרון להפרדה בין מעברים. eBay בחרה בסגירה של המעבר החם, לא לפני שתכננה אותו בתשומת לב, ניסתה אבטיפוס שלו וביצעה מדידות. סגירת המעבר החם מתבצעת על ידי הפרדה קשיחה של המעברים ותיעול האוויר החם החוזר אל מערכות המיזוג דרך התקרה הכפולה.
- האוויר החם חוזר ליחידות המיזוז דרך התקרה
2. הפצה של 400V לכל ארון בחלק מהארונות ב-eBay יושבים שרתי להב מרובים, ולכן החברה רצתה שכל המסדים יהיו מסוגלים לספק עומסים בהספק של עד 17kW. אפשר, אמנם, להשיג זאת גם בשיטה המסורתית, אבל ב'טופז' בחרו למתוח את כבלי המתח הגבוה עד לארונות, והוזילו משמעותית את העלויות. משום שכל מסד מקבל חשמל במתח 400V, מצטמצמים אובדני הכוח בשנאים מורידי המתח ועל הקווים, ויחד עם זאת החברה חוסכת בתשתיות הנחושת. eBay בחרה לספק מתח תלת-פאזי של 400V לשני פסי שקעים חכמים במסד (הנקראים גם "PDU במסד"). מערכות ה-PDU במסדים, מספקות לכל שרת מתח חד-פאזי של 240V. מתח זה נמצא בתוך טווח הפעילות של כל ספק כוח של ציוד IT כלשהו. בזכות ביטולן של המרות מתח מיותרות, הפצת 400V מקטינה את עלויות האנרגיה ב-2-3% בערך בהשוואה להפצת 220V.
3. מדידה מפורטת של צריכת חשמל בשרתים נהוג לומר שהמדד הכלכלי החשוב ביותר בעיניהם של צוותי התפעול במרכזי המחשוב של eBay הוא העלות המצרפית הכוללת לכל חיפוש. ומשום שכל דור שרתים חדש מציע שיפורים אדירים בביצועי ה-CPU, חברת eBay מחליפה את השרתים שלה במחזוריות של שנתיים; הרווח בביצועים פֶּר וואט גבוה ממחירו של הציוד החדש. אבל חברת eBay תקטין באמת את העלות לכל חיפוש רק אם תכלול בחישוביה את כל עלויות התפעול של כל שרת חדש שהיא רוכשת, ולא רק את מחירו. ועלות התפעול הגבוהה ביותר של כל מכשיר היא ההוצאה על צריכת החשמל שלו. כדי לאתר הזדמנויות לחיסכון המרבי, eBay התקינה במסדים מערכות PDU של חברת Raritan הקוראות את צריכת החשמל המדויקת בכל ספק כוח ובכל שרת בודד. פסי השקעים של Raritan מספקים מידע רציף על צריכת החשמל בקוט"ש בכל מכשיר בודד במרכז המחשוב, בדיוק של 1%. רמת דיוק זו מאפשרת, על פי התקינה, חיוב לקוחות על פי מדידה זו. פסי שקעים חכמים אלו מיועדים לספֵּק הן את צרכי ה-IT והן את צרכי המתקן כולו, והן מזינות, בזמן אמיתי, את הנתונים שהן אוספות למערכות ניהול המבנה ורישום הציוד של eBay. במושגי קונסורציום Green Grid, הן מבצעות ניטור PUE מקטגוריה 3 (או PUE3). "פסי שקעים חכמים נותנים לי את הדיוק שאני צריך בשביל לחשב את עלויות התפעול האמיתיות שלי בכל שרת עד האגורה האחרונה," אומר נלסון. "כך אני יכול להכיר את פרופיל היעילות של כל אחד מספקי הציוד, וכשאני מכין את סבב ה-RFP הבא של השרתים, אני יכול לגבש דרישות שיחזירו את מחירן."
4. מדידת טמפרטורה ברזולוציה גבוהה פרויקט 'טופז' שילב מנגנונים מהפכניים שונים במערכת הקירור שלו, ואז פנה להמשיך ולייעל אותה בזמן אמיתי – הן בהיבט העלויות והן בהיבט המהימנות – מתוך היכרות עם סביבת הפעילות של כל אחד מהשרתים. רוב מרכזי המחשוב מודדים ומבקרים את טמפרטורות האוויר היוצא ממערכות המיזוג ואת טמפרטורת האוויר החוזר אליהן. אבל נתונים אלה מוסרים מידע מקורב בלבד על סביבת השרתים האמיתית. הקירובים מאלצים את צוות המתקן לקחת מרווחי ביטחון ולקרר קירור עודף, וזהו צעד בזבזני, בהגדרה. חברת eBay, לעומת זאת, יודעת מהן טמפרטורות הכניסה והיציאה המדויקות בכל ארון וארון במרכז המחשוב 'טופז'. בפרט, מאמצים ב'טופז' את המלצות ASHRAE לניטור סביבתי של שרתים, ומודדים את הטמפרטורה בשלושה מפלסים של המעבר הקר: למעלה, באמצע ולמטה. מדידות אלה מתווספות למדידות במעבר החם. בזכות הניטור הרצוף יכולה eBay לכוונן את משתני הקירור ליעילות מרבית, ויחד עם זאת לקבל התראה מיידית על כל בעיה ברמת השרת. הקורא יזכור את החיישנים ותוכנת LiveImaging מאחד הפוסטים הקודמים.
5. פסי צבירה (busway) עיליים להפצת חשמל ברוב מרכזי המחשוב פרוס מבוך תת רצפתי של קווי חשמל היוצאים מלוחות PDU אל הארונות. אלא שמבנה כזה מפריע לאוורור ובכך משבש את יעילות הקירור. כל זה קורה מתחת לרצפה הצפה ולכן לא זוכה לתשומת לב רבה, אבל עלול להיות משמעותי. יתרה מזאת, תכנון סטנדרטי המכין חיבורי "שוט" (power whips) תת-רצפתיים ייעודיים לכל מפסק, צורך כבלי נחושת מיותרים שאינם מנוצלים היטב, ואף מגביל את גמישות הזיווד של ארונות חדשים. כדי לפתור את הבעיה, משתמשים ב'טופז' בפסי צבירה עיליים של חברת starline להפצת חשמל אשר מאפשרים חיבור קל של הארונות למקור כוח של 400A. לאורכה של כל שורת ארונות מתוחים שני מסלולים, וכל אחד מהם מספק כוח חלופי ובכך מבטל לחלוטין את הצורך בחיבורי "שוט" תת-רצפתיים. תוך דקות אפשר להוסיף שקעים למארזים מוגנים במפסק אוטומטי בכל נקודה לאורך שורת הארונות, במקום להמתין מספר ימים עד שיגיע חשמלאי ויתקין עוד "נקודות חיבור".
סיכום
חברת eBay מעוניינת מאוד בשיפור המהימנות של מערכות המחשוב שלה, שכן זמן דמימה עולה לה 2,000 $ לשנייה, כלומר $120,000 לדקה. בגלל היקף הפעילות הגדול של החברה, היא חייבת לשמור שההוצאות על ציוד ועל חשמל לא יצאו משליטה. משום כך פיתחה eBay מודל למרכזי המחשוב שלה, המבטיח פעילות IT ברמת מהימנות גבוהה מאוד וגם מוזיל את עלויות התפעול ב-50% בהשוואה למרכזים הישנים שהיא מוציאה מפעילות בהדרגה. גם מרכזי מחשוב צנועים יותר שיאמצו את הנהלים המיטביים בתעשיית ה-IT כפי שעשתה eBay, יכולים להאריך את זמן הרציפות העסקית (uptime), לקצץ בהוצאות ולהתייעל, תוך שימוש בציוד זמין ובטכניקות ותהליכים פשוטים.
דטה סנטר במכולה – אתר חוות השרתים של THOR באיסלנד
אחת החברות הבולטות בתחום ה datacenter container היא חברת AST MODULAR שאחד ממוצריה הוא ה PMDC המצליח של יבמ.
בסרטו זה, שאורכו 7 דקות מציג הנרי דוארנט, מנכל AST את הקונטיינרים שהתקין באתר THOR שבאיסלנד. אתר זה הוא אחד היעילים בעולם מבחינה אנרגטית, במידה רבה בזכות יכולתו להשתמש ב FREE COOLING כמעט כל השנה. ה PUE באתר זה הוא בסביבות 1.1
גם כאשר FREE COOLING אינו בר ביצוע, זהו פרויקט מעניין לכל מקצוען דטה סנטר. ברור שניתן להתקין גם מערכות מיזוג אוויר המתאימות לאקלים מדברי או ים תיכוני.
כמה דגשים:
17 ארונות שרתים U 42 בקונטיינר, KW 14 כל אחד.
קונטיינר עליון המכיל מערכות מיזוג אוויר וכיבוי אש.
יתירות ברמה TIER3
מערכות PDU מבוקרות,
פסי צבירה (של starline )
מערכות שו"ב כולל אבטחת כניסה ביומטרית
להנאתכם
הצצה לחדר המחשב של אינטל ישראל
אינטל ישראל מספקת הצצה נדירה לחדר המחשב שלה. ניתן להתרשם מהסדר וההקפדה על נוהגים מתקדמים( Datacenter Best Practices ) בסרט אותו מנחה עופר ליאור , מנהל הדאטה סנטר באינטל חיפה.
אישית רוויתי נחת מהצגת ארונות High Density המבוססים על קירור מים שסופקו על ידינו, חברת אלכסנדר שניידר. מדובר בארונות Cooltherm תוצרת קנור (Knurr ) , שבהם מחליף החום נמצא בתחתית הארון ( In-Rack Cooling ) . בשל הקירור הממוקד ניתן לקרר עד KW 35 בארון ו/או לחסוך הרבה מאוד כסף בחשבון החשמל. זו המערכת היעילה ביותר ל high density הקיימת היום בשוק.
בכל ארון כזה עובדים 6 בלייד סנטרים ( 84 שרתים) . עוד חשוב לדעת שיחידות אלו צורכות מים קרים בטמפרטורה של 16 מעלות, דבר המקנה לדטה סנטר חיסכון משמעותי בחשבון החשמל וניצול מקסימאלי של יכולות הצ'ילר.
למען הסר ספק, השורות למטה הן תוספות שלי ואינן מוצגות בסרט:
למי שלא עוקב אחרי נושאים אלו ביומיום, אציין שבדרך כלל, מערכות מיזוג אוויר דורשות מים קרים בטמפרטורה של 6-7 מעלות כדי לספק קירור ברמה המתקרבת לטענות אנשי השיווק שלהם.
מערכת כגון זו שלנו, המאפשרת להגיע לקיבולת קירור מליאה ב 16 מעלות מים קרים מספקת את היתרונות הבאים
1. חיסכון של 30% חשבון החשמל לקירור ( 3% לכל מעלת צלזיוס)
2. אין בזבוז אנרגיה הנגרם מהוצאת והשבת לחות לאוויר
3. הצ'ילרים נותנים יותר קיבולת קירור בטמפרטורות מים גבוהות
תודה לאינטל שמשתפת את השוק בתובנות שפיתחה ומסייעת לתעשייה להתייעל ולחסוך באנרגיה חשמלית.
חשבון החשמל של חדרי המחשב בישראל- 1.25 מיליארד שקל בשנה
כ 2000 באי כנס אילות לאנרגיות מתחדשות שנערך באילת בשבוע שעבר, נחשפו לסדרת הרצאות ויוזמות בתחום האנרגיה. בעוד שנותני הטון היו עדיין חסידי האנרגיה הסולארית, קיים הכנס מסלול מרתק בנושא התייעלות אנרגטית. נושא צריכת החשמל של מרכזי המחשוב (דטה סנטר) עלה השנה בלא פחות מארבע הרצאות שונות.
מהחומר עולה כי חדרי המחשב של 1,000 הארגונים הגדולים בישראל צורכים כ 350 מגה-וואט, שהם כ 3% מיכולת היצור של רשת החשמל בישראל. בחשבון פשוט של 42 אג' לקווט"ש, חשבון החשמל של מרכזי המחשוב בישראל הוא 1.25 מיליארד שקל בשנה!
שתי עובדות מוסיפות עניין למספר מדהים זה. האחת, שצריכת החשמל של מרכזי המחשוב צפויה להכפיל עצמה בעוד 4-5 שנים.
השנייה , שכ 40% מסכום זה הם בזבוז שמקורו בחוסר מודעות ובחוקי תכנון מיושנים. במילים אחרות, הפוטנציאל לחיסכון הוא עצום, מה עוד שמחירי האנרגיה צפויים לעלות בשנים הקרובות.
אם כך מדובר בבעיה שיש לה מימד כלכלי נכבד (חשבון החשמל), מימד טכני (ניהול ושרידות), מימד ציבורי (איכות הסביבה) ומימד לאומי, דהיינו, יכולת תשתית החשמל להמשיך לתמוך בצריכה הגוברת של חדרי המחשב.
למרות הסכום העצום, נושא זה לא נמצא בדרך כלל בראש מעינייהם של מקבלי ההחלטות, אלא אם הארגון הוא נאור במיוחד. הסיבות לכך הן רבות:
1. חשבון החשמל אינו משולם על ידי מנהלי חדר המחשב אלא על ידי תקציב מנהלה כללי.
2. ההנהלה אינה מודעת לפוטנציאל החיסכון ולכן גם לא מציבה יעדים בתחום זה
3. חשש מוטעה שצעדי חיסכון והתייעלות דורשים השקעה מרובה ו/או השבתות
4. במקרים רבים מי שאחראי על תכנון והקמת החדר מתמקד ב CAPEX ואינו מתוגמל על חיסכון ב OPEX
במחקר שפרסם הפורום הישראלי לאנרגיה ( http://www.energia.org.il) , נמצא שההשקעה הנדרשת לחיסכון של קילו-ואט שעה אחד הוא עשירית מההשקעה הנדרשת ליצור קווט"ש באמצעים של אנרגיה מתחדשת. למרות זאת, עיקר היוזמה הממשלתית עד כה הוא בתחום האנרגיה המתחדשת. אין שום תוכנית או תמריץ ממשלתי להתייעלות אנרגטית. משלם המיסים ישלם 2 ₪ לכל קווט"ש המיוצר באנרגיה סולרית או אנרגית רוח, אך לא קיים שום עידוד ממשלתי לחיסכון באמצעות התייעלות.
כותבי המחקר, ד"ר שחר דולב, יעל כהן-פארן ונועם סגל, ממליצים בשלב ראשון לקיים סקר אנרגיה ארצי אצל הצרכנים הגדולים, להעלות מהסקר מהן אפשרויות ההתייעלות המרכזיות, ולפעול להטמעת החיסכון באמצעות תמריצים ומיסוי.
בקליפורניה למשל הצליח הממשל למנוע צמיחה בשימוש החשמל לנפש שנשאר יציב מאז שנות ה 80. לא אחת פורסם על מענקים בשווי של מאות אלפי דולרים שהעניקה חברת החשמל המקומית PG&E לפרויקטים של התייעלות אנרגטית בחדרי מחשב בקליפורניה. בישראל משרד התשתיות מתמקד כל כולו באנרגיה מתחדשת ומזניח את הפוטנציאל העצום בהתייעלות אנרגטית.
כפי שנאמר בכנס אילות: אנרגיות מתחדשות – פוליטקלי קורקט. התייעלות אנרגטית – פייננשלי קורקט.
טמפרטורת האוויר הקר בחדרי מחשב
מרבית חדרי המחשב מבזבזים אנרגיה וכסף רב, כך אמר דילן לארסון, דירקטור של Platform technology initiatives בחברת אינטל בדיון שנערך בפורום של מחשוב עננים בהשתתפות חברות כגון יבמ, HP, קנור-אמרסון וLawrence Berkeley National Lab .
במחקר שנערך קודם לדיון ע"י אמרסון בקרב אגוד משתמשי הדטה סנטר ( DCUG ), התברר שמרבית הארגונים מקררים את חדרי המחשב יתר על המידה.
בעוד שהמלצות ASHRAE מתירות לקרר את האוויר הקר המגיע לשרתים לרמה מקסימאלית של 27 מעלות, כל הארגונים שנסקרו ( כ 70) מקררים לטמפרטורת אוויר של 21 מעלות ומטה.
זהו בזבוז, הדגיש דילן לארסן, העלאת הטמפרטורה חוסכת הרבה מאוד חשמל וכסף.
בישראל המצב אף יותר קיצוני. הסיבות לקירור יתר ולבזבוז הנובע מכך הן כדלקמן:
- חוסר מודעות של מנהלי חדרי המחשב לפוטנציאל הגדול לחיסכון בהעלאת הטמפרטורה
- הנחה מוטעית שהמחשבים יתפקדו טוב יותר בטמפרטורות קרות מאוד
- קירור בלתי ממוקד (קירור חדר) מצריך "מאבק" בנקודות חום שונות ולשם כך מקררים את כל החדר יתר על המידה
- חוסר נוחות טבעי מעבודה בקצות הטווח המותר
- ארונות High density שאינם ממוזגים באופן מקצועי וממוקד מכתיבים למעשה את מיזוג אוויר בזבזני
כתוצאה מקירור היתר הזה, על כל שקל המושקע בחשמל ל IT מושקעים עוד שקל עד שניים בתקורה שרובה הוא מיזוג אוויר ( PUE בין 2 ל 3 ) . בזבוז כבר אמרנו?
מה הטמפרטורה המומלצת בחדר המחשב / חדר השרתים?
מאחר ומפת הטמפרטורה אינה אחידה בחדר המחשב, קודם כל חשוב לשאול מהי הטמפרטורה הרלבנטית? התשובה היא שהטמפרטורה הרלבנטית היא בכניסה לשרתים ולציוד ה IT. כלומר בקדמת ארון השרתים. כך, אגב, גם לגבי הלחות היחסית. הטמפרטורה בחלקו האחורי של הארון או במקומות אחרים בחדר מעניינת אך לא קריטית. כל עוד ציוד ה IT מקבל ספיקת אוויר מספקת בטמפרטורה הנכונה דיינו.
ארגון ASHRAE שמנחה את התעשייה קובע שטווח הטמפרטורה המומלץ לתפעול אופטימאלי של השרתים הוא בין 18 ל 26 מעלות צלזיוס (כאמור, בכניסת האוויר לשרתים, לא ביציאה). עד ל 2008 הטווח המומלץ היה בין 20 ל 25 מעלות אך טווח זה הורחב לאחרונה (ASHRAE 2009) כדי לאפשר חיסכון באנרגיה ולהקל על תפעול החדר.
קיימת גישה מוטעית בקרב רבים וטובים בתעשייה שאינם מאושרים אלא אם כן הטמפרטורה בחדר קרה מאוד עד כדי אי נוחות. טמפרטורה של 24 מעלות גורמת לאנשים אלו הרגשה לא נוחה למרות שזו טמפרטורה אופטימאלית. זהו קיבעון מחשבתי. אין צורך להכות אותם. טיפול רגוע וסבלנות יחזירו אותם לדרך הישר.
האתגר כמובן הוא לגרום לאחידות הטמפרטורה בקדמת הארון לכל גובהו. זו הבעיה העיקרית. בשל חוסר היעילות המובנה בתכנון מיזוג האוויר בחדרי מחשב רבים, סובלים רבים ממוקדי חום בחלקים העליונים של ארונות השרתים. כדי להילחם בתופעה זו, מגבירים את הקירור ומקבלים טמפרטורות קור קיצוניות ומזיקות (מתחת ל 15 מעלות – אסור). תופעה זו של קירור מוגזם של חדר המחשב כדי למנוע מס' מוקדי חום, לא רק מזיקה לציוד אלא גם מבזבזת חשמל ומביא להוצאות מטורפות בחשבון החשמל.
מס' פתרונות מקובלים
סגירת המעבר הקר והעלאת טמפרטורת האוויר הנכנס והחוזר – לכך אתייחס בפוסט הבא.
קירור אינטגראלי בתוך הארון ( ארונות מקוררי מים) – ראו פוסטים קודמים
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 