Posts filed under ‘חדר מחשב ירוק’
קורס של ג'ון ברייס בנושא ניהול חוות שרתים
מדי פעם אני נשאל על קורס בנושא ניהול והקמה של חוות שרתים. הפעם יש לי תשובה…
מכללת ג'ון ברייס פותחת קורס הנקרא
Datacenter Professional
תיאור
קורס לימוד המשלב נושאים הקשורים בתכנון, הקמה וניהול של חדרי מחשב וחוות שרתים בהיבט של התשתית הפיזית-קריטית. הקורס מכיל הרצאות ודוגמאות בתחומי העמדה, תקשורת, מיזוג אוויר, חשמל ושו"ב ומתמקד בהצגת היסודות ובנוהגים מיטביים
אחד המפגשים של הקורס יועבר במעבדת הדטה-סנטר בחברת אלכסנדר שניידר בפארק התעשייה החדש של נתניה.
המרצים יהיו מוכרים לכם בוודאי….
יגאל שניידר – מנכ"ל חברת אלכסנדר שניידר. תואר ראשון בהנדסת חשמל, תואר שני במנהל עסקים. יוצא חברת אינטל בה מילא תפקידי מפתח שונים כמנהל מוצר. מומחה בתכנון והקמה של חוות שרתים. מרצה ותיק וכותב בלוג בנושא חדרי מחשב datacenter.org.il
משה נבות – מייסד חברת המהנדסים קפלן-נבות ומומחה מוביל בישראל בתכנון מערכות חשמל מורכבות, ביניהן חוות שרתים ומרכזי מחשוב גדולים.
שלום אביטן – סמנכ"ל טכנולוגיות בחברת אלכסנדר שניידר. מתמחה בהקמת ותכנון תשתיות תקשורת, מיזוג אוויר וחשמל של מרכזי מחשוב גדולים. תכנן וניהל כמה מהפרויקטים הגדולים בישראל בתחום חוות השרתים.
מטרות הקורס
אנשי מקצוע המנהלים או מיועדים לנהל חוות השרתים ילמדו את יסודות התכנון והניהול של חדרי המחשב וכיצד ליישם נוהגים מיטביים בתרחישים שונים.
קהל יעד
אנשי איי טי, הנדסה ותשתיות המעוניינים להתמקצע בנושא הקמת וניהול חדרי מחשב וחוות שרתים.
לפניות: אנא פנו לג'ון ברייס. אנחנו התנדבנו לצקת תוכן טכני ולהרצות ואנו לא מארגנים את הקורס.
שוק חדרי השרתים צומח במהירות
מחקר של Datacenter Dynamics של שוק מרכזי המחשוב ( דאטה-סנטר) העולמי העלה את הנתונים המעניינים הבאים
1. ההשקעה בחדרי מחשב גדלה ב 2012 ב 22.1% מ 86 מיליארד דולר ל 105 מיליארד דולר
2. צפי הצמיחה בהשקעה בחדרי שרתים הוא 14.5% ב 2013
3. עיקר הצמיחה בהשקעה הוא במערכות אלקטרומכניות כגון מערכות מיזוג אוויר וחשמל
4. צמיחה חדה נרשמה גם בהשקעה במערכות ניהול
5. קניות מערכות IT כגון מחשוב, אחסון ותקשורת לתחום זה צמחו ב 16.7% ב 2012
6. תשתית ההספק (בגיגה-וואט) צמחה ב 63% ב 2012 ותצמח ב 17% ב 2013
7. 18% מארונות השרתים צורכים יותר מ 10 קילוואט לארון ( צפיפות גבוהה)
8. 33% מארונות השרתים צורכים בין 5 ל 10 קילוואט בארון (צפיפות בינונית)
9. שטח רצפה גדל ב 8.3% ב 2012 וצפוי לצמוח ב 19% נוספים ב 2013.
עד כאן הנתונים. הפרשנות שלי למספרים היא כדלקמן
בעוד חלקים נרחבים של המשק נמצאים במיתון, שוק חדרי השרתים נמצא בגידול מואץ. הסיבות העיקריות לכך הן
1. צמיחה תלולה במס' המשתמשים ביישומים ומכשירים ניידים יצרה מציאות שבה המשתמש מצפה לשירות רציף בכל תנאי ובכל זמן מה"ענן". הארגונים חייבים לבנות תשתית המאפשרת מענה ללא מגבלות CAPACITY
2. העליה התלולה בצריכת החשמל ובעלות צריכת החשמל יצרה כורח מיידי להתייעלות תפעולית. זו באה לידי ביטוי בשדרוג ובנייה של חדרי שרתים יעילים באנרגיה.
3. לקחים שהופקו משלל אסונות וניתוח סיכונים אילצו ארגונים רבים להשקיע ביתירות לצורך רציפות עסקית
בישראל מגמות אלו החלו אך עדיין לא במימדים שנראים בשאר המקומות בעולם. הארגונים הישראלים ברובם הגדול עדיין לא יישמו הלכה למעשה את תוכניות הרציפות העסקית שלהם ובוודאי לא הפנימו את התועלת הכלכלית האפשרית בהתייעלות אנרגטית.
7 דרכים למיזוג אוויר יעיל אנרגטית בחדרי שרתים.
מאז אוגוסט 2011 עלו מחירי החשמל בישראל ביותר מ30% (נכון לפברואר 2012). למי שמנהל חדרי שרתים, עובדה זו כואבת במיוחד משום שעלויות צריכת החשמל של חדרי המחשב הגיעו ל 20-25% מהוצאות התפעול השוטפות. בשל הדרך בה תוכננו חדרי השרתים או בשל הדרך בה הם מנוהלים, חלק משמעותי מצריכת האנרגיה מקורה בבזבוז בעיקר בשל חוסר יעילות בדרכי מיזוג האוויר.
בארגונים נאורים בהם חשבון החשמל של חדרי השרתים נבחן בדקדקנות, העלייה בצריכת החשמל הביאה לבחינה מחודשת של דרכי התכנון והניהול של מרכזי המחשוב. בארגונים פחות נאורים, חשבון החשמל משולם על ידי גוף תפעול מרכזי שאינו מסוגל לנתח את הנתונים והתוצאה היא בזבוז שעלותו מאות אלפי ואף מיליוני שקלים בשנה, תלוי בגודל המתקן. לדוגמא: במתקן של ארגון בינוני שבו כ 400 שרתים, צריכת החשמל של השרתים תהיה כ 200 קילוואט לערך. צריכת החשמל הכוללת של המתקן תכלול גם את צריכת החשמל למיזוג אוויר ולמערכות תשתית נוספות. בחדר מחשב בגודל זה המופעל היטב ( PUE=1.5 ) חשבון החשמל הכולל יהיה כ מיליון וחצי ₪ בשנה. בחדר מחשב בגודל דומה המנוהל ללא מתן חשיבות לצריכת החשמל ( PUE=3 ) , ויש רבים כאלו בישראל, חשבון החשמל יעלה כ 3 מיליון ₪, בזבוז של מיליון וחצי ש"ח בשנה או 15 מיליון ₪ בעשר שנים. להסבר על PUE
למי שלא בחן את הנושא מקרוב עד כה, אציין רק שעלות החשמל הנדרשת להפעיל ולקרר שרת מתקדם לאורך 3 שנים גבוהה יותר מעלות השרת עצמו.
בארונות INRACK אלו טמפרטורת מיים קרים של 18 מעלות
בפוסט הקודם תיארתי 10 נוהגים מתקדמים של חדרי שרתים ( datacenter Best Practices ) . הפעם אתמקד בנושא מיזוג האוויר בחדרי שרתים.
רבים ממנהלי חדר המחשב יודעים שעליהם ליישם מעברים קרים וחמים ולזווד פנלים עיוורים בארונות שרתים כדי למנוע חזרת אוויר חם אל קדמת הארון. על כן, לא אעסוק בנושאים טריוויאלים מעין אלו. אלא אתמקד בנוהגים מתקדמים אשר לא רבים בישראל נתנו עליהם את הדעת:
ניתן לחסוך בצריכת החשמל למיזוג בן 30% ל 50% על ידי הפרדה מוחלטת של אוויר קר וחם ועל ידי העלאת טמפרטורת העבודה. הפרדה מוחלטת של אוויר קר וחם מתבצעת על ידי הכלה ( Containment ) והעלאת טמפרטורת העבודה מתבצעת על ידי העלאת טמפרטורת המים הקרים למיזוג ( CW ) מ 7 מעלות ל 16 ואף 18 מעלות צלזיוס. נסביר…
1. הפרדה מוחלטת של אוויר קר וחם על ידי הכלה ( Containment ) של האוויר הקר ( Cold Containment ) או הכלה של האוויר החם ( Hot Containment ) . בחדרי שרתים הממוזגים בשיטת קירור החדר ( בדרך כלל על ידי מערכות ליברט ) הכלת האוויר הקר מתבצעת על ידי סגירת המעבר הקר או על ידי הכלת החום באמצעות ארונות ארובה. אגב, בשיטה הראשונה (סגירת מעבר קר) ניתן להגיע ל 15 קילוואט לארון שרתים ועל ידי ארונות ארובה ניתן להגיע ל KW 30 לארון שרתים.
2. שימוש במערכות קירור ממוקד הקרוי בדרך כלל "ארונות קרור מים" . קירור ממוקד זה יכול להיות מפוזר בשורות ( in row cooling ) או בתוך ארון השרתים באופן הקרוי InRack Cooling.
3. בשיטת קירור השורה ניתן לסגור את המעבר הקר או את המעבר החם. שתי השיטות טובות אם כי רבים ממש שונאים לעבוד במעבר חם סגור בשל אי הנוחות שבכך. קיימת שיטה היברידית אשר נקראת שיטת החדר הקר ( cool room concept ) אשר לה אייחד מאמר נפרד בקרוב והיא מיישמת את כל היתרונות של סגירת המעבר החם ללא החסרונות.
4. העלאת טמפרטורת העבודה. עד לאחרונה נהגו המתכננים לעבוד עם צ'ילרים שקררו את המים הקרים ל 7 מעלות צלזיוס. העלאת טמפרטורת המים הקרים ל 16 ואף 18 מעלות מספקת חיסכון בצריכת החשמל של כ 3% לכל מעלה. בחישוב זריז מדובר על חיסכון של כ 30% רק משינוי טמפרטורת העבודה.
אגב, העלאת טמפרטורת העבודה תאפשר גם לקבל כ 25% יותר קיבולת קירור מהצ'ילר אם כי נתון זה משתנה ממודל למודל.
חשוב מאוד: כדי ליישם שיטה מתקדמת זו הלכה למעשה יש לבחור מערכות In Rack או InRow המסוגלות לספק את קיבולת הקירור המקסימאליות בטמפרטורות CW אלו. ישנן מערכות, רחמנא ליצלן, שבטמפרטורות אלו של 16 מעלות מיים קרים קיבולת הקירור שלהן יורדת ב 50% ואך יותר. מיצרנים כאלו מומלץ להישמר.
5. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
6. מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
7. ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
ארגון אשר יישם את שבעת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יעילות מיזוג האוויר של חדרי השרתים בכ 30%-50% , ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
פורום Datacenter: ביקור בחדר המחשב של אינטל
יום ה DATACENTER באינטל שפורסם קודם לכן נדחה לחודש מרץ.
נוציא הודעה בנושא כשיסגר התאריך המדויק.
יגאל
גל של חדשנות בחדרי המחשב
גל של חדשנות שוטף את טכנולוגיות הדטה סנטר בעולם ובישראל. תחום חדרי המחשב היה תמיד פעיל מאוד אך מנומנם ברמה הטכנולוגית. בשנים האחרונות חוקי התכנון השתנו לחלוטין וכך גם הנוהגים המיטביים ( Best Practices ).
לפני מס' חודשים נועדתי עם חברה ישראלית המתכננת חדר מחשב חדש שיעלה לאוויר, לפי תוכניותיהם, ב 2015. אמנם אני מצדיע לחברות ישראליות החושבות לטווח ארוך, אך הדבר גרם לי להרהר נוגות בלוחות הזמנים הנהוגים לעיתים בתעשייה שלנו. פרויקט הקמה של אולם מחשוב הוא פרויקט מורכב, יצירת אומנות יחידנית אשר הכול בה מפותח מאפס ונתפר כולו לפי צרכי הלקוח. נכון? לא בהכרח.
אחת המגמות המתחזקות בתחום חדרי המחשב היא מודולים המבוססים על מערכות בתצורות אשר נוסו ונבדקו במפעל ( pre-configured ), וקל להתקינם בחדר המחשב ולדעת מראש את רמת הביצועים שנקבל ( Pre-engineered ). הרחבה והגדלה ניתנים לביצוע בקלות יחסית ( scalable ) .
הגישה החדשה מאפשרת הקמה מהירה יותר, השקעה התחלתית נמוכה יותר, מתקנים יעילים יותר ולכן גם הוצאות תפעול נמוכות יותר לאורך חיי חדר המחשב.
מאחר וחברה מקימה לעצמה חדר מחשב אחת לכל 5 עד 20 שנים, הרי כשארגון מבקש להקים לעצמו חדר מחשב חדש, זו התנסות חדשה לרוב מובילי הפרויקט. אל צוות המפעל חוברים יועצים וקבלנים חיצוניים שלהם יותר ניסיון (אנו מקווים) ונוצר צוות פרויקט אשר אין לו ניסיון משותף. הצוות מתחיל את התכנון מאפס (דבר משתלם ביותר למתכננים) ונשען על ידע לא מושלם ולא עדכני. זו הסיבה העיקרית לכך ששלב התכנון אורך בדרך כלל חודשים רבים (במקרים אחדים גם מספר שנים), כמו גם שלב הבניה, ושהפרויקט ברובו מבוסס על ניסוי וטעייה ולא על נוהגים מיטביים. גם בהתחשב בעבודה הקשה של צוות הפרויקט, עלות התמשכות הפרויקט והטעויות בהחלטות התכנוניות עולים לארגון כסף רב. התוצאה הסופית היא חדר מחשב ייחודי באמת אשר אין זהה לו והדבר נזכר כאן לא כמחמאה (אולי להיפך) אלא כציון עובדה.
התופעות הללו מתרחשות לא רק בחדרי מחשב הנבנים במבנה חדש על קרקע בתולית (Greenfield data center ) אלא גם בפרויקטים של שדרוג חדרי מחשב ( datacenter upgrade ). גבשדרוג חדרי מחשב מדובר בד"כ בהוספת יכולות של אספקת חשמל ומיזוג אוויר ושיפור מערך הכבילה. וגם כאן צוותים שהוקמו אד-הוק עובדים כדי לשדרג את חדר מחשב. במרבית המקרים גם פרויקטים אלו יכולים להיות מנוהלים ביותר יעילות אם ישתמשו ב"אבני בנין" שהן Pre-Engineered, Pre-Configured.
הנוהגים המיטביים מאפשרים היום הוספת מודולים פנימיים ( Pods ) המכילים מס' משתנה של ארונות שרתים, מערכות מיזוג ממוקד ומערכות חלוקת חשמל המורידות באופן דרמטי את זמני התכנון והיישום הנדרשים כמו גם את העלויות. ראו תמונה של POD שבו ארונות שרתים, מיזוג אוויר ותקשורת. ניתן לשלב גם אל פסק (אם כי לא נהוג).
ניתן להרחבה ושכפול באופן מודולארי
דוגמא נאה לצורך המחשה היא חדר מחשב הנבנה על פי השמועה על ידי מייקרוסופט באיידהו שבארה"ב. גודל החדר כ MW 5, ענק במושגים ישראליים אך לא במושגי מייקרוסופט, והוא יושלם תוך 28 שבועות מיום חתימת החוזה. החדר בנוי ממודולים של KW 600 כ"א כל מודול בנוי ממספר מבנים טרומיים המובלים לאתר במשאית ומחוברים תוך ימים לתשתית. ראו תמונה של חדר אנרגיה של MW 1 אשר הותקן ב 5 ימים.
חדר אנרגיה של MW 1 ב 5 ימים. נבנה במפעל. הורכב באתר.
דוגמא נוספת: בוודאי שמעתם על מיזם ה VBLOCK של EMC ו CISCO. ובכן, אם חשקה נפשכם במתקן אחסון ( storage ) מתקדם ביותר, בוודאי ששקלתם את ה VBLOCK. ובכן ניתן לרכוש את ה VBLOCK ב 6 תצורות: V0, V1, V2 וכל אחת מהן ברמת מינימום ומקסימום. חברת פנדויט ( Panduit ) מציעה לדוגמה את כל התשתית הפיזית ל VBLOCK ברמה הנדרשת במק"ט אחד. ראו תמונה:
במקט אחד: ארונות וכל התשתית הפיזית ל VBLOCK
חיסכון באנרגיה בזמן אמיתי ונהלים מיטביים. מה ניתן ללמוד מ eBay ?
זירת המסחר eBay היא אחת מזירות המסחר האינטרנטי הגדולות בעולם, ולכן היא דורשת שרידות מוחלטת ממרכז המחשוב שלה; כל זמן דמימה (downtime) יכשיל עסקאות ששוויין יותר מ-2,000 $ לשנייה. משום כך חייבים אנשי הצוות במרכז המחשוב העולמי של eBay לספק הן רציפות עסקית (uptime) והן גמישות ברמה הגבוהה ביותר, וכל זאת תוך שמירה על עלויות נמוכות.
זהו אתגר מורכב בהחלט, שכדי להצליח בו דרושה חדשנות מתמדת.
מאז שהתחילה לפעול, בנתה eBay שנים-עשר מרכזי מחשוב, ועומס החישובים רק הולך וגובר. לא פלא שגם עלויות התפעול של מרכזי המחשוב של החברה גדלות מדי שנה, במקביל לצמיחה העסקית הרצופה. בשל כך בנתה חברת eBay תוכנית ארבע-שנתית, והתחילה להפעיל אותה במרכזי המחשוב שלה. לתוכנית יש יעד שאפתני: להקטין את הוצאות החשמל בחצי תוך הכפלה של ביצועי החישוב; יחד עם זאת, המבנה של התשתית החדשה ישפר את המהימנות ואת מהירות התגובה התפעולית.
כדי להשיג יעדים אלה, תמזג חברת eBay את נכסיה ותקטין את מספרם של מרכזי המחשוב שלה. כל מרכז מחשוב חדש ייבנה מן היסוד במטרה להיות חסכוני באנרגיה ככל האפשר, בלי לפגוע ברציפות העסקית.
"אסטרטגיה מוצלחת במרכזי מחשוב מניחה שדרישות המחשוב יגדלו מדי שנה, אבל היא מאפשרת להם לגדול כנדרש בלי לייקר באופן פרופורציוני את עלויות התפעול," מסביר דין נלסון (Dean Nelson), דירקטור בכיר ב-eBay לתפעול ואסטרטגיה במרכזי המחשוב אותו פגשתי בכנס שערכה חברת Starline . "אנו חייבים לשבור את הקשר הליניארי שבין עומס החישובים לבין עלויות התפעול. לשם כך עלינו לעשות קפיצת דרך ביכולות שלנו בתחומי החיסכון באנרגיה, כוח החישוב וניצול השרתים."
במאי 2010 חנכה eBay את מתקן הדגל שלה, אבן הפינה של האסטרטגיה החדשה למרכזי המחשוב, פרויקט 'טופז'. במתקן זה, הממוקם בסאות ג'ורדן, יוטה, השקיעה חברת eBay את ההון הרב ביותר שהשקיעה אי פעם בפרויקט יחיד, והוא מחזיק כשליש מתשתית השרתים העולמית של החברה. אף על פי שהפריסה במרכז הנתונים כוללת את כל היתירות הנדרשת לצורך מהימנות בסיווג Tier IV, מתגאה מתקן 'טופז' בנצילות שימוש בחשמל (PUE) בגובה 1.4 בלבד.
נהלים מיטביים ליעילות מירבית
בתשתיות של 'טופז' שולבו מנגנונים חדשניים לחיסכון באנרגיה. חמישה מרכיבים מרכזיים בתכנון 'טופז' מעוררים עניין מיוחד בשל ערכם ובשל התאמתם לכל מרכז מחשוב מודרני:
1. הפרדה פיזית וסגירה של מעברים קרים /חמים כדי להגיע ליעילות קירור מירבית, התקינה eBay פתרון להפרדה בין מעברים. eBay בחרה בסגירה של המעבר החם, לא לפני שתכננה אותו בתשומת לב, ניסתה אבטיפוס שלו וביצעה מדידות. סגירת המעבר החם מתבצעת על ידי הפרדה קשיחה של המעברים ותיעול האוויר החם החוזר אל מערכות המיזוג דרך התקרה הכפולה.
- האוויר החם חוזר ליחידות המיזוז דרך התקרה
2. הפצה של 400V לכל ארון בחלק מהארונות ב-eBay יושבים שרתי להב מרובים, ולכן החברה רצתה שכל המסדים יהיו מסוגלים לספק עומסים בהספק של עד 17kW. אפשר, אמנם, להשיג זאת גם בשיטה המסורתית, אבל ב'טופז' בחרו למתוח את כבלי המתח הגבוה עד לארונות, והוזילו משמעותית את העלויות. משום שכל מסד מקבל חשמל במתח 400V, מצטמצמים אובדני הכוח בשנאים מורידי המתח ועל הקווים, ויחד עם זאת החברה חוסכת בתשתיות הנחושת. eBay בחרה לספק מתח תלת-פאזי של 400V לשני פסי שקעים חכמים במסד (הנקראים גם "PDU במסד"). מערכות ה-PDU במסדים, מספקות לכל שרת מתח חד-פאזי של 240V. מתח זה נמצא בתוך טווח הפעילות של כל ספק כוח של ציוד IT כלשהו. בזכות ביטולן של המרות מתח מיותרות, הפצת 400V מקטינה את עלויות האנרגיה ב-2-3% בערך בהשוואה להפצת 220V.
3. מדידה מפורטת של צריכת חשמל בשרתים נהוג לומר שהמדד הכלכלי החשוב ביותר בעיניהם של צוותי התפעול במרכזי המחשוב של eBay הוא העלות המצרפית הכוללת לכל חיפוש. ומשום שכל דור שרתים חדש מציע שיפורים אדירים בביצועי ה-CPU, חברת eBay מחליפה את השרתים שלה במחזוריות של שנתיים; הרווח בביצועים פֶּר וואט גבוה ממחירו של הציוד החדש. אבל חברת eBay תקטין באמת את העלות לכל חיפוש רק אם תכלול בחישוביה את כל עלויות התפעול של כל שרת חדש שהיא רוכשת, ולא רק את מחירו. ועלות התפעול הגבוהה ביותר של כל מכשיר היא ההוצאה על צריכת החשמל שלו. כדי לאתר הזדמנויות לחיסכון המרבי, eBay התקינה במסדים מערכות PDU של חברת Raritan הקוראות את צריכת החשמל המדויקת בכל ספק כוח ובכל שרת בודד. פסי השקעים של Raritan מספקים מידע רציף על צריכת החשמל בקוט"ש בכל מכשיר בודד במרכז המחשוב, בדיוק של 1%. רמת דיוק זו מאפשרת, על פי התקינה, חיוב לקוחות על פי מדידה זו. פסי שקעים חכמים אלו מיועדים לספֵּק הן את צרכי ה-IT והן את צרכי המתקן כולו, והן מזינות, בזמן אמיתי, את הנתונים שהן אוספות למערכות ניהול המבנה ורישום הציוד של eBay. במושגי קונסורציום Green Grid, הן מבצעות ניטור PUE מקטגוריה 3 (או PUE3). "פסי שקעים חכמים נותנים לי את הדיוק שאני צריך בשביל לחשב את עלויות התפעול האמיתיות שלי בכל שרת עד האגורה האחרונה," אומר נלסון. "כך אני יכול להכיר את פרופיל היעילות של כל אחד מספקי הציוד, וכשאני מכין את סבב ה-RFP הבא של השרתים, אני יכול לגבש דרישות שיחזירו את מחירן."
4. מדידת טמפרטורה ברזולוציה גבוהה פרויקט 'טופז' שילב מנגנונים מהפכניים שונים במערכת הקירור שלו, ואז פנה להמשיך ולייעל אותה בזמן אמיתי – הן בהיבט העלויות והן בהיבט המהימנות – מתוך היכרות עם סביבת הפעילות של כל אחד מהשרתים. רוב מרכזי המחשוב מודדים ומבקרים את טמפרטורות האוויר היוצא ממערכות המיזוג ואת טמפרטורת האוויר החוזר אליהן. אבל נתונים אלה מוסרים מידע מקורב בלבד על סביבת השרתים האמיתית. הקירובים מאלצים את צוות המתקן לקחת מרווחי ביטחון ולקרר קירור עודף, וזהו צעד בזבזני, בהגדרה. חברת eBay, לעומת זאת, יודעת מהן טמפרטורות הכניסה והיציאה המדויקות בכל ארון וארון במרכז המחשוב 'טופז'. בפרט, מאמצים ב'טופז' את המלצות ASHRAE לניטור סביבתי של שרתים, ומודדים את הטמפרטורה בשלושה מפלסים של המעבר הקר: למעלה, באמצע ולמטה. מדידות אלה מתווספות למדידות במעבר החם. בזכות הניטור הרצוף יכולה eBay לכוונן את משתני הקירור ליעילות מרבית, ויחד עם זאת לקבל התראה מיידית על כל בעיה ברמת השרת. הקורא יזכור את החיישנים ותוכנת LiveImaging מאחד הפוסטים הקודמים.
5. פסי צבירה (busway) עיליים להפצת חשמל ברוב מרכזי המחשוב פרוס מבוך תת רצפתי של קווי חשמל היוצאים מלוחות PDU אל הארונות. אלא שמבנה כזה מפריע לאוורור ובכך משבש את יעילות הקירור. כל זה קורה מתחת לרצפה הצפה ולכן לא זוכה לתשומת לב רבה, אבל עלול להיות משמעותי. יתרה מזאת, תכנון סטנדרטי המכין חיבורי "שוט" (power whips) תת-רצפתיים ייעודיים לכל מפסק, צורך כבלי נחושת מיותרים שאינם מנוצלים היטב, ואף מגביל את גמישות הזיווד של ארונות חדשים. כדי לפתור את הבעיה, משתמשים ב'טופז' בפסי צבירה עיליים של חברת starline להפצת חשמל אשר מאפשרים חיבור קל של הארונות למקור כוח של 400A. לאורכה של כל שורת ארונות מתוחים שני מסלולים, וכל אחד מהם מספק כוח חלופי ובכך מבטל לחלוטין את הצורך בחיבורי "שוט" תת-רצפתיים. תוך דקות אפשר להוסיף שקעים למארזים מוגנים במפסק אוטומטי בכל נקודה לאורך שורת הארונות, במקום להמתין מספר ימים עד שיגיע חשמלאי ויתקין עוד "נקודות חיבור".
סיכום
חברת eBay מעוניינת מאוד בשיפור המהימנות של מערכות המחשוב שלה, שכן זמן דמימה עולה לה 2,000 $ לשנייה, כלומר $120,000 לדקה. בגלל היקף הפעילות הגדול של החברה, היא חייבת לשמור שההוצאות על ציוד ועל חשמל לא יצאו משליטה. משום כך פיתחה eBay מודל למרכזי המחשוב שלה, המבטיח פעילות IT ברמת מהימנות גבוהה מאוד וגם מוזיל את עלויות התפעול ב-50% בהשוואה למרכזים הישנים שהיא מוציאה מפעילות בהדרגה. גם מרכזי מחשוב צנועים יותר שיאמצו את הנהלים המיטביים בתעשיית ה-IT כפי שעשתה eBay, יכולים להאריך את זמן הרציפות העסקית (uptime), לקצץ בהוצאות ולהתייעל, תוך שימוש בציוד זמין ובטכניקות ותהליכים פשוטים.
מהי הטמפרטורה הרצויה בחדרי מחשב? עדכון
וחשוב לא פחות: היכן מודדים את הטמפרטורה? זו אחת השאלות החשובות למנהלי חדר מחשב, והאמת היא גם שעניתי על כך לא אחת בפוסטים קודמים ובמאמרים בעיתונות המקצועית. לא הייתי מטריח את הקורא אלמלא החידושים בתחום. החידושים הם גם בתחום התקינה וגם בתחום תוכנות הניהול והבקרה של חדרי המחשב.
על פי ASHRAE , טווח הטמפרטורה הרצוי לאוויר הקר הנשאב לשרתים הוא בין 18 ל 27 מעלות צלזיוס ( בעבר הלא רחוק זה היה 20-25 ) . הטווח המותר הוא בין 15-31 מעלות. הנוהגים המיטביים בתעשייה מכוונים ליישום טמפרטורה של 24 מעלות. טמפרטורה זו מאפשרת חיסכון בחשמל ועדיין מותירה מרווח ביטחון למקרה של כשל קצר במערכות מיזוג האוויר.
ניתן לכוון לטמפרטורה של 24 מעלות כאשר החדר ממוזג ביעילות, בדרך כלל באמצעות הפרדת מעברים קרים וחמים, ויש אחידות פחות או יותר בטמפרטורת האוויר במעבר הקר.
מס' טעויות נפוצות:
טעות 1: למדוד את הטמפרטורה במקומות לא חשובים כגון במעבר החם, בפינת החדר, ליד התקרה.
מה שחשוב מבחינת שרידות המערכות זה לבקר את האוויר הקר הנשאב לשרתים. מדידות במקומות נוספים כגון במעבר החם ובנקודות הכניסה והיציאה של מערכות מיזוג האוויר חשובות לצורך בקרה על היעילות האנרגטית של מיזוג האוויר בחדרי המחשב. אך, מה שקריטי לצורך שרידות חדר המחשב זו טמפרטורת (ולחות) האוויר בכניסה לשרתים.
טעות 2: למדוד בנקודות בודדות בחדר:
לחסוך בחיישנים זה כבר לא באופנה. המלצת ASHRAE היא למדוד בכל קדמת ארון, בשלוש נקודות גובה את הטמפרטורה והלחות. הנוהגים המיטביים ( best practices ) אומרים: בשלושה גבהים בקדמת ושלושה גבהים בצידו האחורי של ארון השרתים
טעות 3: להיבהל מטמפרטורות גבוהות בחלק האחורי של הארון
תרגיע. 50 מעלות בחלק האחורי של השרת זה בסדר גמור ואפילו טוב מאוד. גם 60 מעלות בהנחה שיש לך הפרדה טובה של מעברים קרים וחמים. אם אין לך, זה סיפור אחר.
טעות 4: לקרר יתר על המידה
יש עדיין כאלה שאוהבים שאנשים יוצאים חולים מחדר המחשב שלהם. סתם בזבוז.
בתמונה המצורפת רואים תמונה שמשגרים חיישנים אלחוטיים ל DASHBOARD . התמונה מראה את מפת החום בחדר המחשב. תוכנה זו הנקראת LIVEIMAGING מבית אלכסנדר שניידר. התוכנה מאפשרת לצפות בזמן אמיתי במצב החדר מבחינה טרמית ולזהות את הנקודות הדורשות טיפול מיידי. חמוד לא?
תוכנה המראה את מפת החום בחדר המחשב בזמן אמיתי
ממשלת ארה"ב עורכת מדריך רכש לחדרי מחשב במכולות
עוד סימן למומנטום של מרכזי מחשוב במכולה ( containerized data centers ) בעולם. הממשלה הפדראלית של ארה"ב כותבת מדריך אשר יסייע לסוכנויות הממשל לבחור בין ההיצע הגובר של מכולות דאטה סנטר.
היועץ מארק בראמפיט נשכר על ידי ה GSA של הממשל ועל ידי מעבדות ליברמור המשויכות למשרד האנרגיה של ארה"ב לכתוב את המדריך שיסייע לסוכנויות הממשל להעריך את הפתרונות הקיימים ואת הדור החדש.
מספר גדל והולך של ספקים מציע פתרונות של חדרי מחשב במכולה, כולל AST, IBM, HP, Dell. Data pod ואחרים. העניין הגובר בפתרון זה נובע מהצורך בפתרונות מודולאריים המאפשרים יישום מהיר וחיסכון תפעולי, בייחוד בתחום האנרגיה.
בייחוד מעורר עניין אתר ה HOSTING החדש באיסלנד THOR שהגיע ל PUE מדהים של 1.07 באמצעות שימוש בקונטיינרים של AST-GLOBAL
ההמשלה הפדראלית של ארה"ב החלה במה שנראה כפרויקט הקונסולידציה הגדול בהיסטוריה בתקווה לצמצם עלויות הקשורות בלמעלה מ 1,100 אולמות מחשב. ממשל אובמה הורה לאחרונה לראשי הסוכנויות הפדראליות להאיץ את מאמציהם בתחום הקונסולידיציה של המשאבים והנדל"ן עם דגש מיוחד על מרכזי מחשוב.
IDC9 מבנה ירוק מוסמך LEED
להלן נוסח של מייל מעניין שקיבלתי היום:
היום נחנך באופן רשמי מבנה הפיתוח החדש של חברת אינטל בחיפה (IDC9).
הבניין הוסמך כבניין ירוק הן על פי תקן LEED והן קיבל אישור מצטיין לפי תקן ישראלי 5281.
רמת ההסמכה לבניין בהתאם לתקן LEED הינה רמת GOLD (כאשר בפרוגרמה הכוונה הייתה לקבל רמת SILVER)
יעוץ ולווי התהליך של ההסמכה לשני התקנים בוצע על ידי משרד אסא אהרוני מהנדסים יועצים
אלמנטים בולטים שאפשרו קבלת האישור:
- הקטנת צריכת האנרגיה בכ-28%.
- גג ירוק המשמש לבידוד המבנה וכאיזור מנוחה.
- איכות האוויר הפנימית הן בזמן הבנייה והן לבניין המאוכלס
- תהליכי פיקוח וניהול הבניה מוגברים
- ניהול פסולת בזמן הבניה ושימוש בחומרים ממוחזרים
- טיפול בתופעת איי החום וזיהום תאורה
- חיסכון במים
- הכנת תוכנית חינוכית בנושא הבנייה הירוקה כחלק מהפרוייקט
זהו הבניין השני בישראל המוסמך בתקן LEED והבניין הראשון המשיג הישג כה מכובד (דירוג זהב)
כמו כן זהו הבניין השני המוסמך לתקן ישראלי בדירוג מצטיין (שני הפרוייקטים לוו עלידי משרד אהרוני www.a-aharoni.com)
מזל טוב לאינטל ולמשרד אהרוני
ב 24 ליוני אינטל תקיים יום עיון / מפגש בנושא חדרי מחשב. במסגרת זו אקיים הרצאה בנושא high density cooling
לפרטים והרשמה http://www.intel.com/il/dcconference/index.htm
10 המגמות המובילות בדטה סנטר ב 2010
מרבית חדרי המחשב נמצאים במצוקה ברמת התשתית הפיזית: בעיות מיזוג אוויר קשות, אספקת חשמל, ניהול כבילה לא מוקפד, משקל כבד ביחס ליכולת הנשיאה של הרצפה, חוסר במקום פיזי, חשבון חשמל צומח במהירות ובעיקר: הניהול נהיה מורכב יותר וקשה יותר.
כתוצאה נראה ב 2010 את 10 המגמות הללו צוברות תאוצה:
1. תוכנות ניהול ל Data Center כדוגמת תוכנת ה DC TRACK של חברת Raritan לניהול חדרי מחשב. תוכנה זו מאפשרת ניהול מקצועי של החדר וניצול מקסימאלי של התשתיות המותקנות. לדוגמא, מנהל חדר המקבל לידיו, נניח, 10 שרתים של U1 הצורכים ביחד KW5, יוכל לקבל בלחיצת כפתור את הנתון הבא: באיזה ארון שרתים בחדר יש מקום פיזי, יש שקעי נחושת פנויים, שקעי אופטיקה פנויים, קיבולת חשמל מתאימה, קיבולת מיזוג אוויר מספיק וכ'.
2. Liquid Cooling : לפני כ 5-6 שנים הצגנו את הטכנולוגיה של הקירור הממוקד לשוק הישראלי. רבים מידידנו אמנם התרשמו מהטכנולוגיה אך הטילו ספק בנחיצותה. היום אנו יכולים לומר מעבר לכל ספק שהטכנולוגיה הזו הגיעה לזרם המרכזי. יש לנו כ 400 מערכות מותקנות בישראל מתוך בערך כ 500 סה"כ.
אפשר להזכיר את חדר המחשב של תהיל"ה, חדר המחשב החדש של בנק ישראל, פרויקט מרשים של חיל הים, אינטל (ראו סרט של אינטל ביו טיוב או בפוסט הקודם), חדרי מחשב ברפאל, בחוות מחשוב עננים של טריפל סי ועוד רבים אחרים.
אך יש שני דגשים חשובים מעבר לנושא High Density . המערכות שאנו ממליצים עליהן מסוגלות לתת ביצועים מצוינים גם בטמפרטורות מים קרים של 16 ואף 18 מעלות (במקום 6 מעלות כנהוג במערכות מיזוג אוויר). כל מעלה מאפשרת חיסכון של 3%-4% בחשבון החשמל.
בנוסף חשוב לבחור במערכות מודולאריות. כאלו שמאפשרות לעלות מ 10kw ל kw 40 ללא קושי.
3. סגירת המעבר הקר: המערכות הזולות ביותר, הן אלו שאנו לא צריכים לרכוש. סגירת המעבר הקר מאפשרת שדרוג אפקטיבי של חדרי מחשב קיימים וניצול מקסימאלי של התשתיות הקיימות. מדובר בסגירה מכאנית של האוויר הקר, שדרוג תוכנה למערכות המיזוג ובמקרים מסוימים החלפת מאווררים ביחידות המיזוג. היתרונות: יכולת מיזוג האוויר אפקטיבית יותר ב 50%. כתבו לי לקבלת עותק מוקדם של whitepaper שכתבנו בנושא.
4. בקרה על צריכת האנרגיה ( PUE ) יותר ויותר ארגונים מודדים את ה PUE . יחס יעילות האנרגיה של התשתית. כדי להשתפר, עלינו לדעת היכן אנו היום.
5. Intelligent RPDU : פסי השקעים המתקדמים הם אבן בנין חשובה וחיונית בחדר המחשב המתקדם. RPDU מאפשרים איסוף מידע בזמן אמיתי של צריכת החשמל ופליטת החום של כל שרת וכל ארון, וקבלת מידע לצורך שימור שרידות ויתירות אמת.
6. ניהול הרצפה הצפה פתרונות כגון Cool Boot ו Kold LOK מונעים בריחת אוויר קר מפתחים לא מבוקרים ברצפה הצפה. מאפשר השבת קיבולת קירור "אבודה".
7. פסי צבירה ( Bus Ways ) כאשר תשתית החשמל מבוססת על כבלים, כל שינוי אורך שבועות וחודשים ומצריך תקציב של עשרות ואף מאות אלפי שקלים. שימוש בפסי צבירה מאפשר למנהלי הדטה סנטר לבצע שינויים באופן מיידי ללא צורך בתקציב נוסף. ראו פוסט קודם בנושא פסי צבירה של Starline .
8. ארונות ייעודיים למתגי תקשורת מתגי סיסקו החדשים מחייבים התייחסות מקצועית גם ברמת התשתית. ביחוד ה ,Nexus 7010, 7018. ארונות ייעודיים של Panduit תוכננו יחד עם סיסקו במיוחד למתגים אלו. היתרון: פתרון לנושא הכבילה ומיזוג האוויר.
9. מדבקות RFID מאפשרות לדעת בכל רגע נתון, בזמן אמיתי, אילו מערכות יש לנו בחדר והיכן הן בדיוק. מוכנות ל AUDIT בכל רגע נתון ואבטחת החומרה.
10. סימולציה ב CFD תוכנה הנדסית אשר מאפשרת בניית מודל טרמי של חדר המחשב והדמייה של תרחישים שונים לבדיקת תכנון מיזוג האוויר, אימות יתירות, אפקטיביות התכנון ובחירה בין אלטרנטיבות. מומלץ מאוד גם לתכנון חדר חדש וגם לתכנון שדרוג.
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 
