Posts filed under ‘שרתי להב’
לקחים מתקלות בחדרי מחשב 2 #
מוקד השרות שלנו קיבל את הקריאה. התראה על נזילת מים התקבלה מחדר המחשב של אחד מלקוחותינו. חוות השרתים הושבתה. צוות השירות שלנו הוזנק למקום.
מדובר בחדר מחשב מתקדם שבו מיזוג האווויר מבוסס ברובו על יחידות קירור שורה ( ROW COOLING ) מסוג cooloop של קנור אמרסון. זהו חדר בינוני בגודלו (עומס IT של מאות קילוואט) אך מתקדם ומקצועי מאוד. האם הנזילה מקורה בתשתית מיזוג האוויר שאנו התקנו?
בעוד הצוות בדרכו לאתר, הגיעה צפירת ההרגעה. מסתבר שהמנקה החרוצה של אותו אתר, החליטה לשטוף את רצפת חדר המחשב. מי השטיפה הגיעו לאחד מחיישני המים מתחת לרצפה הצפה והפעילו את מערכת ההתראה וזו השביתה את יחידות מיזוג האוויר.
מסקנות ולקחים:
1. כניסת המנקה לחדר הייתה צריכה להיות מפוקחת. אין להכניס דלי מים לדטה סנטר. הדלי צריך להישאר מחוץ לאולם המחשב או בפנים בסמוך לדלת הכניסה. את הרצפה הצפה יש לנקות עם סמרטוט לח בלבד. על עובדי הניקיון לעבור הדרכה מתאימה ולעבוד תחת פיקוח.
2. המערכת עבדה כפי שתוכננה. אך האם הנוהל היה נכון? על מנהל חדר המחשב להחליט האם באמת יש צורך בהשבתת מערכות המיזוג כתוצאה מהתראה של חיישן אחד. לדעתנו, לא.
יש לכם סיפור טוב על לקוחים מתקלות בחדרי מחשב ? שתפו את הקהילה כתבו לי
יגאל שניידר
חדר של חצי מגה וואט ב 20 ארונות שרתים
חדר של חצי מגה-וואט, ב-20 ארונות מקוררי מים. זהו אמנם סרטון פרסומי של קנור-אמרסון אבל מעניין לראות איך עובדים בגרמניה. אגב, זו לא טכנולוגיה אקזוטית. הותקנו מעל 300 ארונות כאלו בישראל.
רעש בחדרי מחשב
עובדים שנחשפים ברמה יומית לרעש של מעל 80 דציבלים מסתכנים בנזק בריאותי, בעיקר בשמיעה. עם העלייה במספר וצפיפות השרתים עולה רמת הרעש בחדרי המחשב לרמות מסוכנות מאוד. ראו וידיאו משעשע שממחיש את הבעיה:
פתרונות אפשריים:
1. לעבוד מחוץ לחדר במידת האפשר. (מטריצות KVM ופסי שקעים מנוהלים – חובה)
2. אוזניות חובה לנכנסים לחדר
3. ארונות סגורים עם קירור מים. ניתן לאחסן 6 בליידסנטרס של יבמ בארון אחד (84 שרתי להב) והארון יהיה לא רק מקורר היטב אלא גם שקט מאוד.
באלכסנדר שניידר התקנו כמה מאות כאלו בישראל.
נתונים על חדרי מחשב מהעיתונות המקצועית
מאמרים בעיתונות המקצועית בתחום חדרי המחשב ו IT ירוק מביאים נתונים מעניינים בנושא צריכת האנרגיה של תעשיית IT. להלן לקט מעניין:
• מספר השרתים בארה"ב בשנת 2000 היה 5 מיליון. עד 2010 יהיו בארה"ב יותר מ 15 מיליון שרתים
• כדי לספק את הצמיחה בצריכת החשמל של השרתים בלבד, ייבנו בארה"ב 10 תחנות כוח בין השנים 2005-2015 , בעלות של 2 עד 6 מיליארד דולר כל אחת. באופן טבעי תגולגל עלות זאת לחברות דרך חשבון החשמל.
• כ 80% מעלות הקמת חדרי מחשב היום היא בתשתית החשמל והמיזוג. פי 6 מהנהוג לפני 10 שנים
• כדי לבנות חדר מחשב ברמת יתירות של Tier 3 , יש צורך בהשקעה קפיטאלית של 14,000 $ לשרת.
• עלות החשמל הנדרש כדי להפעיל ולקרר שרת הצורך 300 וואט, היא 520$ בשנה, או כ 2,100 ₪ לשנה.
• בהנחה ששרת כזה עולה 2,500$ , עלות החשמל עולה על מחיר השרת תוך 4-5 שנים. אם חדר המחשב אינו יעיל אנרגטית, הנתון הנכון יותר הוא 3 שנים.
• במחירים ישראלים, עלות החשמל הנדרש להפעיל ולקרר ארון שרתים ובו 40 שרתי "פיצה" הוא 84,000 ₪ בשנה. עלות זו בדרך כלל אינה משולמת על ידי מחלקות ה IT אלא על ידי גורם אחר בארגון אשר אינו יכול לנתח הוצאה זו.
• מחקר של מכון אפטיים ( uptime institute ) קובע שבמקרים רבים כ 30% מהשרתים הם מיותרים וכמעט לא עובדים. בארגון שלו 500 שרתים, השבתת 30% מהשרתים תחסוך מעל 70,000 $ בשנה ותחסוך פליטה של כ 600 טון גזי חממה . הבעיה? לא זכיתי להכיר מנהל חדר מחשב אשר קיבל ציון לשבח ממנהלו על כך שהשבית שרת.
• ייצור החשמל הנדרש להפעלת וקירור שרת אחד גורם לפליטת 4 טון גזי חממה בשנה. כמות דומה הנפלטת ממכונית משפחתית הנוסעת כ 24,000 ק"מ בשנה.
מה הסיבה לצמיחה הדרמטית הזו בצריכת החשמל?
ב 1965, קבע גורדון מור, ברבות הימים אחד מהמייסדים האגדיים של אינטל, שמספר הטרנזיסטורים במיקרו מעבדים יוכפל כל 24 חודש. אמרה זו השתרשה בתעשייה כחוק מור ( Moore's Law ). חוק זה עובד עד היום וניתן לעניות דעתי, לקרוא לו 'נבואת מור'. התגשמות נבואה זו הביא להתפתחות הטכנולוגית המדהימה שחווינו מאז אותם ימים. אלא שבהיחבא, מתחת לאפם של קברניטי החברות, התרחשה תופעה נוספת: בעוד שרמת הביצועים לכל דולר עלתה בטור הנדסי, יעילות האנרגיה השתפרה גם היא אך בקצב איטי בהרבה.
מה ניתן לעשות?
די הרבה. ובמקרים רבים די בקלות. מרבית חדרי המחשב היום אינם מנוהלים לפי Best Practices אך ניתן לשדרג אותם בקלות יחסית. סגירת המעבר הקר היא אחת הדרכים הנבונות. כדאי להתחיל בסקר טרמי ומשם להמשיך.
10 דרכים לשיפור היעילות בחדר המחשב בזמן המיתון ב-2009
המיתון הקרב (הוא כבר כאן?), הפאניקה בשווקים הפיננסיים, מחנק האשראי , כל אלו ישפיעו בוודאי על ההתנהלות העסקית ותקציבי ה IT. עם זאת, המצב בשוק חדרי המחשב שונה לחלוטין מהמיתון הקודם בתחילת העשור.
בשנת 2001, בעת מפולת הבורסות, היה עודף גדול של קיבולת בחדרי המחשב. בעת ימי הבועה נבנו חדרי מחשב רבים ורובם עמדו ריקים. שטח רצפה, מערכות מיזוג אוויר, מערכות הספק, כל אלו עמדו לרשותנו בשפע.
המצב היום הוא שרוב חדרי המחשב נמצאים במצוקה. ריבוי השרתים, צריכת האנרגיה הגוברת , צפיפות השרתים, כל אלו גורמים למצוקה של חום, שטח רצפה וחוסר הספק, כמו גם לצמיחה מהירה בהוצאות התפעול , בעיקר בסעיף האנרגיה.
כיצד אם כן, להתמודד עם מצוקות אלו בזמן שתקציבי ה IT מתהדקים? להלן 10 הצעות:
1. בחירה במערכות בצפיפות גבוהה כגון שרתי להב מאפשרת תשתית יעילה יותר בצריכת החשמל ואת הצורך בהשקעות בחדר מחשב חדש. גם אם יש צורך בשדרוג כלשהו של החדר, מדובר בהוצאה שהיא זניחה כמעט יחסית להשקעה בחדר מחשב חדש.
2. ערוך סקר מוקדם לקביעת סדרי עדיפויות – ההשקעה נמוכה מאוד ודרכה ניתן ללמוד מה חולשות התשתית ברמת יתירות, זמינות ויעילות אנרגטית. ניתן באמצעות הסקר להסביר גם להנהלה לא טכנית את המצב לאשורו וחלופות פעולה.
3. בעקבות הסקר, ערוך תוכנית מסודרת שתאפשר הכפלת העומס במינימום השקעה התחלתית ובאופן מודולארי. האויב הגדול של חדרי המחשב היא גישת אד-הוק הנפוצה. ולראייה, שלל האלתורים ו"פתרונות" זמניים שהביאו את חדר המחשב להיראות כפי שהוא נראה.
4. בדוק את היעילות האנרגטית של חדר המחשב. מדוד את ה PUE (ראו מאמר קודם) . יתכן שתגלה שעל כל שקל שאתה משקיע בחשמל ל IT, אתה משקיע עוד 2 שקלים בתפעול התשתית. פרויקט של SVLG ( Silicon Valley Leadership group ) , ארגון המונה 300 חברות מעמק הסיליקון מצא שניתן להגיע לאותן תוצאות ברמת צריכת האנרגיה ותפעול מקצועי בחדרים ישנים ששודרגו כמו בחדרי מחשב חדשים. גם אם חשבון החשמל אינו משולם מתקציב הIT , התייעלות תאפשר לך להפיק הרבה יותר מן התשתית הקיימת.
5. סגור את המעבר הקר (ראו תמונה) . הפרדת אוויר חם מהאוויר הקר היא היסוד של קירור אפקטיבי ויעיל באנרגיה. אם החדר אינו מאורגן לפי מעברים קרים וחמים, בצע זאת ללא דיחוי. לאחר מכן, סגור את המעבר הקר. צריכת האנרגיה תרד, מערכות הקירור יעבדו בניצולת גבוהה. זוהי דרך מעולה להפיק את המקסימום מהשקעות שכבר בוצעו. זו שיטה הרבה יותר אפקטיבית מסגירת המעבר החם ומאפשרת סביבת עבודה הרבה יותר נעימה.
![clip_image002[9]](https://igal.files.wordpress.com/2008/11/clip-image0029.jpg)
6. חפש הזדמנויות להוריד את העומס ממערכת החשמל שלך. לדוגמה, בדוק אם ניתן לשדרג את יחידות הקירור של החדר ל VFD ( Variable Frequency Drive ) שדרוג זה מאפשר למערכות להגיב ליניארית לצורכי החדר וחוסכת צריכת חשמל רבה.
7. האם כל השרתים בחדר באמת נחוצים? השבתה ופינוי של שרתים לא פעילים חוסכת אנרגיה. ישנם חדרי מחשב בהם 10% מהשרתים אינם מביאים תועלת כלל. פנה את השרתים המיותרים (ותרום אותם למוסדות חינוך).
8. בקרה – בקרה – בקרה . דע בכל זמן מה קורה בחדר המחשב שלך. מה הטמפרטורה בנקודות קריטיות ומה צריכת האנרגיה של כל ארון שרתים בכל זמן. פסי שקעים מתקדמים מאפשרים ניטור צריכת האנרגיה באופן מדויק ושוטף וההוצאה זעומה. כך תכיר צרכיך בדיוק נקודתי ותדע היכן התיקון יהיה אפקטיבי יותר.
9. במקום לשדרג את כל חדר המחשב, בנה אזור High density בחדר. אם בעבר היה נהוג לפזר את העומס בחדר, היום מומלץ לרכז את העומס הכבד ביותר באזור אחד ולטפל בו נקודתית. זה יותר יעיל, יותר אפקטיבי תקציבית ומקל על פעולת שאר החדר.
10. ברמה הפילוסופית – דע להתנתק מרעיונות ישנים. חוקי התכנון של חדרי המחשב השתנו ללא הכר. צפיפות הספק, ארונות מקוררי מים, אל פסק מודולארי, תצורת אל פסק בשיטת IEC ) Intelligent Eco Mode -במאמר הבא) . אלו הם פתרונות טכנולוגיים מתקדמים שחלקם לפחות יכול לחסוך הרבה צרות והרבה כסף.
ואם בזמן שחסכנו כסף לארגון ושיפרנו את תשתית מערך ה IT גם מנענו פגיעה באיכות הסביבה, גם זה בסדר.
כלים לחישוב חשמל
ערכי צריכת החשמל הנומינליים הכתובים על לוחית ציוד ה IT הם הגזמה פרועה ביחס לצריכת החשמל בפועל. זאת משום שהיצרנים מניחים תצורה מליאה עם כל האופציות, עבודה ב 100% ושדרוגים ותוספות עתידיים. כדי לחשב את צריכת החשמל העתידית של היצרנים מספקים "מחשבונים". להלן לינקים למחשבונים.
סיסקו
http://tools.cisco.com/cpc/
דל
http://www.dell.com/calc
HP
http://www.hp.com/go/bladesystem/powercalculator
יבמ
http://www.ibm.com/systems/bladecenter/powerconfig
סאן
החברה מספקת מחשבוני כוח אך הללו אינם מרוכזים מיקום בעמוד אחד. ניתן להשתמש באפשרות החיפוש באתר www.sun.com ולהציג את השאילתא "power calculator".
מי שרוצה ללכת "על בטוח" ללא עבודת מחקר יכול לקחת פקטור של 60% מהנומינאלי.
מה זה Green IT ? מהו חדר מחשב ירוק?
עיקר הנזק הסביבתי והבזבוז הכספי ב IT נגרמים על ידי צריכת החשמל הגוברת של חדרי המחשב. אבל לא רק שם.
ולכן Green IT מגדיר 4 קריטריונים, שלושה מהם רלבנטיים לחדר המחשב, והרביעי הוא מעבר לחדר המחשב.
חדר המחשב הירוק:
1. תשתית חדר המחשב יעילה וחסכונית בחשמל. מדובר בעיקר במיזוג אוויר יעיל, ובתכנון חסכוני בתשתיות האחרות ( אל-פסק, גנרציה, לחות וכ') . דוגמאות: ארנות מקוררי מים, מערכת אל פסק עם אובדן סטטי נמוך, שימוש בהוהגם מתקדמים ( Best Practices ) וכן הלאה.
2. שימוש חסכוני במשאבי חדר המחשב: בעיקר בציוד IT על ידי וירטואליזציה, ובשטח על ידי שימוש ב High Density
3. בחירת ציוד IT גם (לא רק) על סמך ניצולת ההספק שלהם. לדוגמא: מעבר לשרתי להב, ספקי כוח עם ניצולת מעל 80%.
4. שימוש ב IT כדי לחסוך משאבים והוצאות לארגון ולהיטיב עם הסביבה: לדוגמא: חיסכון בהדפסות ובשימוש בנייר, כיבוי תחנות עבודה בשעות הלילה, שימוש ב Thin Client , שליטה מרחוק על מחשבים מרוחקים החוסכת נסיעות או טיסות של טכנאים, וכן הלאה.
Green IT : מושגי יסוד לקירור חדרי מחשב
חבר שלי התקשר אלי לשאול: באחת מהחברות שבבעלותו בונים חדר מחשב חדש במסגרת מעבר משרדים. הוא קיבל תקציב שבין השאר מפרט 105 טון קירור. "זה הרבה מאוד, לא?" הוא שאל.
ברור שהתשובה היא פונקציה של העומס. אבל, להלן כמה מושגים שימושיים לאנשי IT.
Watts 
= Volts (V) x Amps (A)
למעשה זהו גם החום הנפלט מהשרתים. כל האנרגיה החשמלית הנכנסת לשרתים נפלטת בצורה של חום:
BTU (British Thermal Unit) = יחידת חום
כדי לקרר הספק של 1W (וואט אחד) נדרשים 3.432 BTU
אז כמה זה טון קירור?
BTU= ~ 3.5KW 12,000 = 1 ton cooling
לדוגמא:
230Volts x 160Amps = 36,800Watts = 36.8kW
36.8KW / 3.5 = 10.5 ton cooling
חוקי אצבע שימושיים:
1. לחישוב מהיר, חלקו את מספר הקילו-וואט ב 3.5 כדי לקבל טון קירור
2. ארון שרתים ממוצע של שרתי 2U מפזר 4-5KW
3. ארון תקשורת ( U40 ) מלא במתגים יצרוך 6KW
4. שרת מתקדם עם שני כרטיסי רשת ושני דיסקים יצרוך 400- 500 וואט בפועל (נתוני 2007)
5. שרתים עם כרטיס רשת אחד יצרכו באופן טיפוסי W 300 לשרת
6. צריכה בפועל של שרת תהיה 50% מהנומינאלי (בחדר מחשב אופייני. לא במעבדות!)
דוגמאות:
בלייד סנטר אחד (14 שרתי להב, W 3600 ) דורש אחד טון קירור
ארון שרתי להב עם 6 בלייד סנטרס ( 84 שרתי להב) יצרוך 6 טון קירור
ארון מלא ב 40 שרתי פיצה מתקדמים, W 400 כ"א (50% מהנומינאלי) פולט KW 16 שדורשים 4.5 טון קירור.
יגאל שניידר
לחזרה לבלוג לחצו כאן
שדרוג חדר מחשב: תוספת של 4,000 שרתי להב לחדר מחשב ישן.
אינטל פרסמה white paper שנושאו באנגלית צחה
" Expanding Data Center Capacity with water cooled cabinets "
או בתרגום חופשי: שדרוג חדר מחשב באמצעות ארונות מקוררי מים. להורדת המסמך (באנגלית ) לחצו כאן
במסמך מתארת אינטל פרויקט בו נדרשו להוסיף לחדר מחשב ישן בן 2,000 שרתים שהגיע לקצה קיבולת הקירור שלו עוד כ 2,000 שרתי להב. אינטל עשתה זאת באמצעות התקנה של 26 ארונות מקוררי מים. בכל ארון 84 שרתי להב, סה"כ 21 עד 23 קילוואט לארון!
מאוחר יותר, עם הצלחת הפרויקט נוסף שלב שני ובו הותקנו עוד כ 2,000 שרתי להב. סה"כ הותקנו באותו חדר מחשב ותיק למעלה מ 4,000 שרתי להב נוספים.
פרשנות:
זוהי דוגמא משמעותית לרעיון ה HOTZONE שאנו מציגים בחברת אלכסנדר שניידר. אינטל הצליחה במאמץ קטן מאוד ובהוצאה זניחה יחסית לשדרג חדר מחשב ישן שבו 2,000 שרתים, לחדר מחשב המכיל 6,000 שרתים (תוספת של 4,000 שרתי להב). כלומר, לשלש את קיבולת חדר המחשב בקלות יחסית.
בניית חדר מחשב חדש דורשת משאבים רבים ונאמדת במיליוני דולרים. ניתן לשדרג את חדר המחשב, להכפיל ולשלש את הקיבולת שלו, בחמישית העלות. אינטל, חברה מקצועית מאוד הבינה את הפוטנציאל בשיטה זו ויישמה אותה במהירות ובמקצוענות.
לשם כך, ניתן להקצות שורה או שתיים בפינת חדר המחשב, ולהתקין בה ארונות מקוררי מים. איזור זה נקראה HOTZONE . ההתקנה מתבצעת תוך ימים ספורים ואינה דורשת השבתת החדר.
מעניין שמחברי המסמך לא הזכירו אלמנט חשוב מאוד: ארונות אלו חוסכים כ 50% ויותר מעלות החשמל לקירור בחדר המחשב. כלומר, יתרון משמעותי בהוצאות התפעול.
אנו מכירים את הפרויקט היטב ונשמח להוסיף פרטים כפוף להרשאות מחברת אינטל.
שרתי להב: כיצד ניתן לחזות את פליטת החום של השרתים בחדרי מחשב?
נניח שמחלקת ה-IT מודיעה לקבוצת התשתיות על כוונתה לרכוש שרתים חדשים במהלך התקופה הקרובה.
כיצד יכולה מחלקת ה-IT לסייע למתכנני תשתיות המיזוג להתכונן כיאות?
דרך אחת היא לבקש מספק הציוד דוח ביצועים של ASHRAE לשרת המדובר (לחצו על הטבלה להגדלה).
ASHREA הוא הארגון האמריקאי למהנדסי חשמל ומיזוג אוויר. זהו ארגון אובייקטיבי, לא למטרות רווח, והוא במידה רבה האורים והתומים של תשתיות חדרי המחשב בעולם.
רוב יצרני ציוד ה-IT מסוגלים לספק דוח זה. הדוח מספק למתכנני המיזוג והחשמל שני נתונים חשובים:
1. פליטת החום של השרת (בוואט)
2. צריכת האוויר של השרת ( ב CFM )
הדוח נותן את הנתונים לשרת ב 3 תצורות- תצורת מקסימום, תצורה טיפוסית, ומינימום. נתונים אלו יאפשרו למתכנני המיזוג להבין היטב את עומס החום שיתווסף לחדר המחשב, לפני שלב ההטמעה.
לחזרה לראש הבלוג לחצו כאן
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 
