The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב? 

אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב.  הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל”נפילת” חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים   (Practices)   לא עדכניים.

מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:

1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU  - Power Distribution Unit  ברמת הארון
6. ספקי הכוח של השרתים עצמם

מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 .  לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU. 

כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח.  עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא  נכון.  במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.

בחדר מחשב ברמה 4  ( Tier 4 ) יש שתי מערכות של אספקת  החשמל ובכל מערכת (ענף) מצויים  כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N  וזה גם המחיר:  עלות כפולה. 

בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4  ולכן אין לנו בד”כ יתירות של 2N.  אנו מתפשרים   משיקולי עלות- תועלת ואילוצים אחרים.    

נתמקד אם כך בשיפור היתירות בעלות נמוכה  ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.

במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת.  ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.

ברוב המקרים מותקנים שני PDU בארון.  תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס.  במקרה של כשל  בספק אחד, עובר כל העומס לספק השני.  תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה. 

לדוגמא,  ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו.  ובכן מה הבעיה? 
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל  PDU B . במקרה כזה, PDU B  סופג עומס של 120% והארון נופל.    

נוהגים נכונים:

חוק מס 1:  העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון 

חוק מס’ 2:  העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.

כלומר, אם הנקודה מאפשרת 20A  לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)

מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר.  בישראל קוראים לזה בדרך כלל PDU חכם  (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)

מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים  והנה PDU חדש וחכם במיוחד

לחזרה לבלוג הקליקו כאן

חיסכון בחשמל הוא עיקרון היסוד של חדר המחשב הירוק.  גם בחדרים שטרם הגיע זמנם לשדרוג “ירוק” , ניתן לקיים צעדי חיסכון והתייעלות קלים ומהירים. לדוגמא, כדי לחסוך משמעותית בחשמל בחדרי מחשב, אנו ממליצים ללקוחותינו לנהל בתבונה את הרצפה הצפה. 
מדוע זה חשוב ולמה אנו מתכוונים?

הוצאות החשמל הן כ 50% מהוצאות התפעול של חדרי המחשב. יתרה מזאת, סעיף הוצאות זה ממשיך לצמוח בטור גיאומטרי. חשוב לצמצם הוצאה זו במידת האפשר. ניהול נבון של הרצפה הצפה מאפשר חיסכון משמעותי בהשקעה מזערית.

דוגמא לניהול שגוי הוא השארת פתחים ברצפה הצפה למעבר כבלים. פתח של 15X20 ס”מ יכול לגרום לאובדן המשתווה ל 2 קילוואט של קירור, כלומר הוצאה מיותרת של כ 8,000 ₪ בשנה! מאחר ומדובר בד”כ בפתחים רבים שאינם מבוקרים,  מדובר בהוצאות של עשרות אלפי שקלים בשנה בחדר בינוני.

בנוסף, האוויר הקר הלא מבוקר נוטה להתערבב עם אוויר חם ולהשפיע לרעה על נצילות וקיבולת יחידות הקירור בחדר. דבר הגורם להוצאות חשמל מיותרות נוספות ולנקודות חמות בחדר.דוגמא לפיתרון שעלותו מזערית: מסגרת עם מברשות שערות (אנטי סטטיים – זה חשוב!) שניתן להרכיב בפתח חדש או על פתח קיים. מאפשר תיעול כבילה נוח ובמקביל מונע בריחת אוויר קר.

חבר שלי התקשר אלי לשאול: באחת מהחברות שבבעלותו בונים חדר מחשב חדש במסגרת מעבר משרדים. הוא קיבל תקציב שבין השאר מפרט 105 טון קירור. “זה הרבה מאוד, לא?” הוא שאל.

ברור שהתשובה היא פונקציה של העומס. אבל, להלן כמה מושגים שימושיים לאנשי IT.

Watts (W) = Volts (V) x Amps (A)

למעשה זהו גם החום הנפלט מהשרתים. כל האנרגיה החשמלית הנכנסת לשרתים נפלטת בצורה של חום:

BTU  (British Thermal Unit)  =  יחידת חום  

כדי לקרר הספק של   1W (וואט אחד) נדרשים 3.432 BTU

אז כמה זה טון קירור?

BTU=  ~  3.5KW 12,000 =  1 ton cooling

לדוגמא:

230Volts x 160Amps = 36,800Watts = 36.8kW

36.8KW  /  3.5    =   10.5  ton cooling

חוקי אצבע שימושיים:

1. לחישוב מהיר, חלקו את מספר הקילו-וואט ב 3.5 כדי לקבל טון קירור
2. ארון שרתים ממוצע של שרתי  2U מפזר 4-5KW
3. ארון תקשורת ( U40 )  מלא במתגים יצרוך  6KW
4. שרת מתקדם עם שני כרטיסי רשת ושני דיסקים יצרוך  400- 500 וואט בפועל (נתוני 2007)
5. שרתים עם כרטיס רשת אחד יצרכו באופן טיפוסי W 300 לשרת
6. צריכה בפועל של שרת תהיה 50% מהנומינאלי (בחדר מחשב אופייני. לא במעבדות!)

דוגמאות:

בלייד סנטר אחד (14 שרתי להב, W 3600 ) דורש אחד טון קירור
ארון שרתי להב עם 6 בלייד סנטרס ( 84 שרתי להב) יצרוך 6 טון קירור
ארון מלא ב 40 שרתי פיצה מתקדמים,  W 400 כ”א (50% מהנומינאלי) פולט KW 16 שדורשים 4.5 טון קירור.

יגאל שניידר

לחזרה לבלוג לחצו כאן

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה”ירוק” הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד”כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ”רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

נניח שמחלקת ה-IT מודיעה לקבוצת התשתיות על כוונתה לרכוש שרתים חדשים במהלך התקופה הקרובה.

כיצד יכולה מחלקת ה-IT לסייע למתכנני תשתיות המיזוג להתכונן כיאות?

דרך אחת היא לבקש מספק הציוד דוח ביצועים של ASHRAE לשרת המדובר (לחצו על הטבלה להגדלה).

ASHREA הוא הארגון האמריקאי למהנדסי חשמל ומיזוג אוויר. זהו ארגון אובייקטיבי, לא למטרות רווח, והוא במידה רבה האורים והתומים של תשתיות חדרי המחשב בעולם.

רוב יצרני ציוד ה-IT מסוגלים לספק דוח זה. הדוח מספק למתכנני המיזוג והחשמל שני נתונים חשובים:

1. פליטת החום של השרת (בוואט)
2. צריכת האוויר של השרת ( ב CFM )

הדוח נותן את הנתונים לשרת ב 3 תצורות- תצורת מקסימום, תצורה טיפוסית, ומינימום. נתונים אלו יאפשרו למתכנני המיזוג להבין היטב את עומס החום שיתווסף לחדר המחשב, לפני שלב ההטמעה.

 לחזרה לראש הבלוג לחצו כאן

לא רבים מבינים את מלוא החשיבות של תכנית העמדה של ארונות השרתים בעת תכנון חדר המחשב.  ביצועי אולם המחשב הם במידה רבה פונקציה של תוכנית העמדה נכונה ושל ביצוע מדויק של התוכנית.

תוכנית העמדה כוללת את מימדי החדר ואת מיקום ארונות השרתים וכל ציוד אחר בחדר.  לתוכנית ההעמדה השפעות על הפרמטרים הבאים:

1. מספר ארונות השרתים והאחסון שניתן להציב בחדר
2. צפיפות המחשוב שניתנת לביצוע ( לדוגמא: כמה קילו-וואט בארון)
3. מורכבות ועלות תשתית החשמל והמיזוג
4. התנהגות האוויר החם והקר בחדר ועד כמה היא צפויה בעת שינויים
5. עלות החשמל לתפעול החדר לאורך חיי חדר המחשב

בפרויקטים רבים , תוכנית ההעמדה נעשית בשלב מאוחר מידי של הפרויקט. במקרים אלו ביצועי החדר לא יהיו אופטימאליים.  תכנון או ביצוע כלאחר יד של תוכנית העמדה של אולם המחשב  תגרום לירידה בקיבולת החדר וביכולת להציב כמות שרתים נאותה, ירידה בצפיפות המחשוב ועלייה בחשבון החשמל.

יצא  white paper  מאוד מעניין של APC בנושא זה.  המסמך באנגלית. מי שמעוניין בהעתק, מוזמן לכתוב לי ואשלח בשמחה.

יגאל

לחזרה לראש הבלוג לחצו כאן

מגמת ה IT הירוק / חדר מחשב ירוק צוברת תאוצה

סיסקו הכריזה ש  Green IT ומערכות תקשורת חסכוניות בחשמל הפכו לתחום צמיחה עבור החברה. 
כמו כן, הודיע אנדרה סמית, מנכ”ל סיסקו-אסיה שהחברה שוקדת בימים אלו על בניית חדר מחשב ירוק בפיליפינים.

חברת פוג’יטסו ( Fujitsu Services ) הודיעה שהיא תשקיע 44 מיליון לירות סטרלינג בבניית חדר מחשב ירוק ליד לונדון.  הדטה-סנטר יוקם למטרות אירוח וישתרע על שטח של 7,000 מ”ר בערך. תכנון החדר יחסוך חשמל בערכים המשתווים לאלו הנצרכים על ידי 6,000 בתי אב בשנה ביחס לשיטות תכנון מיושנות (ראה פוסטים קודמים).  מבחינת איכות הסביבה מדובר במניעת פליטה של 10,000 טון של פחמן דו-חמצני בשנה.

נתון מעניין:  חישוב זריז של עלות למ”ר מראה עלות של מעל  12,000 $ למ”ר. כנראה שמדובר ב Tier 4 .

למנהלי חוות שרתים ואולמות מחשב המתעניינים בנושא הדטה-סנטר הירוק: בימים אלו אני שוקד על כתיבת white paper בנושא חדר המחשב הירוק.  מי שמעוניין לקבל טיוטה ולהגיב עליה, מוזמן ליצור עמי קשר ואשלח לו (או לה) עותק  ברצון.

לחזרה לראש הבלוג לחצו כאן

המכשיר למיתוג המתחים fail safe transfer switch הידוע גם בתעשייה שלנו כ STS  או ATS , הוא PDU בעל שתי הזנות שבעת נפילת הזנה אחת, מעביר את העומס להזנה השנייה.  כך יוצרים יתירות גם לציוד IT עם ספק אחד. ה ATS הישנים סבלו  בדרך כלל מהחולשות הבאות

1. רגישות לכניסות מתח בפאזות לא מסונכרנות
2.  קצר בכניסה A יכול לגרום לנפילה בענף B

מצורך לינק למצגת פלאש נחמדה שמסבירה כיצד STS עובד. הקליקו כאן 

לחזרה לראש הבלוג לחצו כאן

בכמה מסתכם חשבון החשמל של ארון שרתים בודד?  (התשובה אגב, 35,000 $)

כמובן שהשאלה מעניינת אם  אנו בוחנים שרתים מתקדמים ולא מכונות מיושנות.

ובכן שרתי פיצה מתקדמים של תחילת 2007 כדוגמת שרתי TWIN צורכים בתצורה מליאה בין 800W ל 1 KW לשרת.

כמובן שמעטים רוכשים את התצורה המליאה ומפעילים את השרת ב 100%.  ולכן בוא נניח 40% מההספק הנומינאלי כלומר, 400W לשרת.

40 שרתים בארון מלא —> KW 16 לארון שרתים.

קילוואט שעה עולה בישראל 0.10 $ . לארון השרתים הנ”ל  נכפיל ב 16 ונקבל 1.60 $  לשעה.  

כפי שתיארנו בפוסט קודם, על כל קילוואט לציוד ה IT מושקעים עוד 2 קילוואט במיזוג אוויר ובתשתיות החשמל.  בחדרי מחשב (חוות שרתים)  מתקדמים יחסית מקדם היעילות הוא 2.5 . בואו נניח שחדר המחשב שבדוגמא שלנו הוא אכן חדר מתוכנן היטב עם מקדם יעילות של 2.5 .

ולכן עלות החשמל לארון שרתים זה הוא 1.6X 2.5 =  כלומר , 4 $ בשעה.

נכפיל ב 24 שעות ונקבל 96 $ ביום.

נכפיל ב 365 ונקבל 35,040 $ בשנה לארון הצורך KW 16 .

אגב גארטנר צופים שארון שרתים יגיע ל KW 52 עד שנת 2011. לפי אותה שיטת חישוב - חשבון החשמל יגיע בארון כזה ל 45,000 $ בשנה ואף יותר. עלות החשמל למיזוג האוויר היא 40% מסכום זה.

לחזרה לראש הבלוג לחצו כאן

חדרי השרתים הם זוללי החשמל הגדולים ביותר בארגונים כגון היי-טק, מוסדות פיננסים וספקי שרותי תקשורת. ההספקים הנדרשים על ידי השרתים והאחסון בחוות השרתים מגיעים למאות קילוואט ואף מגה-וואטים לחדר מחשב. 

כיום, כשחברת החשמל מתריעה על הקושי לספק את הצריכה וכאשר מחירי החשמל מאמירים, חשיבה וניהול של חדר מחשב “ירוק” , תהיה לא רק ידידותית לסביבה אלא גם תחסוך מאות אלפי דולרים בשנה בחשבון החשמל.

לא כולם יודעים שעל כל שקל  המושקע בחשמל המגיע לשרתים, מושקע עוד שקל לפחות על מיזוג אוויר ועוד שקל מושקע בחשמל לתשתיות אחרות. כלומר, על כל שקל חשמל לשרתים יש תקורה (בזבוז) של 2 שקלים. בחדר מחשב גדול מדובר בבזבוז של מאות אלפי שקלים בחודש בחשבון החשמל.

בחדר המחשב הירוק – מקטינים משמעותית את הבזבוז בחשמל. איך עושים זאת ב 3 צעדים קלים יחסית?

1. מרכזים את כל זוללי החשמל ( = פולטי חום) הגדולים באזור אחד שנקרא HOT ZONE .  אם למדת שעליך לפזר אותם בחדר, חשוב שנית. זה כבר לא עובד כך.  ה HOT ZONE יכול להיות שורה אחת או שתיים של ארונות שרתים באחת מפינות החדר.
2. קררו את ה HOT ZONE באמצעי קירור מתקדמים לשרתים בצפיפות גבוהה. בעיקר מדובר בארונות עם קירור אינטגראלי בהם יחידות הקירור (לא אוורור) נמצאות קרוב לציוד ומקררות אותו ולא את החדר. בשפת העם- ארונות עם קירור מים.  זה יעיל יותר טכנולוגית וכלכלית.
3. בנו תשתית מודולארית של הספק וקירור . תשתית מוגזמת גורמת לבזבוז אדיר בחשמל, בייחוד כאשר הניצול בפועל נמוך משמעותית מהקיבולת.   כמו כן,  ההשקעה הקפיטאלית (  CAPEX )  בציוד מתבצעת רק בזמן הנדרש ולא בהכרח בזמן הקמת החדר.
4. השתמשו במה שקרוי Best Practices . ראו פוסט קודם.

בתמונה זו נראה HOTZONE בחדר מחשב ירוק בארץ.  7 ארונות שבכל אחד 6 בלייד-סנטרס . בכל ארון שרתים   23 קילו-וואט של שרתים.  סה”כ 160 קילוואט בשבעה ארונות.  החיסכון השנתי בחשמל : 58,000 $ . לא אמרנו שמנהל הכספים יאהב אותך?