The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

בימים אלו הושלם ע”י חברת אלכסנדר שניידר פרויקט חוות השרתים החדשה של NetApp Israel : מעבדות פיתוח של חברת האחסון מהמובילות בתחומה.  במעבדה שולבו חוקי תכנון של IT ירוק.

המעבדה הוקמה בבניין החדש של בית צים במת”מ חיפה, והיא מהווה פריצת דרך טכנולוגית בכל הקשור לתשתיות חדרי מחשב בישראל.  החווה כוללת בשלב א’ כ- 300 שרתים ביניהם שרתי האחסון של חברת NetApp מסוג FAS3000 ו-FAS6000 בעלי קיבולת אחסון של עשרות טרה-בתים.  בשלב הסופי החדר מתוכנן לאחסן קרוב ל 1 מגה-וואט של ציוד IT בשטח של כ-240 מ”ר בלבד ועו שה שימוש חדשני ביחי דות קירור מים המבוסס על קירור שורת ארונות השרתים.

היזמים ומנהלי הפרויקט מטעם נט-אפ היו המהנדסים ארז רוזנטל ואפרים גרינברג. הפרויקט בוצע  ע”י חברת אלכסנדר שניידר משלב התכנון, הבנייה והביצוע . שמנו דגש רב על חיסכון בהוצאות החשמל ויישמנו במידת האפשר כללים של IT ירוק כגון קירור מים ויישום מודולארי והדרגתי. כמו כן ביצענו  את פרויקט המעבר מחדר המחשב הישן של NetApp .

עיקרי הפרויקט:
240 מ”ר
100 ארונות שרתים (בשלב הסופי)
40 יחידות קירור מים - מבוסס לפי קירור שורה Row cooling
תכנון מודולארי ליישום הדרגתי
מיזוג אוויר מתוכנן לחיסכון בחשמל
KW 7 לארון שרתים בשלב א, 10 KW לארון בשלב הסופי
ניהול כבילה מתקדם
תשתית מים, כבילה וחשמל עילית
ללא רצפה צפה
מעבר החדר  - תוך 36 שעות

שלום אביטן-מנהל תחום Data Center באלכסנדר שניידר:
“האתגר הראשון בהעתקת החווה ובתכנון האתר היה לתמוך בציוד IT מתקדם ומגוון הנדרש על ידי מהנדסי החברה בעת פיתוח מערכות האחסון של הדור החדש”, “סך הכול קיבלנו כ 240 מ”ר לאחסנת מאות שרתים ובצריכה כוללת של קרוב ל 1 מגה-וואט. נבנתה תשתית כבילה עילית, ויושמה צפיפות מחשוב-הספק ( high density computing ) של קרוב ל 10 קילו-וואט לארון שרתים, הרבה מעבר ל 4 קילו-וואט לארון שהוא הגבול הסביר להספק בחדר מחשב רגיל”.

הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית.  כבלי נחושת ואופטיקה נפרשו באתר החווה. “לצורך זה התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב

מחקר שנעשה על יד י ה Uptime Institute  בדק את השפעת התקנת פנלים חוסמים (פנלים עיוורים) על יעילות מיזוג האוויר בחדר.

תוצאות מחקר זה מצביעות על הדברים הבאים:

•    כאשר לא מותקנים פנלים חוסמים בחללים בין ציוד המחשוב, למיחזור האוויר הפנימי בארון השרתים יש השפעה ניכרת על טמפרטורת האוויר הנכנס לציוד מחשוב.  ראה תמונה 1

•    פנלים חוסמים משפרים משמעותית את טמפרטורת האוויר הנכנס לציוד מחשוב ומהווים לפיכך פתרון יעיל לבעיה של מיחזור אוויר פליטה חם בתוך ארון שרתים. ראה תמונות 2,3

•    גם כאשר מותקנים בארון פנלים חוסמים עם מרווחים קטנים של 1.6 מ”מ ברווח האופקי בין פנלים חוסמים סמוכים, ציוד המחשוב עדיין חשוף לטמפרטורות כניסה מזיקות. ראה תמונה 2

•    כאשר לא מותקנים פנלים חוסמים בחללים שבין ציוד המחשוב או אפילו כאשר מותקנים פנלים חוסמים עם מרווחים, נפחים עודפים של אוויר ממוזג אינם מבטלים את השפעותיו המזיקות של מיחזור פנימי בארון השרתים.

•    השיפור המירבי מתקבל כאשר מתקינים בארון פנלים חוסמים שאין להם מרווחי אוויר ברווח האופקי בין פנלים חוסמים סמוכים או בין הפנלים החוסמים לציוד המחשוב. ראה תמונה 3

•    ביטול מיחזור האוויר הפנימי בארון השרתים משפר משמעותית את הספקת האוויר הממוזג לתוך הכניסות של הציוד.
ממחקר זה עולה כי שימוש בפנלים חוסמים עשוי לשפר במידה ניכרת על תפקוד חדר המחשוב: להקטין את שיעור הכשלים של ציוד מחשוב, לשפר את ניצולת יחידות המיזוג, ולהקטין הוצאות אנרגיה.  כל זאת בהשקעה זעומה.

תרשים 1

מודל 1: חתך רוחב של זרימת האוויר בארון שרתים שלא הותקנו בו פנלים חוסמים

תרשים 2

מודל 2: חתך רוחב של זרימת האוויר בארון שרתים שהותקנו בו פנלים חוסמים עם מרווחים. במודל הותקנו פנלים חוסמים עם מרווחי אוויר אופקיים של 1.6 מ”מ בין פנלים חוסמים סמוכים וגם עם מרווחי אוויר אופקיים של 3.3 מ”מ בין הפנלים החוסמים והשרתים.

תרשים 3

מודל 3: חתך רוחב של זרימת האוויר בארון שרתים שהותקנו בו פנלים חוסמים ללא מרווחים. במודל הותקנו פנלים חוסמים בלי מרווחי אוויר אופקיים בין פנלים חוסמים סמוכים או בין הפנלים החוסמים והשרתים.

מי שרוצה לקבל את המחקר במלואו מוזמן לכתוב לי

יגאל

ארון שרתים אמור לאחסן ציוד יקר ולאפשר נגישות ושירותיות קלה. היום ברור שבחירת ארון שרתים על סמך מחיר בלבד גובלת בחוסר אחריות מובהק.  30 או 40 שרתי פיצה או 3-4 מארזי להבים עולים עשרות ומאות אלפי דולרים ושוקלים קרוב לטון.  חשוב לבחור ארון שלא רק יענה לצרכים של היום אלא גם של השנים הקרובות:   להלן  קריטריונים לבחירת ארון שרתים

1. משקל – יכול לשאת משקל של 1,200 קילו לפחות
2. דלת מחוררת קדמית עם חרור של 83% משטח הדלת  – לצורך אספקת כמות אוויר מקסימאלית
3. רוחב של 80 ס”מ – בניגוד לרוחב 60 ס”מ שהיה נהוג בעבר. הסיבה – ניהול כבילה מסודר שאינו מפריע לזרימת האוויר
4. עומק –  מומלץ 120 ס”מ.  השרתים נהיים עמוקים יותר ויותר.
5. דלת אחורית מחוררת כפולה – מינימום מקום.
6. פרופילים עם סימון U לצורך התקנה קלה יותר
7. למתקדמים בלבד– עמידות ברעידות אדמה לארונות המיועדים לציוד קריטי
 

אשמח להערות והארות

יגאל

האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב? 

אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב.  הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל”נפילת” חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים   (Practices)   לא עדכניים.

מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:

1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU  - Power Distribution Unit  ברמת הארון
6. ספקי הכוח של השרתים עצמם

מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 .  לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU. 

כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח.  עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא  נכון.  במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.

בחדר מחשב ברמה 4  ( Tier 4 ) יש שתי מערכות של אספקת  החשמל ובכל מערכת (ענף) מצויים  כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N  וזה גם המחיר:  עלות כפולה. 

בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4  ולכן אין לנו בד”כ יתירות של 2N.  אנו מתפשרים   משיקולי עלות- תועלת ואילוצים אחרים.    

נתמקד אם כך בשיפור היתירות בעלות נמוכה  ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.

במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת.  ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.

ברוב המקרים מותקנים שני PDU בארון.  תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס.  במקרה של כשל  בספק אחד, עובר כל העומס לספק השני.  תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה. 

לדוגמא,  ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו.  ובכן מה הבעיה? 
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל  PDU B . במקרה כזה, PDU B  סופג עומס של 120% והארון נופל.    

נוהגים נכונים:

חוק מס 1:  העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון 

חוק מס’ 2:  העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.

כלומר, אם הנקודה מאפשרת 20A  לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)

מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר.  בישראל קוראים לזה בדרך כלל PDU חכם  (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)

מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים  והנה PDU חדש וחכם במיוחד

לחזרה לבלוג הקליקו כאן

גם בזמן רעידת אדמה מתונה יחסית, ארונות השרתים בחדר המחשב עלולים לקרוס. 

התוצאה:

•    Downtime
•    אובדן הכנסה
•    איבוד נתונים
•    נזק לציוד יקר ערך
•    זמן התאוששות ארוך

ראו תמונה מחדרי מחשב בקליפורניה לאחר רעידת אדמה של 6.7 בסולם ריכטר.

נהוג לחשוב, שמיגון IT מפני רעידות אדמה הוא עניין יקר ומורכב.  לא כך הדבר. ניתן למגן היום בקלות רבה ארונות שרתים ואחסון קריטיים מפני רעידות אדמה.

מעט רקע: רעידות אדמה נמדדות בדרך כלל לפי סולם ריכטר. סולם זה הוא סולם לוגריתמי. כלומר, רעידת אדמה בעוצמה 6 לפי סולם ריכטר חזקה פי 10 מרעידה בעוצמה 5.

בארה”ב קיים תקן טלקורדיה המגדיר ארבע רמות סיכון לפי מיקום גיאוגרפי בארה”ב. התקן מגדיר את רמה 4 (מדינת קליפורניה) כרמת הסיכון הגבוהה ביותר.  בדיקה לפי תקן זה לרמה 4 מעמידה את ציוד ה IT ברעידות המדמות רעידת אדמה בעוצה של 8.3 לפי סולם ריכטר.

קיים  בסיס לבידוד סיסמי שמבודד את השפעת רעידת האדמה מן הארון.  הבסיס משתמש בשיטות המשמשות מהנדסים ברחבי העולם לצורך הגנה על בניינים,גשרים ומבנים הנדסיים שונים מפני רעידות אדמה. 

הבסיס המבודד עבר בהצלחה רבה מבחנים שנעשו בארה”ב וביפן לפי התקן המחמיר של ZONE 4 . מבחן לפי תקן זה מדמה רעידת אדמה של עד  8.3 לפי סולם ריכטר.  ראו סרט.

ניתן אם כך היום להבטיח שרידות של שרתים ומערכות IT קריטיות  גם בעת רעידות אדמה חזקות.  ניתן להשיג שרידות זו בקלות ובעלות נמוכה יחסית.  ראו תמונות של ארונות שרתים ואחסון  בחדר מחשב רגיל.  ארונות אלו מוגנים מנזקי רעידות אדמה.

בחדרי מחשב עובדים שלא ניתן להשבית בהם ציוד, ניתן לבצע התקנה חמה עם מערכות עובדות. ראה תמונה.  בפרויקט זה הלקוח מחדר המחשב של בואינג בארה”ב, אנו מרימים את ארונות השרתים באמצעות מערכת הידראולית שתוכננה במיוחד ליישום זה.  הבסיסים הותקנו מתחת לארונות החמים, ואח”כ הורדו הארונות בזהירות.

חברות מובילות בעולם ,משתמשות בשיטה זו בכדי להשיג את ההגנה הגבוהה ביותר למסגרות ולציוד ה-IT היקר שלהן.

חיסכון בחשמל הוא עיקרון היסוד של חדר המחשב הירוק.  גם בחדרים שטרם הגיע זמנם לשדרוג “ירוק” , ניתן לקיים צעדי חיסכון והתייעלות קלים ומהירים. לדוגמא, כדי לחסוך משמעותית בחשמל בחדרי מחשב, אנו ממליצים ללקוחותינו לנהל בתבונה את הרצפה הצפה. 
מדוע זה חשוב ולמה אנו מתכוונים?

הוצאות החשמל הן כ 50% מהוצאות התפעול של חדרי המחשב. יתרה מזאת, סעיף הוצאות זה ממשיך לצמוח בטור גיאומטרי. חשוב לצמצם הוצאה זו במידת האפשר. ניהול נבון של הרצפה הצפה מאפשר חיסכון משמעותי בהשקעה מזערית.

דוגמא לניהול שגוי הוא השארת פתחים ברצפה הצפה למעבר כבלים. פתח של 15X20 ס”מ יכול לגרום לאובדן המשתווה ל 2 קילוואט של קירור, כלומר הוצאה מיותרת של כ 8,000 ₪ בשנה! מאחר ומדובר בד”כ בפתחים רבים שאינם מבוקרים,  מדובר בהוצאות של עשרות אלפי שקלים בשנה בחדר בינוני.

בנוסף, האוויר הקר הלא מבוקר נוטה להתערבב עם אוויר חם ולהשפיע לרעה על נצילות וקיבולת יחידות הקירור בחדר. דבר הגורם להוצאות חשמל מיותרות נוספות ולנקודות חמות בחדר.דוגמא לפיתרון שעלותו מזערית: מסגרת עם מברשות שערות (אנטי סטטיים – זה חשוב!) שניתן להרכיב בפתח חדש או על פתח קיים. מאפשר תיעול כבילה נוח ובמקביל מונע בריחת אוויר קר.

הסטנדרט בחדרי המחשב לטמפרטורה ולחות  נקבע על ידי ASHRAE. - טווח הלחות היחסית המומלץ הוא בין 40% ל 55%.
- טווח הלחות המותר הוא 80% - 20%

מדוע זה חשוב?
- לחות ברמה נמוכה מידי גורמת לפריקה אלקטרוסטאטית המסכנת את הציוד.
- לחות ברמה גבוהה מידי יוצרת עיבוי ורטיבות. 

יותר ויותר משתמשים מובילים בתעשייה מתנסים בהרחבת טווח הלחות היחסית. הסיבה היא ששמירה על טווח לחות צר צורכת הרבה מאוד אנרגיה. והרי ידוע, שחשבון החשמל נהפך לגורם היקר ביותר בתמהיל העלויות של חדרי מחשב.  רבים אם כך מתנסים בהרחבת טווח הלחות לרמות של 70%-30% . פורסם גם ש ASHRAE שוקלת לשנות את המלצתה לטווח רחב יותר.

משרד האוצר והצוות בראשות בועז דולב זכו בפרס ה”אוסקר של ה IT ” לשנת 2007 של קבוצת אנשים. הפרס, לקטגורית DRP,  יוענק למשרד האוצר, כמו גם לזוכים האחרים בטקס חגיגי ב 15/12/07.
מדובר בחדר המחשב של תהיל”ה, ממשל זמין, שהוקם על ידי חברת אלכסנדר שניידר. אני מאוד גאה בפרויקט זה משום משדובר בחדר מחשב המתקדם מסוגו בארץ המאחסן כ 1,000 שרתים בשטח של 90 מ”ר ברוטו - מה שקרוי high density servers .  החדר משלב מערכות קירור המספקות 60% חיסכון בעלות חשבון החשמל; צעד גדול בכיוון של חדר מחשב “ירוק”.

 הפתרונות שסיפקנו כוללים ארונות  עם קירור מים אינטגראלי, כבילת נחושת ואופטיקה בצפיפות גבוהה, מערכות PDU מנוהלות, ומטריצות שליטה KVM מסוג Paragon . החדר הוקם כפרויקט TURN KEY ע”י חברת אלכסנדר שניידר שניהלה גם את מעבר חדר המחשב. מידע נוסף על הפרויקט וחדר המחשב, ניתן לראות בפוסט קודם מחודש מאי 2007.

יגאל שניידר

לחזרה לבלוג לחצו כאן

חבר שלי התקשר אלי לשאול: באחת מהחברות שבבעלותו בונים חדר מחשב חדש במסגרת מעבר משרדים. הוא קיבל תקציב שבין השאר מפרט 105 טון קירור. “זה הרבה מאוד, לא?” הוא שאל.

ברור שהתשובה היא פונקציה של העומס. אבל, להלן כמה מושגים שימושיים לאנשי IT.

Watts (W) = Volts (V) x Amps (A)

למעשה זהו גם החום הנפלט מהשרתים. כל האנרגיה החשמלית הנכנסת לשרתים נפלטת בצורה של חום:

BTU  (British Thermal Unit)  =  יחידת חום  

כדי לקרר הספק של   1W (וואט אחד) נדרשים 3.432 BTU

אז כמה זה טון קירור?

BTU=  ~  3.5KW 12,000 =  1 ton cooling

לדוגמא:

230Volts x 160Amps = 36,800Watts = 36.8kW

36.8KW  /  3.5    =   10.5  ton cooling

חוקי אצבע שימושיים:

1. לחישוב מהיר, חלקו את מספר הקילו-וואט ב 3.5 כדי לקבל טון קירור
2. ארון שרתים ממוצע של שרתי  2U מפזר 4-5KW
3. ארון תקשורת ( U40 )  מלא במתגים יצרוך  6KW
4. שרת מתקדם עם שני כרטיסי רשת ושני דיסקים יצרוך  400- 500 וואט בפועל (נתוני 2007)
5. שרתים עם כרטיס רשת אחד יצרכו באופן טיפוסי W 300 לשרת
6. צריכה בפועל של שרת תהיה 50% מהנומינאלי (בחדר מחשב אופייני. לא במעבדות!)

דוגמאות:

בלייד סנטר אחד (14 שרתי להב, W 3600 ) דורש אחד טון קירור
ארון שרתי להב עם 6 בלייד סנטרס ( 84 שרתי להב) יצרוך 6 טון קירור
ארון מלא ב 40 שרתי פיצה מתקדמים,  W 400 כ”א (50% מהנומינאלי) פולט KW 16 שדורשים 4.5 טון קירור.

יגאל שניידר

לחזרה לבלוג לחצו כאן

אינטל הודיעה על כוונתה לאחד את 130 חדרי המחשב שלה ברחבי העולם ל 8  מרכזי נתונים בלבד.  לדברי ברנטלי דייויס ,מנהל תהליכי ההתייעלות של חדרי מחשב באינטל, הקונסולידציה של מרכזי הנתונים תאפשר לה להגיע לסטנדרטיזציה מליאה, וירטואליזציה נרחבת, וצפיפות מחשוב (יותר קילו-וואט לארון,  י.ש) גבוהה יותר. 

המטרה: חיסכון באנרגיה, הורדת עלויות ויצירת גמישות תפעולית לצורך מענה מהיר לדרישות הארגון.    

מעניין לראות שהמגמה עליה הצבענו באלכסנדר שניידר כבר לפני 3 שנים של צפיפות המחשוב (high density computing ) ממשיכה לעלות עם מגמת הקונסולידציה.  כדי לחסוך בעלויות, חברות מאחדות חדרי מחשב ובד בבד מנסות להקטין ככל האפשר את גודל החדר. עלות מ”ר של חדר כזה עולה אך החדר קטן יותר וכך קטנה העלות הכוללת (השקעה ראשונית + עלות תפעול שוטף)  וגם (למי שזה חשוב) קטנה הפגיעה באיכות הסביבה.   

לחזרה לראש הבלוג הקליקו כאן