The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

בימים אלו הושלם ע”י חברת אלכסנדר שניידר פרויקט חוות השרתים החדשה של NetApp Israel : מעבדות פיתוח של חברת האחסון מהמובילות בתחומה.  במעבדה שולבו חוקי תכנון של IT ירוק.

המעבדה הוקמה בבניין החדש של בית צים במת”מ חיפה, והיא מהווה פריצת דרך טכנולוגית בכל הקשור לתשתיות חדרי מחשב בישראל.  החווה כוללת בשלב א’ כ- 300 שרתים ביניהם שרתי האחסון של חברת NetApp מסוג FAS3000 ו-FAS6000 בעלי קיבולת אחסון של עשרות טרה-בתים.  בשלב הסופי החדר מתוכנן לאחסן קרוב ל 1 מגה-וואט של ציוד IT בשטח של כ-240 מ”ר בלבד ועו שה שימוש חדשני ביחי דות קירור מים המבוסס על קירור שורת ארונות השרתים.

היזמים ומנהלי הפרויקט מטעם נט-אפ היו המהנדסים ארז רוזנטל ואפרים גרינברג. הפרויקט בוצע  ע”י חברת אלכסנדר שניידר משלב התכנון, הבנייה והביצוע . שמנו דגש רב על חיסכון בהוצאות החשמל ויישמנו במידת האפשר כללים של IT ירוק כגון קירור מים ויישום מודולארי והדרגתי. כמו כן ביצענו  את פרויקט המעבר מחדר המחשב הישן של NetApp .

עיקרי הפרויקט:
240 מ”ר
100 ארונות שרתים (בשלב הסופי)
40 יחידות קירור מים - מבוסס לפי קירור שורה Row cooling
תכנון מודולארי ליישום הדרגתי
מיזוג אוויר מתוכנן לחיסכון בחשמל
KW 7 לארון שרתים בשלב א, 10 KW לארון בשלב הסופי
ניהול כבילה מתקדם
תשתית מים, כבילה וחשמל עילית
ללא רצפה צפה
מעבר החדר  - תוך 36 שעות

שלום אביטן-מנהל תחום Data Center באלכסנדר שניידר:
“האתגר הראשון בהעתקת החווה ובתכנון האתר היה לתמוך בציוד IT מתקדם ומגוון הנדרש על ידי מהנדסי החברה בעת פיתוח מערכות האחסון של הדור החדש”, “סך הכול קיבלנו כ 240 מ”ר לאחסנת מאות שרתים ובצריכה כוללת של קרוב ל 1 מגה-וואט. נבנתה תשתית כבילה עילית, ויושמה צפיפות מחשוב-הספק ( high density computing ) של קרוב ל 10 קילו-וואט לארון שרתים, הרבה מעבר ל 4 קילו-וואט לארון שהוא הגבול הסביר להספק בחדר מחשב רגיל”.

הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית.  כבלי נחושת ואופטיקה נפרשו באתר החווה. “לצורך זה התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב

מחקר שנעשה על יד י ה Uptime Institute  בדק את השפעת התקנת פנלים חוסמים (פנלים עיוורים) על יעילות מיזוג האוויר בחדר.

תוצאות מחקר זה מצביעות על הדברים הבאים:

•    כאשר לא מותקנים פנלים חוסמים בחללים בין ציוד המחשוב, למיחזור האוויר הפנימי בארון השרתים יש השפעה ניכרת על טמפרטורת האוויר הנכנס לציוד מחשוב.  ראה תמונה 1

•    פנלים חוסמים משפרים משמעותית את טמפרטורת האוויר הנכנס לציוד מחשוב ומהווים לפיכך פתרון יעיל לבעיה של מיחזור אוויר פליטה חם בתוך ארון שרתים. ראה תמונות 2,3

•    גם כאשר מותקנים בארון פנלים חוסמים עם מרווחים קטנים של 1.6 מ”מ ברווח האופקי בין פנלים חוסמים סמוכים, ציוד המחשוב עדיין חשוף לטמפרטורות כניסה מזיקות. ראה תמונה 2

•    כאשר לא מותקנים פנלים חוסמים בחללים שבין ציוד המחשוב או אפילו כאשר מותקנים פנלים חוסמים עם מרווחים, נפחים עודפים של אוויר ממוזג אינם מבטלים את השפעותיו המזיקות של מיחזור פנימי בארון השרתים.

•    השיפור המירבי מתקבל כאשר מתקינים בארון פנלים חוסמים שאין להם מרווחי אוויר ברווח האופקי בין פנלים חוסמים סמוכים או בין הפנלים החוסמים לציוד המחשוב. ראה תמונה 3

•    ביטול מיחזור האוויר הפנימי בארון השרתים משפר משמעותית את הספקת האוויר הממוזג לתוך הכניסות של הציוד.
ממחקר זה עולה כי שימוש בפנלים חוסמים עשוי לשפר במידה ניכרת על תפקוד חדר המחשוב: להקטין את שיעור הכשלים של ציוד מחשוב, לשפר את ניצולת יחידות המיזוג, ולהקטין הוצאות אנרגיה.  כל זאת בהשקעה זעומה.

תרשים 1

מודל 1: חתך רוחב של זרימת האוויר בארון שרתים שלא הותקנו בו פנלים חוסמים

תרשים 2

מודל 2: חתך רוחב של זרימת האוויר בארון שרתים שהותקנו בו פנלים חוסמים עם מרווחים. במודל הותקנו פנלים חוסמים עם מרווחי אוויר אופקיים של 1.6 מ”מ בין פנלים חוסמים סמוכים וגם עם מרווחי אוויר אופקיים של 3.3 מ”מ בין הפנלים החוסמים והשרתים.

תרשים 3

מודל 3: חתך רוחב של זרימת האוויר בארון שרתים שהותקנו בו פנלים חוסמים ללא מרווחים. במודל הותקנו פנלים חוסמים בלי מרווחי אוויר אופקיים בין פנלים חוסמים סמוכים או בין הפנלים החוסמים והשרתים.

מי שרוצה לקבל את המחקר במלואו מוזמן לכתוב לי

יגאל

ארון שרתים אמור לאחסן ציוד יקר ולאפשר נגישות ושירותיות קלה. היום ברור שבחירת ארון שרתים על סמך מחיר בלבד גובלת בחוסר אחריות מובהק.  30 או 40 שרתי פיצה או 3-4 מארזי להבים עולים עשרות ומאות אלפי דולרים ושוקלים קרוב לטון.  חשוב לבחור ארון שלא רק יענה לצרכים של היום אלא גם של השנים הקרובות:   להלן  קריטריונים לבחירת ארון שרתים

1. משקל – יכול לשאת משקל של 1,200 קילו לפחות
2. דלת מחוררת קדמית עם חרור של 83% משטח הדלת  – לצורך אספקת כמות אוויר מקסימאלית
3. רוחב של 80 ס”מ – בניגוד לרוחב 60 ס”מ שהיה נהוג בעבר. הסיבה – ניהול כבילה מסודר שאינו מפריע לזרימת האוויר
4. עומק –  מומלץ 120 ס”מ.  השרתים נהיים עמוקים יותר ויותר.
5. דלת אחורית מחוררת כפולה – מינימום מקום.
6. פרופילים עם סימון U לצורך התקנה קלה יותר
7. למתקדמים בלבד– עמידות ברעידות אדמה לארונות המיועדים לציוד קריטי
 

אשמח להערות והארות

יגאל

כמה עולה מ”ר של חדר מחשב?    ובכן, תלוי אם מחלקים את העלות בכל השטח שכולל שטחי שרות ואת שטח חדר האנרגיה, או רק את שטח ה IT שהוא בערך השטח של הרצפה הצפה.

חדר מחשב ברמה של Tier 4 נבנה בימים אלה בניופורט , ויילס שבאנגליה. מרכז נתונים זה נבנה על ידי NGD ( Next Generation Data Ltd ) ויקרא NGD1 . גודלו כ 37,000 מ”ר והוא יחולק ל 15 חדרים נפרדים כדי לאחסן לפחות 15 לקוחות גדולים שונים. עלות הבנייה היא כ 400 מיליון דולר ( מעל 10,000$ למ”ר). לא נמסר כמה מתוך השטח הזה יהיה ל IT בלבד כלומר כמה יהיה שטח הרצפה הצפה.

אם ננחש שכ 40% משטח המתקן ייוחד לרצפה צפה הרי שמחיר מ”ר יהיה כ 27,000 $.

חדר מחשב ברמה של Tier 3 נבנה בימים אלה על ידי חברת VISI במיניאפוליס בעלות של 19 מיליון דולר. גודל המתקן כ 4600 מ”ר בסה”כ ( $4,000 למ”ר) מתוכו כ כ 1,200  מ”ר יהיה שטח רצפה צפה המיוחד ל IT. אם מודדים לפי פרמטר זה הרי שעלות כל מ”ר היא כ 15,000 $ למ”ר.

רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDU - Cabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding).  הפתרון מבוסס על CDU של חברת    Server Technology               
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים: 

1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר

 משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.

מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי.  כמו כן יש דיון בנושא יישום נכון של  יתירות ב PDU בפוסט קודם

חג שמח

בהרצאת הפתיחה של כנס AFCOM בלאס וגאס נאם מייקל מאנוס, דיירקטור לשרותי דטה-סנטר של מייקרוסופט. שלושה דברים הדהימו אותי בהרצאה שלו:

1. מאנוס סיפר שמיקרוסופט מוסיפה כ 12,000 (שנים עשר אלף) שרתים בחודש.  אף אחד בקהל לא הניד עפעף. לפני מס’ שנים היינו היינו שולחים אדם שמצהיר על מספרים כאלו להסתכלות.  היום זה כבר מובן מאליו.  השמועות מספרות שגוגל למשל מוסיפה כ 25,000 שרתים בחודש.

2. מאנוס תיאר את הפרוייקט הבא של מיקרוסופט בתחום חדרי המחשב.  חדר מחשב ענק זה ייבנה כעיר מכולות, לא כבניין בטון.  כלומר, ציוד מחשוב חדש יתווסף במכולות שיכילו מס’ כלשהו של ארונות שרתים מזוודים, מחווטים ומוכנים להפעלה.  גילוי נאות: כמי שמקדם את נושא חדרי המחשב הניידים בארץ, שמחתי לקבל חיזוק כה משמעותי.  לפרטים על מכולות חדרי המחשב ראו      

3. מיקרוסופט הגיעו להשגים מדהימים ביעילות האנרגיה של חדרי המחשב על ידי שימוש בנוהגים מתקדמים.  יעילות זו נמדדת ביחס פשוט.  לוקחים את קריאת מונה החשמל המסופק לכלל החדר (ל IT, מיזוג ותשתיות)  ומחלקים את החשמל המסופק לציוד ה IT בלבד ( קריאת ה UPS ).  יחס זה נקרא PUE ( הגריד הירוק) או EER על ידי ה Uptime Institute .

עיקר הנזק הסביבתי והבזבוז הכספי ב IT נגרמים על ידי צריכת החשמל הגוברת של חדרי המחשב. אבל לא רק שם.
ולכן Green IT מגדיר 4 קריטריונים, שלושה מהם רלבנטיים לחדר המחשב, והרביעי הוא מעבר לחדר המחשב.

חדר המחשב הירוק:
1. תשתית חדר המחשב יעילה וחסכונית בחשמל. מדובר בעיקר במיזוג אוויר יעיל, ובתכנון חסכוני בתשתיות האחרות ( אל-פסק, גנרציה, לחות וכ’) . דוגמאות: ארנות מקוררי מים, מערכת אל פסק עם אובדן סטטי נמוך, שימוש בהוהגם מתקדמים ( Best Practices ) וכן הלאה.
2. שימוש חסכוני במשאבי חדר המחשב: בעיקר בציוד IT על ידי וירטואליזציה, ובשטח על ידי שימוש ב High Density
3. בחירת ציוד IT גם (לא רק) על סמך ניצולת ההספק שלהם. לדוגמא: מעבר לשרתי להב, ספקי כוח עם ניצולת מעל 80%.

נתונים עדכניים של ה uptime institute וה EPA שופכים אור על המצב הנוכחי בחדרי המחשב בארה”ב.
נתון מעניין אחד הוא שקצב קניית השרתים הואט לכ 9% בממוצע בשנים 2006-7. זאת ירידה משמעותית יחסית ל 5 השנים בקודמות שם ממוצע קניות השרתים עלה ב 13.6% בשנה. ניתן לייחס זאת למגמת הוירטואליזציה. עם זאת, מעניין לראות שמס’ השרתים ממשיך לצמוח למרות הוירטואליזציה.
נתון מעניין נוסף הוא שצריכת החשמל של חדרי המחשב במגה-וואטים עלתה בשנתיים אלו ב 12%. כלומר, למרות הוירטואלזיציה ולמרות השיפורים בטכנולוגיות השרתים, צריכת האנרגיה ממשיכה לעלות בקצב מהיר.  עליית מחירי האנרגיה מבטיחה שההוצאה הישירה בחשבון החשמל תעלה בקצב מהיר אף יותר!

מגמת ה חדר המחשב הירוק היא תגובה של התעשייה לתופעה זו. מעניין לראות את תגובת התעשייה: בחלקה - התעלמות מוחלטת, בחלקה האחר, יישום נלהב.  האם התשובה היא חדר מחשב חדש או שדרוג החדר הישן?  זה כבר נושא לפוסט הבא.

יגאל שניידר

גם בזמן רעידת אדמה מתונה יחסית, ארונות השרתים בחדר המחשב עלולים לקרוס. 

התוצאה:

•    Downtime
•    אובדן הכנסה
•    איבוד נתונים
•    נזק לציוד יקר ערך
•    זמן התאוששות ארוך

ראו תמונה מחדרי מחשב בקליפורניה לאחר רעידת אדמה של 6.7 בסולם ריכטר.

נהוג לחשוב, שמיגון IT מפני רעידות אדמה הוא עניין יקר ומורכב.  לא כך הדבר. ניתן למגן היום בקלות רבה ארונות שרתים ואחסון קריטיים מפני רעידות אדמה.

מעט רקע: רעידות אדמה נמדדות בדרך כלל לפי סולם ריכטר. סולם זה הוא סולם לוגריתמי. כלומר, רעידת אדמה בעוצמה 6 לפי סולם ריכטר חזקה פי 10 מרעידה בעוצמה 5.

בארה”ב קיים תקן טלקורדיה המגדיר ארבע רמות סיכון לפי מיקום גיאוגרפי בארה”ב. התקן מגדיר את רמה 4 (מדינת קליפורניה) כרמת הסיכון הגבוהה ביותר.  בדיקה לפי תקן זה לרמה 4 מעמידה את ציוד ה IT ברעידות המדמות רעידת אדמה בעוצה של 8.3 לפי סולם ריכטר.

קיים  בסיס לבידוד סיסמי שמבודד את השפעת רעידת האדמה מן הארון.  הבסיס משתמש בשיטות המשמשות מהנדסים ברחבי העולם לצורך הגנה על בניינים,גשרים ומבנים הנדסיים שונים מפני רעידות אדמה. 

הבסיס המבודד עבר בהצלחה רבה מבחנים שנעשו בארה”ב וביפן לפי התקן המחמיר של ZONE 4 . מבחן לפי תקן זה מדמה רעידת אדמה של עד  8.3 לפי סולם ריכטר.  ראו סרט.

ניתן אם כך היום להבטיח שרידות של שרתים ומערכות IT קריטיות  גם בעת רעידות אדמה חזקות.  ניתן להשיג שרידות זו בקלות ובעלות נמוכה יחסית.  ראו תמונות של ארונות שרתים ואחסון  בחדר מחשב רגיל.  ארונות אלו מוגנים מנזקי רעידות אדמה.

בחדרי מחשב עובדים שלא ניתן להשבית בהם ציוד, ניתן לבצע התקנה חמה עם מערכות עובדות. ראה תמונה.  בפרויקט זה הלקוח מחדר המחשב של בואינג בארה”ב, אנו מרימים את ארונות השרתים באמצעות מערכת הידראולית שתוכננה במיוחד ליישום זה.  הבסיסים הותקנו מתחת לארונות החמים, ואח”כ הורדו הארונות בזהירות.

חברות מובילות בעולם ,משתמשות בשיטה זו בכדי להשיג את ההגנה הגבוהה ביותר למסגרות ולציוד ה-IT היקר שלהן.

משיחות עם לקוחות וספקים, אני מעריך שהנושאים שיעסיקו את צוותי הIT   ב 2008 יהיו:

1. קירור חדרי המחשב
2. הספק (חשמל) במונחים של מחסור ועלות
3. שטח רצפה
4. עלות שכר עובדים
5. כלים לניהול שרתים
6. וירטואליזציה
7. IT ירוק
8. 10 גיגה-ביט איטרנט
9. מיקור חוץ
10. התאוששות מאסון (DRP )
11. קונסולידציה
12. עיבוד מקבילי

אשמח לשמוע לדעתכם yigals@schneider.co.il

בנושא IT ירוק, אנשים עורכים כנס IT ירוק ב 5 בפברואר , 2008 בהילטון תל אביב. להרשמה

יגאל