The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT

בימים אלו הושלם ע”י חברת אלכסנדר שניידר פרויקט חוות השרתים החדשה של NetApp Israel : מעבדות פיתוח של חברת האחסון מהמובילות בתחומה.  במעבדה שולבו חוקי תכנון של IT ירוק.

המעבדה הוקמה בבניין החדש של בית צים במת”מ חיפה, והיא מהווה פריצת דרך טכנולוגית בכל הקשור לתשתיות חדרי מחשב בישראל.  החווה כוללת בשלב א’ כ- 300 שרתים ביניהם שרתי האחסון של חברת NetApp מסוג FAS3000 ו-FAS6000 בעלי קיבולת אחסון של עשרות טרה-בתים.  בשלב הסופי החדר מתוכנן לאחסן קרוב ל 1 מגה-וואט של ציוד IT בשטח של כ-240 מ”ר בלבד ועו שה שימוש חדשני ביחי דות קירור מים המבוסס על קירור שורת ארונות השרתים.

היזמים ומנהלי הפרויקט מטעם נט-אפ היו המהנדסים ארז רוזנטל ואפרים גרינברג. הפרויקט בוצע  ע”י חברת אלכסנדר שניידר משלב התכנון, הבנייה והביצוע . שמנו דגש רב על חיסכון בהוצאות החשמל ויישמנו במידת האפשר כללים של IT ירוק כגון קירור מים ויישום מודולארי והדרגתי. כמו כן ביצענו  את פרויקט המעבר מחדר המחשב הישן של NetApp .

עיקרי הפרויקט:
240 מ”ר
100 ארונות שרתים (בשלב הסופי)
40 יחידות קירור מים - מבוסס לפי קירור שורה Row cooling
תכנון מודולארי ליישום הדרגתי
מיזוג אוויר מתוכנן לחיסכון בחשמל
KW 7 לארון שרתים בשלב א, 10 KW לארון בשלב הסופי
ניהול כבילה מתקדם
תשתית מים, כבילה וחשמל עילית
ללא רצפה צפה
מעבר החדר  - תוך 36 שעות

שלום אביטן-מנהל תחום Data Center באלכסנדר שניידר:
“האתגר הראשון בהעתקת החווה ובתכנון האתר היה לתמוך בציוד IT מתקדם ומגוון הנדרש על ידי מהנדסי החברה בעת פיתוח מערכות האחסון של הדור החדש”, “סך הכול קיבלנו כ 240 מ”ר לאחסנת מאות שרתים ובצריכה כוללת של קרוב ל 1 מגה-וואט. נבנתה תשתית כבילה עילית, ויושמה צפיפות מחשוב-הספק ( high density computing ) של קרוב ל 10 קילו-וואט לארון שרתים, הרבה מעבר ל 4 קילו-וואט לארון שהוא הגבול הסביר להספק בחדר מחשב רגיל”.

הפרויקט התאפיין בניהול כבילה בצפיפות לא שגרתית.  כבלי נחושת ואופטיקה נפרשו באתר החווה. “לצורך זה התקנו פתרונות ניהול כבילה בצפיפות גבוהה של חברת Panduit והגענו לרמה מאוד גבוהה של נוחות תפעולית למרות עומס הכבילה הרב

ארון שרתים אמור לאחסן ציוד יקר ולאפשר נגישות ושירותיות קלה. היום ברור שבחירת ארון שרתים על סמך מחיר בלבד גובלת בחוסר אחריות מובהק.  30 או 40 שרתי פיצה או 3-4 מארזי להבים עולים עשרות ומאות אלפי דולרים ושוקלים קרוב לטון.  חשוב לבחור ארון שלא רק יענה לצרכים של היום אלא גם של השנים הקרובות:   להלן  קריטריונים לבחירת ארון שרתים

1. משקל – יכול לשאת משקל של 1,200 קילו לפחות
2. דלת מחוררת קדמית עם חרור של 83% משטח הדלת  – לצורך אספקת כמות אוויר מקסימאלית
3. רוחב של 80 ס”מ – בניגוד לרוחב 60 ס”מ שהיה נהוג בעבר. הסיבה – ניהול כבילה מסודר שאינו מפריע לזרימת האוויר
4. עומק –  מומלץ 120 ס”מ.  השרתים נהיים עמוקים יותר ויותר.
5. דלת אחורית מחוררת כפולה – מינימום מקום.
6. פרופילים עם סימון U לצורך התקנה קלה יותר
7. למתקדמים בלבד– עמידות ברעידות אדמה לארונות המיועדים לציוד קריטי
 

אשמח להערות והארות

יגאל

רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDU - Cabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding).  הפתרון מבוסס על CDU של חברת    Server Technology               
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים: 

1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר

 משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.

מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי.  כמו כן יש דיון בנושא יישום נכון של  יתירות ב PDU בפוסט קודם

חג שמח

האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב? 

אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב.  הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל”נפילת” חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים   (Practices)   לא עדכניים.

מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:

1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU  - Power Distribution Unit  ברמת הארון
6. ספקי הכוח של השרתים עצמם

מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 .  לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU. 

כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח.  עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא  נכון.  במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.

בחדר מחשב ברמה 4  ( Tier 4 ) יש שתי מערכות של אספקת  החשמל ובכל מערכת (ענף) מצויים  כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N  וזה גם המחיר:  עלות כפולה. 

בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4  ולכן אין לנו בד”כ יתירות של 2N.  אנו מתפשרים   משיקולי עלות- תועלת ואילוצים אחרים.    

נתמקד אם כך בשיפור היתירות בעלות נמוכה  ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.

במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת.  ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.

ברוב המקרים מותקנים שני PDU בארון.  תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס.  במקרה של כשל  בספק אחד, עובר כל העומס לספק השני.  תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה. 

לדוגמא,  ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו.  ובכן מה הבעיה? 
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל  PDU B . במקרה כזה, PDU B  סופג עומס של 120% והארון נופל.    

נוהגים נכונים:

חוק מס 1:  העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון 

חוק מס’ 2:  העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.

כלומר, אם הנקודה מאפשרת 20A  לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)

מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר.  בישראל קוראים לזה בדרך כלל PDU חכם  (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)

מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים  והנה PDU חדש וחכם במיוחד

לחזרה לבלוג הקליקו כאן

הרעב הבלתי פוסק של התעשייה לכוח מחשובי מביא אותנו להתמודד עם אתגרי תשתית חדשים כגון חום, אספקת חשמל, ניהול כבילה צפוף, רעש ומשקל.

בפוסט הזה אני מעוניין להקדיש מס’ מילים לנושא הרעש.

ארון שרתים יכול להכיל היום כ 42 שרתי “פיצה” או למעלה מ 90 שרתי להב. במעבדות ובחדרי מחשב בהן אנשים עובדים במחיצת המחשבים, ייתכן נזק רב לבריאות העובדים בשל הרעש הנוצר מהמחשבים.
רעש מעל 65 דציבלים נחשב רעש הפוגע באופן משמעותי באיכות החיים, רעש שעוצמתו מעל 70 דציבלים נחשב רעש מזיק, ורעש מעל 60 דציבלים נחשב רעש מפריע.

בחברת אלכסנדר שניידר פיתחנו  פיתרון בדמות ארון שרתים המבודד את רעש המחשבים מהסביבה החיצונית. בהתקנה שביצענו מדדנו ירידה של למעלה מ 20 דציבלים ברמת הרעש מארון שרתים ( מ 70 דציבל לפחות מ 50).

כמו כן, בשיתוף עם חברה ישראלית בשם סילנטיום, פיתחנו ארון שרתים אקוסטי המאפשר לקרר כ KW 6 של ציוד מחשוב ומכשור המייצר רעש נגדי ובכך “מבטל” למעשה את הרעש.

בתמונה, ארון אקוסטי מבוסס קנור עם תוספת פיתוח ישראלי, בזמן תהליך הייצור.  הארון , במקרה זה סופק מחווט ללקוח.

יגאל שניידר

לחזרה לעמוד הבית של הבלוג www.datacenter.org.il

משרד האוצר והצוות בראשות בועז דולב זכו בפרס ה”אוסקר של ה IT ” לשנת 2007 של קבוצת אנשים. הפרס, לקטגורית DRP,  יוענק למשרד האוצר, כמו גם לזוכים האחרים בטקס חגיגי ב 15/12/07.
מדובר בחדר המחשב של תהיל”ה, ממשל זמין, שהוקם על ידי חברת אלכסנדר שניידר. אני מאוד גאה בפרויקט זה משום משדובר בחדר מחשב המתקדם מסוגו בארץ המאחסן כ 1,000 שרתים בשטח של 90 מ”ר ברוטו - מה שקרוי high density servers .  החדר משלב מערכות קירור המספקות 60% חיסכון בעלות חשבון החשמל; צעד גדול בכיוון של חדר מחשב “ירוק”.

 הפתרונות שסיפקנו כוללים ארונות  עם קירור מים אינטגראלי, כבילת נחושת ואופטיקה בצפיפות גבוהה, מערכות PDU מנוהלות, ומטריצות שליטה KVM מסוג Paragon . החדר הוקם כפרויקט TURN KEY ע”י חברת אלכסנדר שניידר שניהלה גם את מעבר חדר המחשב. מידע נוסף על הפרויקט וחדר המחשב, ניתן לראות בפוסט קודם מחודש מאי 2007.

יגאל שניידר

לחזרה לבלוג לחצו כאן

אינטל הודיעה על כוונתה לאחד את 130 חדרי המחשב שלה ברחבי העולם ל 8  מרכזי נתונים בלבד.  לדברי ברנטלי דייויס ,מנהל תהליכי ההתייעלות של חדרי מחשב באינטל, הקונסולידציה של מרכזי הנתונים תאפשר לה להגיע לסטנדרטיזציה מליאה, וירטואליזציה נרחבת, וצפיפות מחשוב (יותר קילו-וואט לארון,  י.ש) גבוהה יותר. 

המטרה: חיסכון באנרגיה, הורדת עלויות ויצירת גמישות תפעולית לצורך מענה מהיר לדרישות הארגון.    

מעניין לראות שהמגמה עליה הצבענו באלכסנדר שניידר כבר לפני 3 שנים של צפיפות המחשוב (high density computing ) ממשיכה לעלות עם מגמת הקונסולידציה.  כדי לחסוך בעלויות, חברות מאחדות חדרי מחשב ובד בבד מנסות להקטין ככל האפשר את גודל החדר. עלות מ”ר של חדר כזה עולה אך החדר קטן יותר וכך קטנה העלות הכוללת (השקעה ראשונית + עלות תפעול שוטף)  וגם (למי שזה חשוב) קטנה הפגיעה באיכות הסביבה.   

לחזרה לראש הבלוג הקליקו כאן

 נדיר בקריירה שלנו לאתר הזדמנויות שבהן הפתרון הטכני הטוב ביותר הוא גם הכלכלי ביותר וגם תורם לאיכות הסביבה. רעיון חדר המחשב ה”ירוק” הוא בדיוק כזה וזהו נדבך מרכזי ב Green IT. 

אני שמח לצרף נייר טכני או כפי שהוא קרוי בד”כ  white paper , שמציג כיצד ניתן לשדרג את חדר המחשב באופן שמוריד את עלות התפעול של החדר לאורך 10 עד 20 שנות חייו.  

להורדת הקובץ בפורמט PDF לחצו כאן

 תודה לידידי, אנשי ה IT , מהנדסי חשמל ומיזוג, מתכננים ומנמ”רים שתרמו בהערות והארות.

לתגובותיכם אודה

יגאל

נניח שמחלקת ה-IT מודיעה לקבוצת התשתיות על כוונתה לרכוש שרתים חדשים במהלך התקופה הקרובה.

כיצד יכולה מחלקת ה-IT לסייע למתכנני תשתיות המיזוג להתכונן כיאות?

דרך אחת היא לבקש מספק הציוד דוח ביצועים של ASHRAE לשרת המדובר (לחצו על הטבלה להגדלה).

ASHREA הוא הארגון האמריקאי למהנדסי חשמל ומיזוג אוויר. זהו ארגון אובייקטיבי, לא למטרות רווח, והוא במידה רבה האורים והתומים של תשתיות חדרי המחשב בעולם.

רוב יצרני ציוד ה-IT מסוגלים לספק דוח זה. הדוח מספק למתכנני המיזוג והחשמל שני נתונים חשובים:

1. פליטת החום של השרת (בוואט)
2. צריכת האוויר של השרת ( ב CFM )

הדוח נותן את הנתונים לשרת ב 3 תצורות- תצורת מקסימום, תצורה טיפוסית, ומינימום. נתונים אלו יאפשרו למתכנני המיזוג להבין היטב את עומס החום שיתווסף לחדר המחשב, לפני שלב ההטמעה.

 לחזרה לראש הבלוג לחצו כאן

אחד מידידי שמנהל אולם מחשב, הביע באוזני תסכול על כך שלמרות שאנשי התשתיות בחברתו הוסיפו כ 30 טון קירור לחדר המחשב שלו, המצב בחוות השרתים השתפר רק באופן מינורי.  ” החדר חם ואני יודע שיהיו לי בעיות” אמר.

ידידי אינו לבד.  בכל מקום מנסים מהנדסי התשתית/הנדסה/בינוי לפתור את בעיית החום בחדרי המחשב ע”י הוספת יחידות קירור. הטעות שבידם היא שהפתרון אינו בהוספת אוויר קר לחדר , אלא בהפרדת אוויר חם וקר ובהולכת האוויר ( air delivery ) הקר אל הארון, ומן הארון אל יחידת המיזוג.

קצת רקע לאנשי ה IT: 
• ספיקת אוויר נמדדת בד”כ ביחידה הנקראת    (CFM ( cubic feet per minute
• שרת להב זקוק ל 105 CFM לכל קילו-וואט, ( בערך 3000 CFM לארון מלא)
• שרת “פיצה” זקוק ל 160 CFM לכל קילוואט  (בערך 4800 CFM לארון מלא
• הגדרה: מחשוב בצפיפות גבוהה – מעל KW 6 בארון
לדוגמא:  כדי לקרר ארון שרתים המלא ב 40 שרתי U1 חדישים  יש צורך ב 2400-4800 CFM

הבעיה: מרצפת מחוררת מסוגלת להעביר לכל היותר כ 550 CFM של אוויר קר לארון.  הבעיה השנייה היא שהשרתים פולטים חום רב שמשתחרר לחלל החדר ואינו מתועל באופן מדויק חזרה ליחידת הקירור. 
 
 ולכן, הוספת יחידות קירור בשיטה הקלאסית תבזבז חשמל רב ותעלה ממון רב אך יעילות השיטה מפוקפקת מאוד למחשוב בצפיפות גבוהה.

הבעיה כפי שאני רואה אותה היא בחוסר התקשורת שבין אנשי ה IT למתכנן המיזוג.  להערכתי, ידידי היה מקבל פתרון טוב יותר לו היה מציב מול מתכנן המיזוג את העובדות הבאות:
1. חדר המחשב נזקק לפתרונות של מחשוב בצפיפות גבוהה ( high density ) - שרתי להב ו U1
2. אני זקוק ל 10 ארונות של שרתי להב עם יכולת של 3000 CFM לכל ארון.

לו היה עושה כך,  מתכנן המיזוג היה מבין שהוספת יחידת קירור של 30 טון-קירור כגון ליברט בקצה החדר היא רעיון נואל.  הפתרון האמיתי הוא HOTZONE כפי שתואר בפוסט קודם.

שנה טובה

לחזרה לראש הבלוג לחצו כאן