Posts tagged ‘Server technology’
תכנון חדרי מחשב וחוות שרתים
זה הסטנדרט המומלץ של אלכסנדר שניידר
למנמ"ר המתכנן את מרכז המחשוב ( datacenter ) החדש של הארגון, יש הזדמנות לנצל נוהגים מתקדמים ( Best Practices ) בתכנון חדרי שרתים, ולשפר את התשתית עליה נשען מערך ה IT תוך חיסכון בעלות כוללת. להלן "עשר הדיברות"
1.TCO – הגדירו את רמת היתירות הנדרשת וחשבו את העלות כוללת ל 10 עד 15 שנים. השקעה ראשונית גדולה במס' אחוזים יכולה לחסוך עשרות אחוזים ב TCO.
2.בחירת השרתים גם על פי צריכת האנרגיה – עלות התפעול (בעיקר אנרגיה חשמלית) של שרת לאורך שלוש שנים גבוהה יותר מעלות השרת עצמו. בחרו בחוכמה שכן השוני בין השרתים הוא משמעותי.
3.וירטואליזציה – שימוש בוירטואליזציה מאפשר חיסכון משמעותי ברכש חומרה ובעלות התפעול של חוות השרתים. עם זאת, צריכת האנרגיה של שרת פיזי שעליו 5-20 שרתים וירטואליים גבוהה משמעותית מבעבר ויש צורך בחשיבה עדכנית בתשתית החשמל ומיזוג האוויר.
4.צפיפות מחשוב גבוהה – העלות הכוללת של חדר שרתים עם צפיפות מחשוב גבוהה ( high density ) נמוכה משמעותית ממרכזי מחשוב המפזרים את המחשוב על שטח רצפה נרחב. עם זאת, נדרשת חשיבה מקצועית וחדשנית להתמודדות עם כבילה צפופה, תשתית חשמל ומיזוג אוויר לצפיפות גבוהה. כדאי להתגבר על הנטייה להיצמד לשיטות עבר – החיסכון הוא משמעותי.
5.מודולאריות בתכנון – השקעה בציוד תשתית לעומס מקסימאלי כבר בתחילת חיי חדר המחשב היא מתכון לבזבוז ולשיתוק היכולת לאמץ טכנולוגיות חדשות עם הזמן. תכנון מודולארי מאפשר מדרוג ההשקעה לאורך שנים ( pay as you grow ) וחיסכון משמעותי ב TCO. מודולאריות מאפשרת גם שימוש אופטימאלי בטכנולוגיות מתקדמות ובמוצרים חדישים.
6. מיזוג אוויר חדשני וממוקד. המיזוג הממוקד מאפשר התמודדות עם כל עומס, חיסכון באנרגיה חשמלית וניצול מיטבי של ההשקעה בתשתית. עם זאת, היזהרו ממוכרנים שממוקדים רק במה שכדאי להם למכור . ישנן מגוון שיטות כגון קירור פנים-ארון, קירור חדר, קירור שורה ולכל אחת מאלו ואריציות שונות. מה נכון? כל פרויקט לגופו על פי הדרישות, הצרכים והאילוצים. טיפ חשוב: בחדרים בהם מיזוג האוויר מבוסס על צ'ילרים: דרשו ממתכנן מיזוג האוויר לתכנן לפי טמפ' מים קרים של לפחות 12 מעלות צלזיוס. רצוי אף יותר. זה יביא לחיסכון עצום בצריכת החשמל ותקבלו הרבה יותר מהמערכות שהתקנתם.
7. הפרדה מוחלטת של אוויר קר ואוויר חם – אחת הסיבות העיקריות לבזבוז העצום במיזוג אוויר ובחשמל בחוות שרתים הוא חוסר ההפרדה בין אוויר קר לחם. שימוש בפנלים עיוורים הוא חובה בסיסית עם החזר השקעה של יומיים בערך. הפרדה בין המעבר הקר למעבר החם יכולה גם היא להביא לחיסכון משמעותי. גם כאן יש כר נרחב של אפשרויות: סגירת מעבר הקר (עם או בלי מערכות קירור מים), סגירת המעבר החם ( רק בשילוב מערכות קירור מים), שיטה היברידית ועוד.
8.ניהול בזמן אמת באמצעות כלי תוכנה – קצת עצוב שהתשתיות הפיזיות של חוות השרתים בישראל מנוהלות בדרך כלל בגיליונות אקסל. קיימים כלי תוכנה ( SPM, DC Track, Power IQ ) קלים לשימוש המאפשרים ניצול מיטבי של ההשקעה בתשתית, הצגת לוח מחוונים ( Dashboard ) בזמן אמיתי והעיקר: יכולת תגובה מהירה לשינויים.
9. מדידה ובקרה – אי אפשר לנהל ולייעל את מה שאינו נמדד. חיישנים וכלי תוכנה מתקדמים מודדים את יעילות צריכת האנרגיה ( PUE ) ומידת השימוש בתשתיות ומאפשרים קבלת החלטות ניהוליות מושכלות. לדוגמא: חישוב קל של החזר השקעה של IT Refresh .
10. הסמכה מבצעית של חדרי שרתים – טבען של תקלות בתכנון וביצוע של חדרי שרתים חדשים, הוא שהן מתגלות זמן רב לאחר העלייה לאוויר עם הצמיחה הטבעית בעומס. תקלות אלו גורמות לזמן דמימה ( downtime ) של חדרי שרתים קריטיים לארגון. ההסמכה המבצעית של אלכסנדר שניידר בוחנת תחת עומס אמיתי את כל מערכות חדר השרתים: מיזוג אוויר, חשמל , יתירות ויעילות אנרגטית. הבדיקה היא באמצעות אמולטורים של חומרה , חיישנים מתקדמים ותוכנת בקרה ייעודית. ההסמכה המבצעית מורידה דרמטית את ההסתברות לתקלות תשתית ומגלה את כל הבעיות לפני הכנסת מערכות האמת של ה IT לחדר השרתים החדש כאשר כל המערכות עדיין באחריות וכל המתכננים והקבלנים עדיין זמינים.
ארגון אשר יישם את עשרת הנוהגים המתקדמים הללו ויפנים את העקרונות שעיצבו אותם, ישפר משמעותית את יכולת חוות השרתים להגיב לצרכי הארגון, ויוכל לחסוך לארגון כספים רבים שישמשו אותו להקצאת משאבים להתעצמות.
אנו מקיימים ימי עיון לעיתים קרובות בנושא תכנון וניהול חדרי שרתים. למעוניינים כתבו לטלי שרון tali@schneider.co.il
10 המגמות המובילות בדטה סנטר ב 2010
מרבית חדרי המחשב נמצאים במצוקה ברמת התשתית הפיזית: בעיות מיזוג אוויר קשות, אספקת חשמל, ניהול כבילה לא מוקפד, משקל כבד ביחס ליכולת הנשיאה של הרצפה, חוסר במקום פיזי, חשבון חשמל צומח במהירות ובעיקר: הניהול נהיה מורכב יותר וקשה יותר.
כתוצאה נראה ב 2010 את 10 המגמות הללו צוברות תאוצה:
1. תוכנות ניהול ל Data Center כדוגמת תוכנת ה DC TRACK של חברת Raritan לניהול חדרי מחשב. תוכנה זו מאפשרת ניהול מקצועי של החדר וניצול מקסימאלי של התשתיות המותקנות. לדוגמא, מנהל חדר המקבל לידיו, נניח, 10 שרתים של U1 הצורכים ביחד KW5, יוכל לקבל בלחיצת כפתור את הנתון הבא: באיזה ארון שרתים בחדר יש מקום פיזי, יש שקעי נחושת פנויים, שקעי אופטיקה פנויים, קיבולת חשמל מתאימה, קיבולת מיזוג אוויר מספיק וכ'.
2. Liquid Cooling : לפני כ 5-6 שנים הצגנו את הטכנולוגיה של הקירור הממוקד לשוק הישראלי. רבים מידידנו אמנם התרשמו מהטכנולוגיה אך הטילו ספק בנחיצותה. היום אנו יכולים לומר מעבר לכל ספק שהטכנולוגיה הזו הגיעה לזרם המרכזי. יש לנו כ 400 מערכות מותקנות בישראל מתוך בערך כ 500 סה"כ.
אפשר להזכיר את חדר המחשב של תהיל"ה, חדר המחשב החדש של בנק ישראל, פרויקט מרשים של חיל הים, אינטל (ראו סרט של אינטל ביו טיוב או בפוסט הקודם), חדרי מחשב ברפאל, בחוות מחשוב עננים של טריפל סי ועוד רבים אחרים.
אך יש שני דגשים חשובים מעבר לנושא High Density . המערכות שאנו ממליצים עליהן מסוגלות לתת ביצועים מצוינים גם בטמפרטורות מים קרים של 16 ואף 18 מעלות (במקום 6 מעלות כנהוג במערכות מיזוג אוויר). כל מעלה מאפשרת חיסכון של 3%-4% בחשבון החשמל.
בנוסף חשוב לבחור במערכות מודולאריות. כאלו שמאפשרות לעלות מ 10kw ל kw 40 ללא קושי.
3. סגירת המעבר הקר: המערכות הזולות ביותר, הן אלו שאנו לא צריכים לרכוש. סגירת המעבר הקר מאפשרת שדרוג אפקטיבי של חדרי מחשב קיימים וניצול מקסימאלי של התשתיות הקיימות. מדובר בסגירה מכאנית של האוויר הקר, שדרוג תוכנה למערכות המיזוג ובמקרים מסוימים החלפת מאווררים ביחידות המיזוג. היתרונות: יכולת מיזוג האוויר אפקטיבית יותר ב 50%. כתבו לי לקבלת עותק מוקדם של whitepaper שכתבנו בנושא.
4. בקרה על צריכת האנרגיה ( PUE ) יותר ויותר ארגונים מודדים את ה PUE . יחס יעילות האנרגיה של התשתית. כדי להשתפר, עלינו לדעת היכן אנו היום.
5. Intelligent RPDU : פסי השקעים המתקדמים הם אבן בנין חשובה וחיונית בחדר המחשב המתקדם. RPDU מאפשרים איסוף מידע בזמן אמיתי של צריכת החשמל ופליטת החום של כל שרת וכל ארון, וקבלת מידע לצורך שימור שרידות ויתירות אמת.
6. ניהול הרצפה הצפה פתרונות כגון Cool Boot ו Kold LOK מונעים בריחת אוויר קר מפתחים לא מבוקרים ברצפה הצפה. מאפשר השבת קיבולת קירור "אבודה".
7. פסי צבירה ( Bus Ways ) כאשר תשתית החשמל מבוססת על כבלים, כל שינוי אורך שבועות וחודשים ומצריך תקציב של עשרות ואף מאות אלפי שקלים. שימוש בפסי צבירה מאפשר למנהלי הדטה סנטר לבצע שינויים באופן מיידי ללא צורך בתקציב נוסף. ראו פוסט קודם בנושא פסי צבירה של Starline .
8. ארונות ייעודיים למתגי תקשורת מתגי סיסקו החדשים מחייבים התייחסות מקצועית גם ברמת התשתית. ביחוד ה ,Nexus 7010, 7018. ארונות ייעודיים של Panduit תוכננו יחד עם סיסקו במיוחד למתגים אלו. היתרון: פתרון לנושא הכבילה ומיזוג האוויר.
9. מדבקות RFID מאפשרות לדעת בכל רגע נתון, בזמן אמיתי, אילו מערכות יש לנו בחדר והיכן הן בדיוק. מוכנות ל AUDIT בכל רגע נתון ואבטחת החומרה.
10. סימולציה ב CFD תוכנה הנדסית אשר מאפשרת בניית מודל טרמי של חדר המחשב והדמייה של תרחישים שונים לבדיקת תכנון מיזוג האוויר, אימות יתירות, אפקטיביות התכנון ובחירה בין אלטרנטיבות. מומלץ מאוד גם לתכנון חדר חדש וגם לתכנון שדרוג.
ארונות שרתים מבוססי קירור מים בבנק ישראל
הדטה סנטר החדש של בנק ישראל נחנך בתחילת חודש אוקטובר בהשתתפות נגיד בנק ישראל סטנלי פישר.
מיזוג האוויר בחוות השרתים של בנק ישראל מבוסס על מערכות קירור שורה CoolLoop של Knurr-Emerson. אלו יחידות המבוססות על קירור מים( KW 30 כ"א ) וממוקמות בין ארונות השרתים. שם המותג הוא coolloop אך השם הגנרי של יחידות אלו הוא DECS אם כי יש כאלו שקוראים להם InRow או Inline.
לטעמי בחירת בנק ישראל במערכות Coolloop של חברת Knurr-Emerson מדגישה את המודעות הגוברת של ארגונים בישראל לחשיבות תכנון וניהול יעיל של חדרי מחשב, תוך מתן דגש על טכנולוגיות "ירוקות" שמביאות לחיסכון משמעותי בהוצאות התפעול. אחד המאפיינים של פרויקטים מסוג זה הוא השימוש במערכות מיזוג אוויר מתקדמות המבוססות על ארונות קירור מים .
טכנולוגיה זו של קירור ממוקד שהצגנו לשוק הישראלי ב 2004, הופכת יותר ויותר לפתרון הנבחר. זאת בשל היכולת לקלוט ולקרר בקלות ארונות מחשוב מתקדם בעל הספקים גבוהים תוך חיסכון משמעותי בחשמל ובשטח רצפה ותוך שיפור שרידות החדר .
בנוסף למערכות מיזוג האוויר הפנימיות, הותקנו בפרויקט זה ארונות שרתים עם מחשבה לעתיד ( למשקל נשיאה של 1500 ק"ג וחירור אופטימאלי של דלתות ל 83% ראו פוסט בנושא best practices לבחירת ארון שרתים ) , ארונות תקשורת של Panduit המיועדים לניהול כבילה מתקדם ומומלצים על ידי סיסקו, מערכות KVM של Raritan וכן פסי שקעים חכמים ( PDU ) עם תוכנות ניהול מתקדמות המאפשרות בקרה על צריכת החשמל בזמן אמיתי .
בשל האיסור לצלם באתר, התמונה המופיעה מעלה היא להמחשה בלבד ולקוחה מאתר אחר בישראל בסדר גודל דומה.
מדדים להתייעלות אנרגטית בחדרי מחשב
כאשר חדרי המחשב צורכים יותר ויותר אנרגיה, ועלות חשבון החשמל נהפכת למרכיב משמעותי מהוצאות התפעול של חדר המחשב ( שמעתי כבר על עד 40% ) , ברור שיש מקום להתייעלות ששכרה הוא חיסכון רב.
התייעלות אנרגטית מאפשרת גם לחדרי IT שהגיעו, לכאורה, לקצה קיבולת התשתית שלהם, להשיב לעצמם קיבולת "אבודה" ולהגיב ביתר קלות לצרכי הארגון.
כמו תמיד, כדי להשתפר, עלינו בראש וראשונה להבין היכן אנו נמצאים היום ואח"כ למדוד את התקדמותנו. כיצד למדוד אם כן את היעילות בצריכת האנרגיה של חדר המחשב ?
ארגון הגריד הירוק הציע שני מדדים: PUE ו DCiE אותם הזכרנו בפוסט קודם. מכון UPTIME (www.uptimeinstitute.org) מציע 4 מדדים לבחינת היעילות האנרגטית של חדר המחשב. שניים מהם מעניינים במיוחד.
SI-POM: סה"כ צריכת הספק של חדר המחשב לחלק בצריכת ההספק של כל ציוד ה IT כפי שהוא נמדד בשקעי החשמל של הציוד (או בפסי השקעים). מתקבל מס' טהור שכן חילקנו וואט ב וואט.
כיצד מודדים? את המונה מדדנו בשעון החשמל של החדר. את המכנה מדדנו על ציוד ה IT (פסי שקעים מתקדמים מספקים נתון זה ).
H-POM: צריכת הספק (AC ) של ציוד ה IT ב וואט כפי שהוא נמדד בשקע החשמל שלו חלקי צריכת הספק DC של רכיבי המחשוב .
כיצד מודדים? את המונה ניתן לקבל מפס שקעים מתקדם המאפשר קבלת נתונים מכל שקע . טכנולוגיה זו נקראת POPS – per outlet power sensing . את המכנה ניתן לקבל מנתוני ציוד ה IT עצמו.
למנהל חדר המחשב שמגרד את פדחתו במבוכה היכן לאתר נתונים אלו מזומנת תשובה מפתיעה. פס השקעים, מה שהיה המוצר הכי פחות מעניין טכנולוגית בסביבת חדר המחשב הפך למוצר היי-טק לכל דבר . פס שקעים ( PDU ) מתקדם מאפשר איסוף והצגת נתונים של צריכת החשמל של כל שרת וכל ארון שרתים. ניתן לגשת ל PDU ב IP , לשלוט על כל שקע בנפרד, לשגר התראות, לוודא יתירות ואף לבצע הסרת עומסים אלגנטית. לגבי הנתונים למדדים שהזכרנו מעלה, פס השקעים המתקדם יאסוף ויבקר את נתוני צריכת האנרגיה של כל ציוד ה IT. לקבלת white paper בנושא זה , כתבו לי.
CDU ( או PDU ): הסרת עומסים חכמה מבטיחה רציפות עסקית
רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDU – Cabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding). הפתרון מבוסס על CDU של חברת Server Technology
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים:
1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר
משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.
מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי. כמו כן יש דיון בנושא יישום נכון של יתירות ב PDU בפוסט קודם
חג שמח
Metered PDU : יישום נכון של יתירות בחדרי המחשב
האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב?
אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב. הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל"נפילת" חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים (Practices) לא עדכניים.
מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:
1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU – Power Distribution Unit ברמת הארון
6. ספקי הכוח של השרתים עצמם
מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 . לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU.
כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח. עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא נכון. במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.
בחדר מחשב ברמה 4 ( Tier 4 ) יש שתי מערכות של אספקת החשמל ובכל מערכת (ענף) מצויים כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N וזה גם המחיר: עלות כפולה.
בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4 ולכן אין לנו בד"כ יתירות של 2N. אנו מתפשרים משיקולי עלות- תועלת ואילוצים אחרים.
נתמקד אם כך בשיפור היתירות בעלות נמוכה ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.
במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת. ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.
ברוב המקרים מותקנים שני PDU בארון. תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס. במקרה של כשל בספק אחד, עובר כל העומס לספק השני. תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה.
לדוגמא, ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו. ובכן מה הבעיה?
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל PDU B . במקרה כזה, PDU B סופג עומס של 120% והארון נופל.
נוהגים נכונים:
חוק מס 1: העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון
חוק מס' 2: העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.
כלומר, אם הנקודה מאפשרת 20A לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)
מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר. בישראל קוראים לזה בדרך כלל PDU חכם (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)
מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים והנה PDU חדש וחכם במיוחד
The Data Center Blog - חדרי מחשב, הקמת אולמות מחשב, חדרי שרתים, חוות שרתים, KVM, ניהול כבילה, UPS, green IT 
