Posts filed under ‘מרכזי נתונים’

FSTS /ATS / STS : מענה לצרכי היתירות של שרתים בעלי ספק כוח אחד

התקנות של שרתים בעלי ספק כוח יחיד עדיין מתבצעות בחדר המחשב של היום, בשל תאימוּת למערכות ותיקות וסוגיות עלות. יש להביא בחשבון התקנים אלה.
מתגי העברה אוטומטיים (Automatic transfer switches) (ATS) ומכשירים למיתוג מתחים
(fail-safe transfer switches) (FSTS) ניזונים משני שקעים ומפיצים חשמל לשרתים בעלי ספק כוח יחיד. אם יש הפרעה בזרם החשמל לאחד מהשקעים מכניסות המתח, מתג ההעברה האוטומטי או מכשיר למיתוג מתחים מעביר את העומס משקע לשקע.

מנהלי חדרים מנוסים רבים נרתעים ממכשירי STS בשל ניסיון עבר לא סימפטי. מכשירי FSTS המודרנים פותרים את בעיות העבר.

כשמחפשים מתג ההעברה האוטומטי או מכשיר למיתוג מתחים, יש להביא בחשבון שני  מאפיינים עיקריים.

• יכולתו של מתג ההעברה האוטומטי או מכשיר למיתוג מתחים להעביר עומסים משני ספקי כוח בעלי פאזות לא מסונכרנות. מתגי העברה שאינם ניחנים במאפיין זה יקרסו כשהעומס יועבר. זו הסיבה שרבים בתעשייה נרתעו בעבר משימוש ב STS .  ישוב לבחור במכשירים מסוג FSTS עם יכולות הזנה מפאזות לא מסונכרנות

• יכולתו של המוצר להפיץ חשמל משני המקורות בו זמנית (ידוע כהתחלקות במקור מתח -infeed sharing). הדבר מפחית את העומס שיש להעביר במקרה של הפסקת חשמל או נפילת מתח (brownout). מאפיין תכנון זה מאפשר להאריך את חיי המוצרים מפני שרק מחצית מהעומס הכולל מועבר והתוצאה היא פחות בלאי על רכיבי המיתוג.

דצמבר 28, 2008 at 8:14 am כתיבת תגובה

כלים לחישוב חשמל

 ערכי צריכת החשמל הנומינליים הכתובים על לוחית ציוד ה IT  הם הגזמה פרועה ביחס לצריכת החשמל בפועל.  זאת משום שהיצרנים מניחים תצורה מליאה עם כל האופציות, עבודה ב 100% ושדרוגים ותוספות עתידיים.  כדי לחשב את צריכת החשמל העתידית של היצרנים מספקים "מחשבונים".  להלן לינקים למחשבונים.

סיסקו
http://tools.cisco.com/cpc/
דל
http://www.dell.com/calc
HP
http://www.hp.com/go/bladesystem/powercalculator
יבמ
http://www.ibm.com/systems/bladecenter/powerconfig
סאן
החברה מספקת מחשבוני כוח אך הללו אינם מרוכזים מיקום בעמוד אחד. ניתן להשתמש באפשרות החיפוש באתר www.sun.com ולהציג את השאילתא "power calculator".

מי שרוצה ללכת "על בטוח" ללא עבודת מחקר יכול לקחת פקטור של 60% מהנומינאלי.

נובמבר 4, 2008 at 1:33 pm כתיבת תגובה

גוגל ויעילות צריכת החשמל בחדרי המחשב

בימים שבהם עלות האנרגיה מתקרבת ל 40% מהוצאות התפעול השוטפות ( OPEX ) של חדרי המחשב, צעדי ייעול שיביאו לחיסכון באנרגיה יביאו גם לחיסכון משמעותי. עם זאת, כדי שנוכל להשתפר, עלינו לדעת בראש וראשונה מהו המצב היום.

ארגון הגריד הירוק טבע את המושג PUE, יחס יעילות האנרגיה. יחס זה מחלק את סה"כ צריכת האנרגיה של חדר  המחשב בצריכת האנרגיה של ציוד ה IT בלבד.

clip_image001

החשמל המסופק לחדר המחשב כולל את האנרגיה המסופקת למערכות החשמל, המיזוג ו IT. אם היחס הוא 2.0 הרי שעל כל וואט שמסופק ל IT, מושקע עוד וואט בתקורה של מערכות חשמל ומיזוג.

בסקר של ה EPA בארה"ב ב 2007 נקבע שהממוצע בארה"ב הוא בסביבות 2.0. בסקר בלתי רשמי שערכה חברתנו, חברת אלכסנדר שניידר ב 14 חדרי מחשב, מצאנו שהיחס בישראל נע בין 2.3 ל 2.8 .

כלומר, על כל שקל של חשמל שמושקע ב IT מבוזבז עוד כ 1.5 ₪ על תקורה של תשתית פיזית.  כלומר, בחדר מחשב בינוני שצריכתו הכוללת היא כ 500 קילו-וואט שעה ( חשבון חשמל של 2,200,000 ש"ח בשנה ) , 60% מהצריכה היא לתקורה.  עלות התקורה הזו היא אם כך 1,314,000 ש"ח בשנה.

שאלה מעניינת היא מהו היחס האידיאלי אליו אנו יכולים לשאוף. סוכנות הגנת הסביבה ( EPA ) בארה"ב קבעה את היעדים הבאים לשנת 2011:

חדר מחשב ממוצע 1.9
חדר מחשב מתקדם 1.7
נוהגים מתקדמים 1.3
חדר מחשב ירוק 1.2

בימים האחרונים חברת גוגל פרסמה לראשונה את מדדי יעילות האנרגיה של שישה חדרי המחשב שלה. מדד ה PUE הממוצע של גוגל הוא 1.21 ! .

בגרף המצורף מפרסמת גוגל את מדד יעילות האנרגיה של חדרי המחשב שלה לאורך 6 חודשים. מעניין לראות שגוגל השיגה כבר את יעדי ה EPA לשנת 2011, יעד שרבים בתעשייה (וביניהם עבדכם הנאמן) פקפקו שהוא בר השגה.

ניתן לראות גם שחדר מחשב אחד משיג תוצאות טובות יותר. חדר זה על פי הרכילות בבלוגים שונים מורכב מקונטיינרים והוא מצטיין ביחס יעילות אנרגיה PUE של 1.13.

קונטיינרים ( data center containers ) הם מכולות שבהם מורכב כל ציוד מיזוג האוויר והחשמל והן מסופקות מוכנות לקליטת שרתים. ניתן להציבם בשטח פתוח, במגרש החנייה או על הגג והם מאפשרים צמיחה של חדר המחשב בן רגע וכן גם ניודו בעת הצורך. גם מיקרוסופט פרסמה שהיא עומדת להקים דר מחשב מורכב מ 150 מכולות בשיקגו. בין החברות שמשווקות פתרונות מעין אלו הם IBM, Sun, Rackable Systems, AST . גילוי נאות: כותב שורות אלו משווק, בין השאר, גם קונטיינרים מזוודים כחדרי מחשב.

אגב, גוגל אינה מפרסמת את מס' השרתים שלה. השמועות מדברות על בין חצי מיליון למיליון שרתים. אך אין ספק שבצעדי התייעלות אלו חסכה גוגל עשרות מיליוני דולרים בהוצאות התפעול , וחסכה פליטות של עשרות אלפי טונות של גזי חממה ומיליוני גלונים של מים.  מה שטוב לגוגל טוב גם לארגונים קטנים.

אוקטובר 15, 2008 at 9:09 am כתיבת תגובה

חדרי מחשב ורעידות אדמה

רבות מדובר על הסיכון של רעידות אדמה ליציבות מבנים.  אני רוצה לדבר על מרכיב חשוב לא פחות והוא עמידות חדרי חדרי מחשב ברעידות אדמה.

חברות התקשורת, הבנקים, שרותי החירום וההצלה, משרדי ממשלה, הצבא – לכולם אולמות מחשב גדולים ובהם מחשבים הקרויים שרתים ומערכות אחסון נתונים. שרתים אלו מאוחסנים בארונות הקרויים ארונות שרתים.

שרותי התקשורת הקוית והסלולרית, שרותי  הבנקאות, הרמזורים, שרותי הבריאות , הביטחון, ההצלה והכיבוי, משרדי ממשלה, עיריות, חברות הייטק ומפעלי תעשייה,  כולם ישותקו במידה רבה אם ייפגעו חדרי המחשב של הארגונים הללו.

בתמונות הללו הלקוחות ממצגת של חברת בואינג בארה"ב, אנו רואים מה קרה בחדרי המחשב של בואינג לאחר רעידת אדמה NISQUALLY בפברואר 2001.  זו הייתה רעידת אדמה  של 6.8 בסולם ריכטר, בעומק 52 ק"מ. בתמונות רואים כיצד ארונות השרתים קרסו ונפלו.  עם זאת, הבניין נשאר עומד ואפילו התקרה האקוסטית במקומה.

image002

image004 

אנו מאמינים שבמקרה של רעידת אדמה דומה בישראל ( בין 6 ל 7 בסולם ריכטר) , מרבית חדרי המחשב באזור הרעש יקרסו, גם אם לא יגרם נזק משמעותי לבנינים בהם הם מאוחסנים. אחת הסיבות לכך היא שארונות השרתים הם כבדים וגבוהים ובדרך כלל מוצבים על רצפה צפה דרכה מועבר אוויר קר החיוני לקירור המחשבים.  הרצפה הצפה הזו תקרוס בעת רעידת אדמה משמעותית ואיתה יקרסו ארונות השרתים.  במקרים בהם מבריגים את הארונות לרצפת הבטון, אותם ארונות עוברים אירוע אלים בזמן רעידת האדמה, כך שארונות רגילים פשוט יתפרקו.

במקרה כזה, יש סיכון שהרמזורים, שרותי הבנקאות, התקשורת, משרדי ממשלה ומערכות ההצלה והביטחון ישותקו.  צפוי גם נזק משמעותי לחומרת מחשבים יקרה.  נתונים חשובים יאבדו. זמן ההתאוששות יכול להיות חודשים.  להערכתנו, הנזק לחומרה יכול להיות במאות מיליונים והנזק למשק במיליארדים.

מדוע אם כך הארגונים  אינם עושים דבר כדי למגן את חדרי המחשב?    הסיבות הן

1.    חוסר מודעות לסיכון
2.    חוסר ידע כיצד למגן את חדרי המחשב
3.    ההנחה המוטעית שהדבר דורש השקעות ענק
4.    ההנחה השגויה שיש לשתק את חדר המחשב לזמן ממושך כדי להתקין את המיגון.  מי שמכיר ארגונים שבהם המידע הוא קריטי יודע שרבים מחויבים לזמינות מידע של 99.999% מהזמן ( 5 תשיעיות) והשבתה אינו דבר שמתקבל על דעתם.

העניין הוא שניתן למגן את ארונות השרתים מפני רעידות אדמה באופן קל יחסית.

הפתרון הוא קל ליישום, אינו עולה ממון רב, וניתן להתקנה גם בזמן שהשרתים עובדים, כלומר ללא השבתה.

המתקן נקרא Isolation Base והוא מאפשר לבודד את השפעות רעידת האדמה מארון השרתים.  גם כשמדובר בארון שרתים סטנדרטי.

בסיס הבידוד נבחן לפי תקן  63-Core   Bellcore האמריקאי ( NEBS ) לפי אזור 4 ( zone 4 ) המחמיר (באיזור זה לדוגמא כלולה קליפורניה) .   הבסיס נבדק ואושר על ידי ה Department of Energy   למרכזי חירום 911.  המבחן מדמה רעידות אדמה עד לעוצמה של 8.3 בסולם ריכטר.

בעת רעידת אדמה, בעוד שהלחץ של ארון השרתים הכבד ( 500-1000 ק"ג) על כל נקודת רצפה צפה יכול לגדול פי 2.5, הרי בשל הבסיס המיוחד, הלחץ על נקודת הרצפה יורד לעשירית.

image006

הבסיס הזה בשימוש במדינות כגון ארה"ב, יפן, טורקיה וטייואן.  חדרי מחשב שבהם הוא הותקן עברו רעידות אדמה קשות ללא הפרעה לתפקודם.

למי שמעוניין ביותר מידע מוזמן לכתוב לי.

אוגוסט 10, 2008 at 9:18 am כתיבת תגובה

כמה עולה מ"ר של חדר מחשב?

כמה עולה מ"ר של חדר מחשב?    ובכן, תלוי אם מחלקים את העלות בכל השטח שכולל שטחי שרות ואת שטח חדר האנרגיה, או רק את שטח ה IT שהוא בערך השטח של הרצפה הצפה.

חדר מחשב ברמה של Tier 4 נבנה בימים אלה בניופורט , ויילס שבאנגליה. מרכז נתונים זה נבנה על ידי NGD ( Next Generation Data Ltd ) ויקרא NGD1 . גודלו כ 37,000 מ"ר והוא יחולק ל 15 חדרים נפרדים כדי לאחסן לפחות 15 לקוחות גדולים שונים. עלות הבנייה היא כ 400 מיליון דולר ( מעל 10,000$ למ"ר). לא נמסר כמה מתוך השטח הזה יהיה ל IT בלבד כלומר כמה יהיה שטח הרצפה הצפה.

אם ננחש שכ 40% משטח המתקן ייוחד לרצפה צפה הרי שמחיר מ"ר יהיה כ 27,000 $.

חדר מחשב ברמה של Tier 3 נבנה בימים אלה על ידי חברת VISI במיניאפוליס בעלות של 19 מיליון דולר. גודל המתקן כ 4600 מ"ר בסה"כ ( $4,000 למ"ר) מתוכו כ כ 1,200  מ"ר יהיה שטח רצפה צפה המיוחד ל IT. אם מודדים לפי פרמטר זה הרי שעלות כל מ"ר היא כ 15,000 $ למ"ר.

אפריל 23, 2008 at 1:12 pm תגובה אחת

CDU ( או PDU ): הסרת עומסים חכמה מבטיחה רציפות עסקית

רציפות עסקית (uptime) או אפס זמן השבתה (zero downtime) היא הגורם המניע החשוב ביותר בתכנון ובהפעלה של מרכזי נתונים כיום, מפני שהעלות של כל דקה שהמערכות מושבתות היא אלפי דולרים. חברות המפעילות מרכזי נתונים ברמה 3 וברמה 4 מחזיקות גם באתרים מרוחקים וגם באתרים משותפים (co-location facilities) שרתים אשר חיוניים לתפקודה השוטף לא פחות מהשרתים הממוקמים באתר הראשי. כדי להבטיח רציפות עסקית יש צורך בפתרונות חדשים וחדשניים. אחד הפתרונות הוא יחידות חכמות לחלוקת זרם בארון (CDUCabinet Power Distribution Units) שיכולות לספק יכולת הסרת עומסים חכמה (Smart Load Shedding).  הפתרון מבוסס על CDU של חברת    Server Technology               
הסרת עומסים חכמה מאפשרת למפעיל להסיר עומסים על סמך שלושה משתנים תפעוליים חשובים: 

1) האם האל-פסק פועל מהמצברים
2) הטמפרטורה בארון עולה מעל המותר
3) העומס הנוכחי עולה על המותר

 משתני המפתח הללו מאפשרים למשתמש לקבוע מראש אילו מכשירים אינם חיוניים לפעילות השוטפת, להסיר אותם במקרים שמתעוררת בעיה ובכך להבטיח רציפות עסקית ולהגן על המכשירים החיוניים שבתוך הארון.

מי שמעונין ב white paper המלא שכתבנו בנושא זה מוזמן לכתוב לי ל yigals@schneider.co.il ואשלח לו / לה במיידי.  כמו כן יש דיון בנושא יישום נכון של  יתירות ב PDU בפוסט קודם

חג שמח

אפריל 21, 2008 at 3:01 pm כתיבת תגובה

חדר מחשב במכולה (קונטיינר)

בהרצאת הפתיחה של כנס AFCOM בלאס וגאס נאם מייקל מאנוס, דיירקטור לשרותי דטה-סנטר של מייקרוסופט. שלושה דברים הדהימו אותי בהרצאה שלו:

1. מאנוס סיפר שמיקרוסופט מוסיפה כ 12,000 (שנים עשר אלף) שרתים בחודש.  אף אחד בקהל לא הניד עפעף. לפני מס' שנים היינו היינו שולחים אדם שמצהיר על מספרים כאלו להסתכלות.  היום זה כבר מובן מאליו.  השמועות מספרות שגוגל למשל מוסיפה כ 25,000 שרתים בחודש.

2. מאנוס תיאר את הפרוייקט הבא של מיקרוסופט בתחום חדרי המחשב.  חדר מחשב ענק זה ייבנה כעיר מכולות, לא כבניין בטון.  כלומר, ציוד מחשוב חדש יתווסף במכולות שיכילו מס' כלשהו של ארונות שרתים מזוודים, מחווטים ומוכנים להפעלה.  גילוי נאות: כמי שמקדם את נושא חדרי המחשב הניידים בארץ, שמחתי לקבל חיזוק כה משמעותי.  לפרטים על מכולות חדרי המחשב ראו      

3. מיקרוסופט הגיעו להשגים מדהימים ביעילות האנרגיה של חדרי המחשב על ידי שימוש בנוהגים מתקדמים.  יעילות זו נמדדת ביחס פשוט.  לוקחים את קריאת מונה החשמל המסופק לכלל החדר (ל IT, מיזוג ותשתיות)  ומחלקים את החשמל המסופק לציוד ה IT בלבד ( קריאת ה UPS ).  יחס זה נקרא PUE ( הגריד הירוק) או EER על ידי ה Uptime Institute .

  

אפריל 5, 2008 at 3:24 am כתיבת תגובה

Metered PDU : יישום נכון של יתירות בחדרי המחשב

האם ספקי כוח כפולים בשרת משפרים את שרידות חדר המחשב? 

אספקת חשמל היא יסוד בסיסי בתשתית חדר המחשב.  הפסקת חשמל, או מערכת חשמל באיכות ירודה היא הסיבה העיקרית ל"נפילת" חדרי המחשב. לעיתים קרובות, קריסת מערכות החשמל של החדר מתקיימת לא בעת הפסקת חשמל אלא כתוצאה מטעות מקומית או תכנונית, אך בעיקר בשימוש בנוהגים   (Practices)   לא עדכניים.

מערכת אספקת החשמל של חדר המחשב מורכבת משש רמות:

1. הגריד – חברת החשמל וארון מרכזי
2. גנראטור גיבוי ומתג העברה אוטומטי ( ATS )
3. מערכת גיבוי אל פסק ( UPS ) ומתג BYPASS
4. ארון החשמל
5.PDU  – Power Distribution Unit  ברמת הארון
6. ספקי הכוח של השרתים עצמם

מנהלי אולם המחשב בדרך כלל אינם מעורבים ב 4 הרמות הראשונות, אך יש להם אחריות למדיניות ויישום של רמות 5 ו 6 .  לא מעט נפילות מביכות מתרחשות כתוצאה ישירה מיישום שגוי של ה PDU. 

כמעט לכל השרתים הנמכרים היום יש שני ספקי כוח.  עובדה זו יכולה לשפר מאוד את זמינות המידע אם היישום הפיזי הוא  נכון.  במקרים רבים, בשל יישום שגוי, שני ספקי כוח אינם מוסיפים ערך כלל ויתרון זה מתבזבז או אף הופך לחיסרון.

בחדר מחשב ברמה 4  ( Tier 4 ) יש שתי מערכות של אספקת  החשמל ובכל מערכת (ענף) מצויים  כל 6 המרכיבים שהוזכרו מעלה. כל ענף יכול לתמוך ב 100% מצרכי החדר. זוהי יתירות של 2N  וזה גם המחיר:  עלות כפולה. 

בשל שיקולי עלות, מעטים חדרי המחשב של Tier 4  ולכן אין לנו בד"כ יתירות של 2N.  אנו מתפשרים   משיקולי עלות- תועלת ואילוצים אחרים.    

נתמקד אם כך בשיפור היתירות בעלות נמוכה  ובדרכים שאפשריות לנו כמנהלי אולמות המחשב ליישם בקלות ובמהירות כלומר בסעיפים 5 ו 6.

במקרים בהם מותקן PDU אחד ברמת הארון, הרי שהיתירות מוגבלת רק למקרה של כשל באחד מספקי הכוח של השרת.  ברור שזו לא חוכמה גדולה וזה גם לא מקרה מעניין.

ברוב המקרים מותקנים שני PDU בארון.  תקוותנו השלמה היא שכל ספק כוח מחובר ל PDU אחר. במקרים כאלו כל ספק כוח עובד ב 50% מהעומס.  במקרה של כשל  בספק אחד, עובר כל העומס לספק השני.  תצורה זו נוטעת במנהל החדר תחושה של בטחון בזכות היתירות. עם זאת, רבים אינם מודעים לנוהגים הנכונים ( best practices ) ומיישמים זאת בצורה לא נכונה. 

לדוגמא,  ראיתי מקרים רבים בהם ה PDU מועמס ל 60% מיכולתו.  ובכן מה הבעיה? 
הבעיה היא שבמקרה של כשל בענף A, כל העומס מועבר ל  PDU B . במקרה כזה, PDU B  סופג עומס של 120% והארון נופל.    

נוהגים נכונים:

חוק מס 1:  העומס על שני ה PDU ( ביחד) בארון צריך להיות לא יותר מ 80% מהעומס המקסימאלי של הארון 

חוק מס' 2:  העומס המקסימלי על כל PDU צריך להיות לא יותר מ 40% מהעומס המקסימאלי של הארון.

כלומר, אם הנקודה מאפשרת 20A  לארון , כל PDU יכול להיות מועמס ל 8A לכל היותר , ושניהם ביחד 16A ( כלומר 80% מ 20A)

מומלץ מאוד להתקין PDU שהוא Metered , כלומר ניתן לראות מהו העומס על ה PDU באמפר.  בישראל קוראים לזה בדרך כלל PDU חכם  (להבדיל מ PDU מנוהל שמאפשר גם כיבוי והדלקה מרחוק)

מומלץ מאוד לבחור ב Meterd PDU (חכם) שמאפשר גישה מרחוק דרך IP ולקבל התראות ב SNMP במקרה והעומס עובר את רמת הסף המותרת. זה מוריד מאוד את עומס העבודה הכרוך בפיקוח על נושא זה ומשפר מאוד את אמינות חדר המחשב. דוגמאות לפסי שקעים חכמים ומנוהלים  והנה PDU חדש וחכם במיוחד

לחזרה לבלוג הקליקו כאן

פברואר 27, 2008 at 9:28 am כתיבת תגובה

ניהול כבילה בחדרי תקשורת

האתגר של ניהול מקצועי של הכבילה, נהיה קשה יותר עם צפיפות המחשבים ( high density ) .  ראו תמונות של כבילה בחדרי מחשב ותקשורת ברחבי העולם.    תמונות אלו הורדו מהאינטרנט ואינן של אתרים בארץ. מזכיר לכם משהו?

 ספגטי 1

 ספגטי 2
 

 ספגטי 3

 ניהול כבילה בעייתי

 ספגטי של כבלים

לחזרה לבלוג

יגאל שניידר

ינואר 29, 2008 at 3:02 pm כתיבת תגובה

שיכוך הרעש בארונות שרתים

הרעב הבלתי פוסק של התעשייה לכוח מחשובי מביא אותנו להתמודד עם אתגרי תשתית חדשים כגון חום, אספקת חשמל, ניהול כבילה צפוף, רעש ומשקל.

בפוסט הזה אני מעוניין להקדיש מס' מילים לנושא הרעש.

ארון שרתים יכול להכיל היום כ 42 שרתי "פיצה" או למעלה מ 90 שרתי להב. במעבדות ובחדרי מחשב בהן אנשים עובדים במחיצת המחשבים, ייתכן נזק רב לבריאות העובדים בשל הרעש הנוצר מהמחשבים.
רעש מעל 65 דציבלים נחשב רעש הפוגע באופן משמעותי באיכות החיים, רעש שעוצמתו מעל 70 דציבלים נחשב רעש מזיק, ורעש מעל 60 דציבלים נחשב רעש מפריע.

בחברת אלכסנדר שניידר פיתחנו  פיתרון בדמות ארון שרתים המבודד את רעש המחשבים מהסביבה החיצונית. בהתקנה שביצענו מדדנו ירידה של למעלה מ 20 דציבלים ברמת הרעש מארון שרתים ( מ 70 דציבל לפחות מ 50).

כמו כן, בשיתוף עם חברה ישראלית בשם סילנטיום, פיתחנו ארון שרתים אקוסטי המאפשר לקרר כ KW 6 של ציוד מחשוב ומכשור המייצר רעש נגדי ובכך "מבטל" למעשה את הרעש.

בתמונה, ארון אקוסטי מבוסס קנור עם תוספת פיתוח ישראלי, בזמן תהליך הייצור.  הארון , במקרה זה סופק מחווט ללקוח.

ארון עם בידוד אקוסטי תוצרת חב’ אלכסנדר שניידר

יגאל שניידר

לחזרה לעמוד הבית של הבלוג www.datacenter.org.il

 

ינואר 12, 2008 at 7:49 pm כתיבת תגובה

פוסטים ישנים יותר פוסטים חדשים יותר


פידים

הבלוג הוקם ומנוהל בסיוע: