יום ראשון, 24 באפריל 2011

מגמה חשובה בעולם ה-BI/DW

מאמר שכתבתי בנושא Big Data ו DW Appliances התפרסם בדמרקר:

לכולם ברור כי כמות הנתונים עמם ארגונים נאלצים להתמודד גדלה בכל שנה. הנה כמה מספרים המדגימים את הקושי: כמות הנתונים גדלה בכ50% בכל שנה, כאשר בשנים הקרובות שיעור הצמיחה יהיה גדול אף יותר, בשל הרצון להכניס למחסני הנתונים גם מידע בלתי מובנה, מעולם האינטרנט ורשתות חברתיות. במקביל, בסקר של MIT, 60% ממנהלים ציינו כי כמות המידע שעומד לרשותם גדולה מדי מכדי להתבסס עליו לצורך קבלת החלטות.

לתופעת הגדילה האקספוננציאלית של נתונים בארגונים קוראים כיום בספרות "big data" וזהו גם אחד הנושאים במחקר בתחומי ה-BI, למשל. בעקבות זאת, עלה טרנד חדש בעולם ניהול ואחסון הנתונים: קופסאות ענק (Appliances) שמנהלות כמות אדירה של נתונים. קופסאות אלה יחליפו את בסיסי הנתונים הקלאסיים המרכיבים כיום את מחסני המידע. הן מורכבות בתצורת "קופסאות שחורות", שמכילות חומרה, יכולות עיבוד נתונים מתקדמות (in memory processing, parallel computing, column-based computing), רכיבי ETL ואינטגרציית נתונים, וכן יכולות אנליטיות מובנות. הביצועים של קופסאות אלו הם מצויינים (פי 10-עד פי 100 מאלה של DW "קלאסיים").

היתרונות שבאימוץ קופסאות אלה - חוויית משתמש טובה, ביצועים טובים ולכאורה (אם נשארים "בתוך גבולות הקופסה") - עלויות תחזוקה נמוכות ו-time to market מהיר. חשוב לשים לב גם לחסרונות - העיקרית שבהן הגדלת התלות בספק מחשוב. בדומה לעידן ה-MF, בו ארגונים קנו קופסה באופן די דומה, בעידן ה-APPLIANCES אנו קונים הכל מספק אחד. לכן חשוב לנסות ולהגביל תלות זו עד כמה שניתן, לדוגמה - על ידי הכללת סעיפים לגבי רכש עתידי בחוזה.

ואכן, ספקים מזדרזים להיכנס לתחום ולבסס על מיקומם כמובילים - אורקל, יבמ, סאפ, EMC, HP ועוד, לצד ספקים ותיקים בתחום - טרהדטה, TM1 של יבמ. כמו כן, בשנה האחרונה שמענו על רכישות רבות בתחום והכרזות על מוצרים חדשים.

הקופסאות החדשות יהוו גם אתגר עבור החלוקה המבנית של מחלקות ה- IT. עד כה, מחלקות אלו עבדו בראייה של צוותים ולא בצורה רוחבית: צוות תשתיות, צוות אפליקציות, צוות אינטגרציה וכו'. אך מה קורה כשצריך לנהל וליישם קופסה שמכילה את כל שלושת רכיבים אלה? תחת איזה צוות הנושא יושב? האם יהיו צוותים חוצי תחומים שיטפלו ב-DW, ERP, CRM? מה זה אומר לגבי הכישורים הנדרשים מעובדי IT?

בעולם ה-BI, למשל, שבו ישנה הפרדה ברוב הארגונים בין צוות ה-BI ובין ה-DBAs, שיושבים תחת מחלקת התשתיות ומספקים שירותים לצוות ה-BI, כבר יש סימנים של שינוי. אם ניקח, לדוגמה, ספק APPLIANCE ותיק ומוכר - NCR TERADATA, נראה שבארגונים המפעילים טכנולוגיה זו כבר קיים שילוב: בד"כ ה-DBA של DW מבוסס טרהדטה, יושב במחלקת ה-BI ולא במחלקת תשתיות. זאת, לעומת ארגון בו ה-DW מבוסס אורקל/מיקרוסופט, בו ה-DBA יושב במחלקת תשתיות, שכן מדובר ביכולת כלל ארגונית ולא ספציפית לעולם ה-DW.

אין תגובות: