הצגת רשומות עם תוויות DW. הצג את כל הרשומות
הצגת רשומות עם תוויות DW. הצג את כל הרשומות
יום ראשון, 24 באפריל 2011
מגמה חשובה בעולם ה-BI/DW
מאמר שכתבתי בנושא Big Data ו DW Appliances התפרסם בדמרקר:
לכולם ברור כי כמות הנתונים עמם ארגונים נאלצים להתמודד גדלה בכל שנה. הנה כמה מספרים המדגימים את הקושי: כמות הנתונים גדלה בכ50% בכל שנה, כאשר בשנים הקרובות שיעור הצמיחה יהיה גדול אף יותר, בשל הרצון להכניס למחסני הנתונים גם מידע בלתי מובנה, מעולם האינטרנט ורשתות חברתיות. במקביל, בסקר של MIT, 60% ממנהלים ציינו כי כמות המידע שעומד לרשותם גדולה מדי מכדי להתבסס עליו לצורך קבלת החלטות.
לתופעת הגדילה האקספוננציאלית של נתונים בארגונים קוראים כיום בספרות "big data" וזהו גם אחד הנושאים במחקר בתחומי ה-BI, למשל. בעקבות זאת, עלה טרנד חדש בעולם ניהול ואחסון הנתונים: קופסאות ענק (Appliances) שמנהלות כמות אדירה של נתונים. קופסאות אלה יחליפו את בסיסי הנתונים הקלאסיים המרכיבים כיום את מחסני המידע. הן מורכבות בתצורת "קופסאות שחורות", שמכילות חומרה, יכולות עיבוד נתונים מתקדמות (in memory processing, parallel computing, column-based computing), רכיבי ETL ואינטגרציית נתונים, וכן יכולות אנליטיות מובנות. הביצועים של קופסאות אלו הם מצויינים (פי 10-עד פי 100 מאלה של DW "קלאסיים").
היתרונות שבאימוץ קופסאות אלה - חוויית משתמש טובה, ביצועים טובים ולכאורה (אם נשארים "בתוך גבולות הקופסה") - עלויות תחזוקה נמוכות ו-time to market מהיר. חשוב לשים לב גם לחסרונות - העיקרית שבהן הגדלת התלות בספק מחשוב. בדומה לעידן ה-MF, בו ארגונים קנו קופסה באופן די דומה, בעידן ה-APPLIANCES אנו קונים הכל מספק אחד. לכן חשוב לנסות ולהגביל תלות זו עד כמה שניתן, לדוגמה - על ידי הכללת סעיפים לגבי רכש עתידי בחוזה.
ואכן, ספקים מזדרזים להיכנס לתחום ולבסס על מיקומם כמובילים - אורקל, יבמ, סאפ, EMC, HP ועוד, לצד ספקים ותיקים בתחום - טרהדטה, TM1 של יבמ. כמו כן, בשנה האחרונה שמענו על רכישות רבות בתחום והכרזות על מוצרים חדשים.
הקופסאות החדשות יהוו גם אתגר עבור החלוקה המבנית של מחלקות ה- IT. עד כה, מחלקות אלו עבדו בראייה של צוותים ולא בצורה רוחבית: צוות תשתיות, צוות אפליקציות, צוות אינטגרציה וכו'. אך מה קורה כשצריך לנהל וליישם קופסה שמכילה את כל שלושת רכיבים אלה? תחת איזה צוות הנושא יושב? האם יהיו צוותים חוצי תחומים שיטפלו ב-DW, ERP, CRM? מה זה אומר לגבי הכישורים הנדרשים מעובדי IT?
בעולם ה-BI, למשל, שבו ישנה הפרדה ברוב הארגונים בין צוות ה-BI ובין ה-DBAs, שיושבים תחת מחלקת התשתיות ומספקים שירותים לצוות ה-BI, כבר יש סימנים של שינוי. אם ניקח, לדוגמה, ספק APPLIANCE ותיק ומוכר - NCR TERADATA, נראה שבארגונים המפעילים טכנולוגיה זו כבר קיים שילוב: בד"כ ה-DBA של DW מבוסס טרהדטה, יושב במחלקת ה-BI ולא במחלקת תשתיות. זאת, לעומת ארגון בו ה-DW מבוסס אורקל/מיקרוסופט, בו ה-DBA יושב במחלקת תשתיות, שכן מדובר ביכולת כלל ארגונית ולא ספציפית לעולם ה-DW.
לכולם ברור כי כמות הנתונים עמם ארגונים נאלצים להתמודד גדלה בכל שנה. הנה כמה מספרים המדגימים את הקושי: כמות הנתונים גדלה בכ50% בכל שנה, כאשר בשנים הקרובות שיעור הצמיחה יהיה גדול אף יותר, בשל הרצון להכניס למחסני הנתונים גם מידע בלתי מובנה, מעולם האינטרנט ורשתות חברתיות. במקביל, בסקר של MIT, 60% ממנהלים ציינו כי כמות המידע שעומד לרשותם גדולה מדי מכדי להתבסס עליו לצורך קבלת החלטות.
לתופעת הגדילה האקספוננציאלית של נתונים בארגונים קוראים כיום בספרות "big data" וזהו גם אחד הנושאים במחקר בתחומי ה-BI, למשל. בעקבות זאת, עלה טרנד חדש בעולם ניהול ואחסון הנתונים: קופסאות ענק (Appliances) שמנהלות כמות אדירה של נתונים. קופסאות אלה יחליפו את בסיסי הנתונים הקלאסיים המרכיבים כיום את מחסני המידע. הן מורכבות בתצורת "קופסאות שחורות", שמכילות חומרה, יכולות עיבוד נתונים מתקדמות (in memory processing, parallel computing, column-based computing), רכיבי ETL ואינטגרציית נתונים, וכן יכולות אנליטיות מובנות. הביצועים של קופסאות אלו הם מצויינים (פי 10-עד פי 100 מאלה של DW "קלאסיים").
היתרונות שבאימוץ קופסאות אלה - חוויית משתמש טובה, ביצועים טובים ולכאורה (אם נשארים "בתוך גבולות הקופסה") - עלויות תחזוקה נמוכות ו-time to market מהיר. חשוב לשים לב גם לחסרונות - העיקרית שבהן הגדלת התלות בספק מחשוב. בדומה לעידן ה-MF, בו ארגונים קנו קופסה באופן די דומה, בעידן ה-APPLIANCES אנו קונים הכל מספק אחד. לכן חשוב לנסות ולהגביל תלות זו עד כמה שניתן, לדוגמה - על ידי הכללת סעיפים לגבי רכש עתידי בחוזה.
ואכן, ספקים מזדרזים להיכנס לתחום ולבסס על מיקומם כמובילים - אורקל, יבמ, סאפ, EMC, HP ועוד, לצד ספקים ותיקים בתחום - טרהדטה, TM1 של יבמ. כמו כן, בשנה האחרונה שמענו על רכישות רבות בתחום והכרזות על מוצרים חדשים.
הקופסאות החדשות יהוו גם אתגר עבור החלוקה המבנית של מחלקות ה- IT. עד כה, מחלקות אלו עבדו בראייה של צוותים ולא בצורה רוחבית: צוות תשתיות, צוות אפליקציות, צוות אינטגרציה וכו'. אך מה קורה כשצריך לנהל וליישם קופסה שמכילה את כל שלושת רכיבים אלה? תחת איזה צוות הנושא יושב? האם יהיו צוותים חוצי תחומים שיטפלו ב-DW, ERP, CRM? מה זה אומר לגבי הכישורים הנדרשים מעובדי IT?
בעולם ה-BI, למשל, שבו ישנה הפרדה ברוב הארגונים בין צוות ה-BI ובין ה-DBAs, שיושבים תחת מחלקת התשתיות ומספקים שירותים לצוות ה-BI, כבר יש סימנים של שינוי. אם ניקח, לדוגמה, ספק APPLIANCE ותיק ומוכר - NCR TERADATA, נראה שבארגונים המפעילים טכנולוגיה זו כבר קיים שילוב: בד"כ ה-DBA של DW מבוסס טרהדטה, יושב במחלקת ה-BI ולא במחלקת תשתיות. זאת, לעומת ארגון בו ה-DW מבוסס אורקל/מיקרוסופט, בו ה-DBA יושב במחלקת תשתיות, שכן מדובר ביכולת כלל ארגונית ולא ספציפית לעולם ה-DW.
יום ראשון, 19 ביולי 2009
ממצא מפתיע לטובה - מבנה מחלקות הBI בישראל הרבה יותר טוב מאשר בחו"ל
בתחום ה-IT אנחנו רגילים להגיד שישראל מפגרת אחרי ארגונים גדולים בארה"ב ובאירופה, העובדה שארגונים כאן בסדרי גודל יותר קטנים משפיעה על אופי היוזמות כמעט בכל תחום IT. אבל יש גם יתרון לעובדה זו, למשל בתחום הBI מבנה המחלקות ואופי יוזמות ה-BI יותר טוב בישראל בהשוואה לארגונים בינלאומיים. הסיבה היא פשוטה, בגלל שארגונים יותר קטנים, לרוב יש מישהו שמסתכל מרכזית על פרויקטי ה-BI, וגם אם קיימים כמה צוותים, הם ברוב המקרים (75% מארגוני enterprises בישראל, ליתר דיוק) יושבים ארגונית תחת מחלקה אחת בתוך אגף מערכות מידע, מחלקת BI. עוד על מאפייני מחלקת ה-BI בישראל תוכלו לקרוא כאן.
לעומת זאת, בחברות בינלאומיות גדולות קיימת בעייה ידועה של "איי BI" המתקיימים במקביל, צוותי BI שונים ללא תיאום משמעותי ביניהם, וחוסר סטנדרטים. התוצאה הנה חוסר שיתוף בידע לגבי פרויקטי BI דומים, המצאת הגלגל מחדש, וקיומם של כלי BI רבים תחת אותה קטגוריה (סביר מאוד למצוא 3-4 כלי Reporting שונים, 2-3 כלי OLAP, 1-2 כלי Data Mining וכד'). בשנים האחרונות אותם ארגונים בינלאומיים שחיים עם "שגרת איי ה-BI" עוסקים בפרויקטי BI Consolidation שמשמעותם לאו דווקא בניית Enterprise Data Warehouse אחד, אלא בניית ארכיטקטורה, התוויית מדיניות, קביעת סטנדרטים של כלים טכנולוגיים (צמצום מסדר גודל של כ-7 כלים שונים ל-3 כלים שונים), וכן – באזוורד חדש עליו מדובר כמעט בכל מחקר הסוקר מגמות BI: ה-BICC.
BICC – Business Intelligence Competence Center
קיימות מספר הגדרות שונות ל-BICC, אך הרעיון הוא שגוף זה אחראי על הסתכלות מרכזית על תחום ה-BI בארגון, הבנת הדרישות העסקיות, תיעדוף, והעברתם למחלקת הפיתוח של ה-BI שמתקיימת כגוף נפרד. יש הגורסים כי תפקיד ה-BICC ממשיך גם לנושא ההטמעה של יוזמות ה-BI בארגון, וכגוף המרכז את דרישות ה-BI של ההנהלה הבכירה.
בישראל חלק מהארגונים מביעים התעניינות ב-BICC (במיוחד הגדולים יותר, או אלה המקיימים מבנה יותר מבוזר). אולם אנו גם נתקלים לא מעט בארגונים שמרימים גבה לשמע תפקיד מחלקת ה-BICC שזוכה להרבה תשומת לב "באזוורדית" כרגע ולא מבינים על מה ההתלהבות – "הרי זה מה שמחלקת ה-BI שלנו עשתה מאז ומתמיד".
לסיכום, בישראל לפחות ארגונים יש צורך בפונקציית ה-BICC, לרובם קיים סטנדרט מסוים של כלים (לרוב ניתן יהיה למצוא 2-4 כלים שונים בארגון, ולא 7-8), קיים שיתוף ידע בגלל העובדה שצוות/י ה-BI יושב/ים תחת אותה מחלקה, ולרוב מחלקה זו מקיימת קשר הדוק עם המחלקות העסקיות.
כך שבסה"כ ניתן להתנחם בעובדה שלעתים דווקא העובדה שארגונים ישראליים יותר קטנים מאפשרת להם להיות יותר יעילים.
לעומת זאת, בחברות בינלאומיות גדולות קיימת בעייה ידועה של "איי BI" המתקיימים במקביל, צוותי BI שונים ללא תיאום משמעותי ביניהם, וחוסר סטנדרטים. התוצאה הנה חוסר שיתוף בידע לגבי פרויקטי BI דומים, המצאת הגלגל מחדש, וקיומם של כלי BI רבים תחת אותה קטגוריה (סביר מאוד למצוא 3-4 כלי Reporting שונים, 2-3 כלי OLAP, 1-2 כלי Data Mining וכד'). בשנים האחרונות אותם ארגונים בינלאומיים שחיים עם "שגרת איי ה-BI" עוסקים בפרויקטי BI Consolidation שמשמעותם לאו דווקא בניית Enterprise Data Warehouse אחד, אלא בניית ארכיטקטורה, התוויית מדיניות, קביעת סטנדרטים של כלים טכנולוגיים (צמצום מסדר גודל של כ-7 כלים שונים ל-3 כלים שונים), וכן – באזוורד חדש עליו מדובר כמעט בכל מחקר הסוקר מגמות BI: ה-BICC.
BICC – Business Intelligence Competence Center
קיימות מספר הגדרות שונות ל-BICC, אך הרעיון הוא שגוף זה אחראי על הסתכלות מרכזית על תחום ה-BI בארגון, הבנת הדרישות העסקיות, תיעדוף, והעברתם למחלקת הפיתוח של ה-BI שמתקיימת כגוף נפרד. יש הגורסים כי תפקיד ה-BICC ממשיך גם לנושא ההטמעה של יוזמות ה-BI בארגון, וכגוף המרכז את דרישות ה-BI של ההנהלה הבכירה.
בישראל חלק מהארגונים מביעים התעניינות ב-BICC (במיוחד הגדולים יותר, או אלה המקיימים מבנה יותר מבוזר). אולם אנו גם נתקלים לא מעט בארגונים שמרימים גבה לשמע תפקיד מחלקת ה-BICC שזוכה להרבה תשומת לב "באזוורדית" כרגע ולא מבינים על מה ההתלהבות – "הרי זה מה שמחלקת ה-BI שלנו עשתה מאז ומתמיד".
לסיכום, בישראל לפחות ארגונים יש צורך בפונקציית ה-BICC, לרובם קיים סטנדרט מסוים של כלים (לרוב ניתן יהיה למצוא 2-4 כלים שונים בארגון, ולא 7-8), קיים שיתוף ידע בגלל העובדה שצוות/י ה-BI יושב/ים תחת אותה מחלקה, ולרוב מחלקה זו מקיימת קשר הדוק עם המחלקות העסקיות.
כך שבסה"כ ניתן להתנחם בעובדה שלעתים דווקא העובדה שארגונים ישראליים יותר קטנים מאפשרת להם להיות יותר יעילים.
יום שבת, 20 ביוני 2009
מצגת בנושא MDM
הנה לינק למצגת שהעברתי בשבוע שעבר בנושא MDM. נושאי המצגת:
- הגדרת המונח MDM - מהן המטרות העסקיות והטכנולוגיות?
- תועלות
- תצורות היישום השונות של MDM HUB
- מודל 5 רמות בשלות של MDM
- מציאות הMDM בישראל
- המלצות
יום שלישי, 26 במאי 2009
הפרדוקס בתחום ה-BI
"BI הנו תחום החשוב ביותר ל 2009" זהו משפט ששמענו הרבה מארגוני enterprise בישראל לאחרונה. הקיצוצים בתקציב הובילו לפחות פרויקטי IT חדשים ויותר התמקדות בדברים הקיימים. פרויקטי BI במובן הזה הם "קלאסיים" – עוזרים להוציא יותר ערך ממערכות קיימות, ועוד סיבה חשובה: לרוב הארגונים יש כבר לא מעט כלי BI, ויש מחלקת BI פנימית, כך שניתן בעלויות צנועות למדי לבצע פרויקטי "הרחבת BI ליותר משתמשים בארגון.
אלא שהעלאת תחום הBI לראש סדר העדיפות לאו דווקא אומרת הגדלת תקציב ה-BI. רוב הארגונים מדברים על ניסיונות לקצץ בעלויות ה-BI הקיימות, מה שיאפשר להרחיב את השירותים ליותר גורמים בארגון. בנוסף, כיום ארגונים משלמים אחוזי התחזוקה שנראים להם גבוהים ממילא לעומת מה שהם מקבלים. חלק מהספקים מייקרים כעת את אחוזי התחזוקה מה שמחזק את הרצון לחסוך הרבה יותר ברשיונות, רצון שאנו בהחלט רואים כיום אצל ארגונים.
וכך מתקיימת מגמה והיפוכה: מצד אחד רצון להרחיב את שירותי ה-BI בתוך הארגון, ומצד שני – לצמצם ולהגביל כדי לחסוך ברישוי. שוחחתי עם כמה מנהלי BI שתקפו את אותו נושא מכמה זוויות, כולם דיברו על הפרדוקס שבין הרחבת השירותים ליותר משתמשים ומצד שני מגמת צמצום והתכנסות.
היוזמות שמתקיימות כעת אצל ארגונים במטרה לחסוך ברישוי:
אלא שהעלאת תחום הBI לראש סדר העדיפות לאו דווקא אומרת הגדלת תקציב ה-BI. רוב הארגונים מדברים על ניסיונות לקצץ בעלויות ה-BI הקיימות, מה שיאפשר להרחיב את השירותים ליותר גורמים בארגון. בנוסף, כיום ארגונים משלמים אחוזי התחזוקה שנראים להם גבוהים ממילא לעומת מה שהם מקבלים. חלק מהספקים מייקרים כעת את אחוזי התחזוקה מה שמחזק את הרצון לחסוך הרבה יותר ברשיונות, רצון שאנו בהחלט רואים כיום אצל ארגונים.
וכך מתקיימת מגמה והיפוכה: מצד אחד רצון להרחיב את שירותי ה-BI בתוך הארגון, ומצד שני – לצמצם ולהגביל כדי לחסוך ברישוי. שוחחתי עם כמה מנהלי BI שתקפו את אותו נושא מכמה זוויות, כולם דיברו על הפרדוקס שבין הרחבת השירותים ליותר משתמשים ומצד שני מגמת צמצום והתכנסות.
היוזמות שמתקיימות כעת אצל ארגונים במטרה לחסוך ברישוי:
- עריכת Audits של המשתמשים – בדיקה מי משתמש במה, ובאיזו תכיפות. מנהל שניגש לדוח פעם בכמה חודשים אולי אינו מצדיק רישוי מלא
- התחשבנות עם גופים בארגון לצורך מימון הרישוי בעצמם / חלק ממנו
- בחינה של כלי BI מבוססי קוד פתוח (דוגמת Pentaho) – שמענו זאת רק אצל מעט ארגונים בינתיים
- כמה ארגונים שקלו מחדש האם להישאר בחוזה תחזוקה או לא (בתחום זה לא שמענו על צעד ממשי בנושא, לעומת תחומים אחרים בהם כן שמענו), מתוך מחשבה שאם יצטרכו תמיכה אולי שווה יהיה לשלם תעריף שעה גבוה שעדיין יהיה יותר זול מעלות התחזוקה השנתית
- ניסיון לצמצם במספר כלי ה-BI בארגונים בהם נוצרו "איי BI" שונים עם כלים שונים. קונסולידציה בכלי ה-BI הנה מגמה בינלאומית (בשל גודל הארגונים שם והאופי היותר מבוזר של יוזמות BI). ראינו זאת בארגונים היותר גדולים, משום שבתחום זה בישראל מצבנו הרבה יותר טוב מזה של ארגוני ענק בחו"ל שכל רכישת חברה מוסיפה להם עוד אוסף של כלי BI לפורטפוליו. מחלקות הBI בישראל, וכל ארכיטקטורת ה-DW בכלל, הרבה יותר ריכוזית בישראל מאשר ארגונים בינלאומיים, כך שנושא הקונסולידציה של כלים קצת פחות אקוטי.
- בחינת הפורטל כאמצעי פוטנציאלי לחסוך בעלות רישוי (לא רק בתחום ה-BI אלא גם בתחום ה-ERP)
היוזמות שמתקיימות כעת אצל ארגונים במטרה להרחיב את שירותי ה-BI:
- פרויקטים קטנים שמביאים לתוצאות מהירות – זהו איפיון הפרויקטים בBI וברוב התחומים האפליקטיביים האחרים. אם לפרויקט יש רמת סיכון גבוהה/אין ידע בישראל/הטכנולוגיה אינה בשלה ארגונים נרתעים מהתחום בימים אלה הרבה יותר מאשר בזמנים אחרים, טובים יותר.
- פרויקטי BI להנהלה (בעיקר דשבורדים, ופרויקטי מדדים). תחום זה שוב עולם לכותרות, החדשות הטובות הן שכיום הדוחפים הם יותר ההנהלות (ופחות מחלקת ה-IT). יש לציין כי בפרויקטים אלה ארגונים אינם פוסלים שימוש בכלים אחרים (שונים מכלי ה-BI בהם הם משתמשים כיום)
- פרויקטי BI פיננסי – כלי BI המיועדים למחלקה הפיננסית, ובראשם – כלי תכנון פיננסי ותכנון תקציב. גם כאן מדובר בכלי Best of breed ייעודיים, ולא דווקא של ספק ה-BI המרכזי של הארגון.
- התחום הרגולטיבי (באזל II לבנקים, ובהמשך גם Solvency לביטוח) מייצרים תקציב נוסף, ייעודי, שמתרכז בתחום ה-DW על מנת לייצר פתרונות בתחום זה.
מנהלי BI ששוחחתי עמם מרגישים די מתוסכלים מכיוון שמצד אחד הם נדרשים לפרויקטים חדשים, והם שומעים את הססמאות לגבי חשיבות התחום לארגון בזמנים קשים, מצד שני הם לא מקבלים תוספות תקציביות להן הם מצפים. לכן, אנו נמשיך לראות ניסיונות יצירתיים של מנהלי ה-BI להתייעל מצד אחד ולהגדיל פעילות מצד שני.
יום שני, 18 במאי 2009
BI מבוסס קוד פתוח: העניין גובר אך השימוש עדיין מוגבל
העניין בכלי BI מבוססי קוד פתוח בעולם גובר בהתמדה, ונוצר דיון סביב המידה בה Open Source BI מהווה או לא מהווה Disruptive Technology לאפליקציות ה-BI הקלאסיות.
למרות שעד כה ארגונים ישראליים נרתעו מאימוץ אפליקציות מבוססות קוד פתוח, אנו רואים שכיום ארגונים בישראל גם הם מביעים התעניינות זהירה בקוד פתוח במספר תחומים, כאשר אחד מהם הנו תחום ה-Business Intelligence, ובאופן יותר ספציפי בכלי Reporting, Dashboarding ו – OLAP Viewers.
באופן כללי, בשוק הבינלאומי רמת השימוש באפליקציות מבוססות קוד פתוח (OSS) גבוהה יותר ועומדת על עשרות אחוזים (מעל 50% מארגונים הנשאלים בסקרים אומרים כי הם משתמשים באפליקצית OS כלשהיא), אך, כשמדובר בתחום ה-BI, גם בחו"ל אחוזי השימוש אינם מאוד גבוהים, רמת השימוש עדיין מאוד מוגבלת אך על פי מחקרים - עולה בהתמדה. לדוגמה, על פי סקר של חברת Cutter שנערך ב2008, רק כ-18% מארגונים בינלאומיים עושים שימוש כלשהוא במוצרי BI מבוססי קוד פתוח (לעומת 11% בלבד ב-2006). 35% מהארגונים הנשאלים מתעניינים ביישום כלים אלה. מחקר זה מראה מגמה יציבה של התעניינות גוברת בקוד פתוח על פני 3 השנים האחרונות.
מאפייני ההתעניינות הזהירה בכלי Open Source BI:
למרות שעד כה ארגונים ישראליים נרתעו מאימוץ אפליקציות מבוססות קוד פתוח, אנו רואים שכיום ארגונים בישראל גם הם מביעים התעניינות זהירה בקוד פתוח במספר תחומים, כאשר אחד מהם הנו תחום ה-Business Intelligence, ובאופן יותר ספציפי בכלי Reporting, Dashboarding ו – OLAP Viewers.
באופן כללי, בשוק הבינלאומי רמת השימוש באפליקציות מבוססות קוד פתוח (OSS) גבוהה יותר ועומדת על עשרות אחוזים (מעל 50% מארגונים הנשאלים בסקרים אומרים כי הם משתמשים באפליקצית OS כלשהיא), אך, כשמדובר בתחום ה-BI, גם בחו"ל אחוזי השימוש אינם מאוד גבוהים, רמת השימוש עדיין מאוד מוגבלת אך על פי מחקרים - עולה בהתמדה. לדוגמה, על פי סקר של חברת Cutter שנערך ב2008, רק כ-18% מארגונים בינלאומיים עושים שימוש כלשהוא במוצרי BI מבוססי קוד פתוח (לעומת 11% בלבד ב-2006). 35% מהארגונים הנשאלים מתעניינים ביישום כלים אלה. מחקר זה מראה מגמה יציבה של התעניינות גוברת בקוד פתוח על פני 3 השנים האחרונות.
מאפייני ההתעניינות הזהירה בכלי Open Source BI:
- הקטגוריות הפופולאריות ביותר לכלי BI מבוססי קוד פתוח הנם כלי דוחות ודשבורדים. בחו"ל יש גם עניין בולט בכלי ETL מבוססי קוד פתוח.
- ברוב הכולל של ארגונים מתעניינים לא מדובר ביישום BI סטנדרטי לכלל הארגון אלא לשימוש נקודתי – לפרויקט ספציפי או למחלקה מסוימת.
- רוב הארגונים המיישמים כלי BI בקוד פתוח בחו"ל יישמו זאת בעצמם, ולא באמצעות כ"א חיצוני. זאת משום שרבים מהמאמצים הנם ארגונים טכנולוגיים ובתי תוכנה שמאמצים את הכלים לשילוב במוצרים המסחריים שלהם.
- ספקי Open Source BI בולטים שמופיעים על ה"רדאר": Pentaho, Jaspersoft, מיזם BIRT - Eclipse.
המאמצים הראשונים יהיו (והינם) ספקי תוכנה שמחפשים לשלב יכולות BI בתוך מוצריהם, אך בעקבות לחצים תקציביים, גם ארגוני משתמשים יתחילו לעשות שימוש מוגבל מאוד בכלים ביישומים חדשים, בעיקר כדי "לבדוק" את המודל, באופן המאוד דומה לתהליך האימוץ שמתרחש במודל ה-SaaS.
יום ראשון, 1 בפברואר 2009
מצגת - מגמות Business Intelligence
העליתי לרשת מצגת על מגמות בתחום ה BI. וביניהן:
- BI אקטיבי (המשולב במערכות התפעוליות)
- MDM וניהול נתונים
- תמונת מצב - Scorecards ו Dashboards
- התועלות שארגונים כבר מפיקים כיום מ BI
- הבעיות כיום ב-BI (מסתבר שיש לא מעט)
- מגמות לטווח הבינוני - קצר בעולם ה BI
- מגמות לטווח הארוך יותר
- כיצד ארגונים תופסים כיום את ה-BI?
את המצגת תוכלו לראות כאן.
יום חמישי, 18 בדצמבר 2008
Business Intelligence - main technology in Israel
Business Intelligence is one of the most strategic areas for the next years. It's on every CIO's agenda, and usually, one of the "top five" proprities. This is one of the few markets in which there is not much difference between the Israeli market and other global markets.
In my interaction with CIOs, I see that even in these tough times (and possibly because of that), many of them have placed this area as a top priority for 2009-10. Even though IT budgets are most likely shrinking in 2009 (~10%), BI budgets are expected to grow or remain the same.
The following radar shows which areas are being used by most enterprises / large Israeli organizations (for example, typical BI/DW is used by most), which areas are in implementation phases, and which are “of interest” (or, in other words, are being examined):

According to a survey I conducted, BI was considered a main technology for 2008, similar to what global organizations said is a similar survey performed abroad.

In my frequent conversations with organizations re BI, I hear many great things about this area (unlike other application areas such as ERP etc.).
Here are some of the good stuff people are saying about BI:
- BI has become the most efficient way of extracting more value from existing or new applications. Some organizations make it a habit of incorporating BI services from day 1 to each new project they are launching, simply because it provides immediate value out of the application instantly, instead of waiting for the new application to stabilize first before providing analytics around it.
- BI Helps IT achieve better alignment with the business. Because of its nature, BI requires a lot of collaboration between IT and business units, it usually also gives business users what they want, and so helps IT be regarded as a more business aligned partner.
- BI created an organizational language. Some organizations (especially distributed or global) claim this is the most important benefit from their DW/BI.
- A central EDW creates a single version of the truth.
- CPM & Scorecard help the organization connect the day to day actions to the organizational strategy.
- Active BI (incorporation of BI services in applications processes) can help create better & smarter processes.
Here are the negative things people are saying on BI:
- BI is under-used in most organizations. Even in the more mature ones, organizations are not yet getting what they can get out of BI. Usually the mid-level management layer and business analysts are heavy users, but top management is only now starting to use dashboards, and the rest of the organization – knowledge workers – are not yet enjoying the benefits of BI. This has triggered the need in some places for a BICC.
- Stand-alone data marts create several data versions. This problem is actually not as common in Israel as in the U.S, as most organizations have created a centralized DW and are trying to keep it as much as possible. Still, large organizations find it difficult to keep a central DW at all costs, and have to deal with several data marts. These “centralized” data marts make it difficult to implement a cross-organizational initiative, such as a Balanced Scorecard.
- “Data Mining is only for experts” is a phrase I often hear. It is looked upon as a very complicated practice, and is used in “niche” areas – mainly marketing and fraud detection.
- "The data is not 100% reliable". Data Quality issues are affecting the reliability of the DW.
יום חמישי, 9 באוקטובר 2008
ODS - תמונת מצב
ODS - Operational Data Store, הנו מונח די היסטורי בעולם ה-DW והאפליקציות הארגוניות, או ליתר דיוק - בעולם ניהול הנתונים.
לאחרונה בדקנו מה סטטוס ה-ODS בארץ ובעולם, במטרה לבחון האם ה-ODS, שיטה טכנולוגית שצמחה מתתוך הכרח, הופכת להיות מיותרת בארכיטקטורת ה-IT של היום, או שעדיין אין לה תחליף ראוי.
המצב בישראל
בישראל ישנם לא מעט ארגונים גדולים העושים שימוש ב-ODS, ובמיוחד ארגונים עם סביבות MF. ניתן למצוא מגוון ארגונים שעדיין עושים שימוש ב-ODS וביניהם אף כאלה שנכנסו לנושא רק לאחרונה, כולל ארגוני שירותים פיננסים וטלקום שמתשמשים בשיטה זו על מנת לספק תמונת לקוח מרכזית שתשרת מערכות תפעוליות שונות.
ארגונים בישראל עמם דיברנו סיפרו כי היתרון ב-ODS הוא להפחית את העומס על מערכות המקור, להוות את ה"אמת האחת" בדרך כלל לנתוני לקוח (אך לא רק).
ODS - פיתרון טכנולוגי
בדיוק כמו שה-DW צמח כשיטה לאפשר ניתוחים אנליטיים, ה-ODS צמח כפיתרון המספק סביבה מקבילה המספקת שירותי נתונים תפעוליים לכל דורש, בין אם מדובר באפליקציות תפעוליות הצורכות נתונים אלה, או בסביבת DW.
היתרון הגדול הנו הפחתת העומס על מערכ/ות המקור. מבחינה היסטורית, מערכות רבות נבנו בצורה עצמאית, ללא קשרים בין מערכת אחת לשנייה. אולם עם הזמן הסתבר שההחלטות שמערכות, (וגם אנשים), מבוססות יותר ויותר על מערכות אחרות. לסוגיה זו מספר משמעויות, גם המשמעות הפיזית של גישה למערכת לשלוף את הנתונים, גישה היוצרת עומס נוסף על המערכת ותוספת עבודה במהלך התכנות (כי צריך לפנות למבנה נתונים אחר שלא שייך לפרויקט) אבל גם משמעות של קשיים טכנולוגיות ומאמצים תפעוליים. אם ישנה מערכת תפעולית חשובה שפועלת 24*7 שצריכה נתון ממערכת פחות חשובה שפועלת רק 5*8, הרי שלפחות מסד הנתונים של המערכת הפחות חשובה חייב לקבל "שדרוג" של שרתים ואחסון זמינים (cluster , DRP), מדיניות הורדת מערכת וניהול שינויים "משודרגת" וכד'.
זהו הצורך הבסיסי ל- ODS – מקור נתונים תפעוליים זמין ואמין שמוריד את העומס בכל הרמות מהמערכות התפעוליות. בד"כ ה- ODS תומך ב- read only בלבד.
תמונת מצב - מה המגמה בעולם?
מבחינת המגמה בעולם, ODS עדיין די נפוץ אך הופך להיות פחות "טרנדי". הטרנדים מדברים הרבה על ה"דור החדש" של ה-ODS: MDM – Master Data Management, וה-CDI – Customer Data Integration (אם מדובר על נתוני לקוחות), אשר מתחילים להיכנס על חשבון ODS המסורתי יותר.
ישנם קווים דומים בין תפקיד ה ODS לתפקיד ה-CDI/MDM וחפיפה ביניהם. הODS הנו פתרון "טכנולוגי" טהור שתפקידו לשמש תווך בין מערכת תפעולית למערכות תפעוליות אחרות שצורכות data שנמצא במערכת. ואילו ה-CDI הנו פיתרון טכנולוגי אך הוא גם מספק אפשרויות "ניהול" ו governance של נתון – איך מוגדר נתון לקוח? חוקים עסקיים סביב הנתון? מה עושים בעת קונפליקט? ב CDI יש בדר"כ את הטיפול בטיוב הנתונים ובאופן כללי צריך משתמש עסקי שייקח בעלות על הנתונים.
הסבר לגבי ההבדלים העיקריים בין CDI ל ODS ניתן למצוא כאן.
מה ההבדל בין ODS ל-DW?
ישנם ארגונים שהחליטו להפוך את ה-DW שלהם ל-DW תפעולי, המשרת את המערכות התפעוליות. אם כן, מה ההבדל בין DW שכזה לבין ODS? התשובה לא תמיד ברורה, שכן בפועל DW לעתים משמש כ-ODS. ה-ODS לעתים משמש (כיום פחות) כ staging area עבור ה-DW וגם להוות מקור ממנו גוזרים דוחות תפעוליים. יש ארגונים שה-DW שלהם הפך להיות סוג של ODS (כלומר מהווה את המקור ממנו מערכות תפעוליות מושכות נתון תפעולי) למרות שזהו לא תפקידו הקלאסי של ה-DW. בעוד ה-DW מכיל בדר"כ מידע היסטורי ומתעדכן אחת ליום/שבוע, ה-ODS מכיל מידע תפעולי לא היסטורי ושיטת העדכון צריכה לאפשר זמן אמיתי/קרוב לכך.
לסיכום, נראה שה"דור הבא" של ה- ODS הנו ה-CDI/MDM שכולל בתוכו הרבה מיכולות הODS ויותר מכך (מספק גם פיתרון טכנולוגי אך גם פיתרון "פוליטי" – מה שמצריך ישות עסקית שלוקחת בעלות על הנושא וגם שינויים מהותיים במערכות שכבר קיימות בארגון). ה-ODS לא חילוף מהעולם כל כך מהר, אלא סביר שיוחלף על ידי מודלים דומים שמספקים את אותן יכולות בתוספת יכולות קיימות. בעיית ה governance של נתונים, הקושי ביצירת "תמונת לקוח"/ נתון פיננסי/ נתון ספק וכד', אחידים לכל אורך הארגון יהווה בעיה מטרידה עבור ארגונים גם בשנים הקרובות.
לאחרונה בדקנו מה סטטוס ה-ODS בארץ ובעולם, במטרה לבחון האם ה-ODS, שיטה טכנולוגית שצמחה מתתוך הכרח, הופכת להיות מיותרת בארכיטקטורת ה-IT של היום, או שעדיין אין לה תחליף ראוי.
המצב בישראל
בישראל ישנם לא מעט ארגונים גדולים העושים שימוש ב-ODS, ובמיוחד ארגונים עם סביבות MF. ניתן למצוא מגוון ארגונים שעדיין עושים שימוש ב-ODS וביניהם אף כאלה שנכנסו לנושא רק לאחרונה, כולל ארגוני שירותים פיננסים וטלקום שמתשמשים בשיטה זו על מנת לספק תמונת לקוח מרכזית שתשרת מערכות תפעוליות שונות.
ארגונים בישראל עמם דיברנו סיפרו כי היתרון ב-ODS הוא להפחית את העומס על מערכות המקור, להוות את ה"אמת האחת" בדרך כלל לנתוני לקוח (אך לא רק).
ODS - פיתרון טכנולוגי
בדיוק כמו שה-DW צמח כשיטה לאפשר ניתוחים אנליטיים, ה-ODS צמח כפיתרון המספק סביבה מקבילה המספקת שירותי נתונים תפעוליים לכל דורש, בין אם מדובר באפליקציות תפעוליות הצורכות נתונים אלה, או בסביבת DW.
היתרון הגדול הנו הפחתת העומס על מערכ/ות המקור. מבחינה היסטורית, מערכות רבות נבנו בצורה עצמאית, ללא קשרים בין מערכת אחת לשנייה. אולם עם הזמן הסתבר שההחלטות שמערכות, (וגם אנשים), מבוססות יותר ויותר על מערכות אחרות. לסוגיה זו מספר משמעויות, גם המשמעות הפיזית של גישה למערכת לשלוף את הנתונים, גישה היוצרת עומס נוסף על המערכת ותוספת עבודה במהלך התכנות (כי צריך לפנות למבנה נתונים אחר שלא שייך לפרויקט) אבל גם משמעות של קשיים טכנולוגיות ומאמצים תפעוליים. אם ישנה מערכת תפעולית חשובה שפועלת 24*7 שצריכה נתון ממערכת פחות חשובה שפועלת רק 5*8, הרי שלפחות מסד הנתונים של המערכת הפחות חשובה חייב לקבל "שדרוג" של שרתים ואחסון זמינים (cluster , DRP), מדיניות הורדת מערכת וניהול שינויים "משודרגת" וכד'.
זהו הצורך הבסיסי ל- ODS – מקור נתונים תפעוליים זמין ואמין שמוריד את העומס בכל הרמות מהמערכות התפעוליות. בד"כ ה- ODS תומך ב- read only בלבד.
תמונת מצב - מה המגמה בעולם?
מבחינת המגמה בעולם, ODS עדיין די נפוץ אך הופך להיות פחות "טרנדי". הטרנדים מדברים הרבה על ה"דור החדש" של ה-ODS: MDM – Master Data Management, וה-CDI – Customer Data Integration (אם מדובר על נתוני לקוחות), אשר מתחילים להיכנס על חשבון ODS המסורתי יותר.
ישנם קווים דומים בין תפקיד ה ODS לתפקיד ה-CDI/MDM וחפיפה ביניהם. הODS הנו פתרון "טכנולוגי" טהור שתפקידו לשמש תווך בין מערכת תפעולית למערכות תפעוליות אחרות שצורכות data שנמצא במערכת. ואילו ה-CDI הנו פיתרון טכנולוגי אך הוא גם מספק אפשרויות "ניהול" ו governance של נתון – איך מוגדר נתון לקוח? חוקים עסקיים סביב הנתון? מה עושים בעת קונפליקט? ב CDI יש בדר"כ את הטיפול בטיוב הנתונים ובאופן כללי צריך משתמש עסקי שייקח בעלות על הנתונים.
הסבר לגבי ההבדלים העיקריים בין CDI ל ODS ניתן למצוא כאן.
מה ההבדל בין ODS ל-DW?
ישנם ארגונים שהחליטו להפוך את ה-DW שלהם ל-DW תפעולי, המשרת את המערכות התפעוליות. אם כן, מה ההבדל בין DW שכזה לבין ODS? התשובה לא תמיד ברורה, שכן בפועל DW לעתים משמש כ-ODS. ה-ODS לעתים משמש (כיום פחות) כ staging area עבור ה-DW וגם להוות מקור ממנו גוזרים דוחות תפעוליים. יש ארגונים שה-DW שלהם הפך להיות סוג של ODS (כלומר מהווה את המקור ממנו מערכות תפעוליות מושכות נתון תפעולי) למרות שזהו לא תפקידו הקלאסי של ה-DW. בעוד ה-DW מכיל בדר"כ מידע היסטורי ומתעדכן אחת ליום/שבוע, ה-ODS מכיל מידע תפעולי לא היסטורי ושיטת העדכון צריכה לאפשר זמן אמיתי/קרוב לכך.
לסיכום, נראה שה"דור הבא" של ה- ODS הנו ה-CDI/MDM שכולל בתוכו הרבה מיכולות הODS ויותר מכך (מספק גם פיתרון טכנולוגי אך גם פיתרון "פוליטי" – מה שמצריך ישות עסקית שלוקחת בעלות על הנושא וגם שינויים מהותיים במערכות שכבר קיימות בארגון). ה-ODS לא חילוף מהעולם כל כך מהר, אלא סביר שיוחלף על ידי מודלים דומים שמספקים את אותן יכולות בתוספת יכולות קיימות. בעיית ה governance של נתונים, הקושי ביצירת "תמונת לקוח"/ נתון פיננסי/ נתון ספק וכד', אחידים לכל אורך הארגון יהווה בעיה מטרידה עבור ארגונים גם בשנים הקרובות.
הירשם ל-
רשומות (Atom)