הרצאה שהעברתי בנושא Web 2.0 לניהול ידע ב-SIGTRS

לפני כמה ימים העברתי מצגת בנושא שימוש בתפיסות וכלי Web 2.0 לצורך ניהול ידע ארגוני בפורום של קבוצת עניין מאוד מעניינת בשם SIGTRS אותה הקים ומנהל עופר דרורי. קבוצת העניין עוסקת בנושאי אחזור טקסט וניהול ידע שונים.
אני ממליצה בחום להיכנס לאתר של קבוצת עניין זו. האתר המכיל מאמרים, מצגות וסיכומי מפגשים של הפורום שנפגש באופן תקופתי. באתר קיימים מאמרים מרתקים כמו לדוגמה טמפלייט להשוואת מנועי חיפוש ועוד.

להלן לינק למאמר /תקציר של הרצאתי אשר פורסם באתר של הקבוצה.

ממצא מפתיע לטובה - מבנה מחלקות הBI בישראל הרבה יותר טוב מאשר בחו"ל

בתחום ה-IT אנחנו רגילים להגיד שישראל מפגרת אחרי ארגונים גדולים בארה"ב ובאירופה, העובדה שארגונים כאן בסדרי גודל יותר קטנים משפיעה על אופי היוזמות כמעט בכל תחום IT. אבל יש גם יתרון לעובדה זו, למשל בתחום הBI מבנה המחלקות ואופי יוזמות ה-BI יותר טוב בישראל בהשוואה לארגונים בינלאומיים. הסיבה היא פשוטה, בגלל שארגונים יותר קטנים, לרוב יש מישהו שמסתכל מרכזית על פרויקטי ה-BI, וגם אם קיימים כמה צוותים, הם ברוב המקרים (75% מארגוני enterprises בישראל, ליתר דיוק) יושבים ארגונית תחת מחלקה אחת בתוך אגף מערכות מידע, מחלקת BI. עוד על מאפייני מחלקת ה-BI בישראל תוכלו לקרוא כאן.

לעומת זאת, בחברות בינלאומיות גדולות קיימת בעייה ידועה של "איי BI" המתקיימים במקביל, צוותי BI שונים ללא תיאום משמעותי ביניהם, וחוסר סטנדרטים. התוצאה הנה חוסר שיתוף בידע לגבי פרויקטי BI דומים, המצאת הגלגל מחדש, וקיומם של כלי BI רבים תחת אותה קטגוריה (סביר מאוד למצוא 3-4 כלי Reporting שונים, 2-3 כלי OLAP, 1-2 כלי Data Mining וכד'). בשנים האחרונות אותם ארגונים בינלאומיים שחיים עם "שגרת איי ה-BI" עוסקים בפרויקטי BI Consolidation שמשמעותם לאו דווקא בניית Enterprise Data Warehouse אחד, אלא בניית ארכיטקטורה, התוויית מדיניות, קביעת סטנדרטים של כלים טכנולוגיים (צמצום מסדר גודל של כ-7 כלים שונים ל-3 כלים שונים), וכן – באזוורד חדש עליו מדובר כמעט בכל מחקר הסוקר מגמות BI: ה-BICC.

BICC – Business Intelligence Competence Center
קיימות מספר הגדרות שונות ל-BICC, אך הרעיון הוא שגוף זה אחראי על הסתכלות מרכזית על תחום ה-BI בארגון, הבנת הדרישות העסקיות, תיעדוף, והעברתם למחלקת הפיתוח של ה-BI שמתקיימת כגוף נפרד. יש הגורסים כי תפקיד ה-BICC ממשיך גם לנושא ההטמעה של יוזמות ה-BI בארגון, וכגוף המרכז את דרישות ה-BI של ההנהלה הבכירה.

בישראל חלק מהארגונים מביעים התעניינות ב-BICC (במיוחד הגדולים יותר, או אלה המקיימים מבנה יותר מבוזר). אולם אנו גם נתקלים לא מעט בארגונים שמרימים גבה לשמע תפקיד מחלקת ה-BICC שזוכה להרבה תשומת לב "באזוורדית" כרגע ולא מבינים על מה ההתלהבות – "הרי זה מה שמחלקת ה-BI שלנו עשתה מאז ומתמיד".

לסיכום, בישראל לפחות ארגונים יש צורך בפונקציית ה-BICC, לרובם קיים סטנדרט מסוים של כלים (לרוב ניתן יהיה למצוא 2-4 כלים שונים בארגון, ולא 7-8), קיים שיתוף ידע בגלל העובדה שצוות/י ה-BI יושב/ים תחת אותה מחלקה, ולרוב מחלקה זו מקיימת קשר הדוק עם המחלקות העסקיות.
כך שבסה"כ ניתן להתנחם בעובדה שלעתים דווקא העובדה שארגונים ישראליים יותר קטנים מאפשרת להם להיות יותר יעילים.

The next big thing in social media: Sentiment Analysis

(This is a translation of the previous post)

As someone's who's been analyzing the Business Intelligence market for years, I'm very interested in exploring ways to leverage the vast amount of valuable data that is accumulated in social networks sites today, in the same way in which organizations can now leverage business information data that is kept (unlike the web - in a fairly orderly manner) inside their organizational applications and databases. Or perhaps this comparison is not a fair one and we should actually try to look at the content of social networks in a completely different way?

Marketing and PR departments are now trying to figure out "what is being said" about the company / product throughout the web, specifically in websites that are based on user generated content. This information can be extremely valuable, you can understand a lot about how your company / products / services are really perceived, what are the current preferences, trends, and characteristics of cultural consumption relevant to the company.
In order to satisfy exactly this need a new breed of data-mining tools aimed specifically at social networks started to emerge in recent years. These tools have some similarities to "traditional" data-mining tools, and especially to non-structured data mining / Text Mining tools.

The domain of generating insights based on social networks' content is referred to as "Sentiment Analysis": trying to understand what is the writer's attitude towards a particular object.
The purpose of these tools is to allow organizations to "listen" to the conversations taking place of social networks and analyzing these conversations in order to identify some emotion towards the company or product.
This listening is only the first part of the initiative, the second is to actually use this insight as an actionable one and respond in a certain way - act to protect the brand, try to correct, leverage positive blogger review etc.

A new breed of software tools have emerged that try to provide an answer to these needs. These tools provide capabilities that enable text analysis, creating clusters of content that contain positive versus negative sentiments, some of them provide an "overall sentiment score" based on a large group of various content sources about a particular product/campaign etc., and an important capability in these tools is the ability to define specific rules by the marketing department of the organization (for example, a specific word can significantly change the score and this word changed from one organization to the other).
An example of such tools: Umbria (focuses on the social websites - for example, blogs), Biz360, and an example of an Israeli company - Buzzilla.
In this link (Blog of 451 research group) there is a pretty long list of tools for sentiment analysis.

What are the problems currently associated with sentiment analysis of social networks?

• Content is highly unstructured, there's no control over the way people express themselves, frequent use shortcuts and slang, language problems, and use of different media types - text, audio, video
• Large number of sites to "listen to", the important sites change from industry to industry (On the other hand, this fact only stresses the need to do it in a computerized way rather than manual)
• Privacy - currently this is not a problem but in the future it may not be possible to listen to conversations on the network so easily as it is today
• Another potential problem that I'm assuming will arise at a certain point once companies start to use this tools will be the potential abuse of the media and tools. Imagine that every time you complain about a service you get a tweet from a service rep checking how they can help, or tweeting about a product you're looking for and getting a promotional message as a result… this has a potential of being over-used to the point of creating a negative association with the company.
  

There are several levels of tools usage, starting from only listening at a pretty basic level of sophistication (being able to identify content that directly mentions the product name); Through monitoring with a little more sophistication (eg, creating clustered content, while taking into consideration other content that might be of interest – for example, content about competitors etc.); Another level would be listening to content and acting as a response (creating an automatic response sent people complaining about the service, or distribution of a link of a positive review to other relevant sites etc.); Another level can be to connect these insights to other systems (for example, CRM packages are now starting to include, as part of their systems "sentiment score" that appears alongside the client's information. This topic is somewhat similar to sentiment analysis on other channels - for example, "emotion detection" in the call center by use of tools from the speech recognition space. Tools in this area recognize voice tone (and associates it with emotion), specific words ("word spotting") - for example, lawsuit/ name of competitor, and can lead to action such as escalation of the call.

But we should be careful when trying to analyze social websites content in the same way in which we analyze content other conventional content types that are far more organized. This is an entirely different media. Any attempt to try and compare the different media types with Twitter, for example, will be problematic. As of now, Twitter provides the quickest means information transfer "from the field" than any other media (A good example is the transfer of information now taking place regarding what is happening in the streets of Iran). And so, this media can be very useful in trying to get a quick picture of the impact of a particular campaign on the conversations "from the field" almost in real time.

In my opinion, organizations now starting to take advantage of the powerful content hidden in social networks will not only get a better "feel" their market in order to protect their brand images, but if applied with correct use, these tools can also help organizations take advantage of these conversations for the purpose of promoting customer centric innovation.

הדבר הבא במדיה החברתית: Sentiment Analysis

כמי שבוחנת את שוק ה-BI בשנים האחרונות, מאוד מעניין אותי כיצד ניתן למנף את המידע הרב המצטבר כיום באתרי רשתות חברתיות באותה צורה שבה ארגונים כיום מצליחים למנף מידע עסקי שטמון (בצורה מסודרת למדי, להבדיל מעולם ה-Web) באפליקציות הארגוניות שלהם.

ואולי ההשוואה הזו כלל לא נכונה, וצריך להסתכל על התוכן של רשתות חברתיות בצורה שונה לגמרי?

מחלקות שיווק ו PR מנסות לפענח מה "נאמר על החברה/המוצרים" ברחבי הרשת באתרים בעלי תוכן הנבנה ע"י אנשים, ובאופן ספציפי – באתרי הרשתות החברתיות. באתרים אלה גלום מידע בעל ערך רב: ניתן להבין הרבה על האופן בו החברה/המוצרים/שירותיה נתפסים, העדפות, מגמות, ועוד מאפיינים של תרבות הצריכה הרלוונטית לחברה.
בדיוק כדי לספק את הרצון הזה צמחו כלי כריית נתוני רשתות חברתיות, הדומים במאפייניהם לכלי כריית מידע קלאסיים ובמיוחד לכלי כריית מידע בלתי מובנה / טקסטואלי (Text Mining). לתחום זה של הפקת תובנות מניתוח מידע באתרי רשתות חברתיות קוראים כיום "Sentiment Analysis": הניסיון להבין מהי הגישה של כותב תוכן כלפי אובייקט מסוים. מטרת כלים אלה לאפשר לארגונים "להאזין" לתוכן של רשתות חברתיות, לנתח את השיחה כדי לזהות איזשהו רגש המתקשר עם החברה. זהו חלק ראשון של היוזמה, החלק השני הוא להשתמש בתובנה הזו כדי להגיב בצורה כלשהיא - לפעול להגן על המותג, לנסות לתקן, למנף ביקורת חיובית של בלוגר וכד'. כיום מתחילים לצוץ כמה ספקים של כלי תוכנה שאמורים לספק מענה לצרכים אלה. כלים אלה מספקים יכולות ניתוח טקסט המאפשרות לדוגמה יצירת clusters של תוכן חיובי לעומת שלילי, חלקם מספקים "ציון כולל" לקבוצה של תכנים לגבי מוצר מסוים, ורכיב חשוב – היכולת להגדיר על ידי מחלקת השיווק של הארגון חוקים ספציפיים עבורו (מילות חיפוש חשובות שמשנות את הציון וכד').

דוגמה של כלים כאלה: Umbria (מתמקדת באתרים חברתיית – לדוגמה, בלוגים), Biz360, ודוגמה לחברה ישראלית בתחום – באזילה.

בלינק הבא (בלוג של חברת המחקר 451 Group) יש רשימה די ארוכה של כלי sentiment analysis.

מהן הבעיות כרגע בניתוח Sentiment של רשתות חברתיות?

• התוכן הוא מאוד בלתי מובנה, אין שום שליטה על הדרך בה אנשים מתבטאים, שימוש בסלנג וקיצורים, בעיות שפה, ושימוש במדיות שונות - טקסטים, קבצי אודיו, קול...
• מס' האתרים הנו גדול, ומשתנה מתעשיה לתעשיה (מצד שני, עובדה זו רק מחזקת עריכת ניתוחים מסוג אלה בצורה ממוחשבת ולא ידנית)
• פרטיות – כרגע אינה מהווה בעיה אך ייתכן ובעתיד לא ניתן יהיה להאזין לשיחות ברשת בצורה כה קלה.

ניתן לחשוב על כמה רמות של כלי "האזנה וניטור לשיחות ברשתות חברתיות", החל מ"האזנה" בלבד וברמת תחכום בסיסית (לדוגמה, הקפצת כל התכנים המזכירים ישירות את שם המוצר), דרך האזנה בלבד אבל קצת יותר מתוחכמת (לדוגמה, סידור התכנים על פי קבוצות, תוך התחשבות בתכנים אחרים כגון מתחרים וכד'), האזנה וכן הנעה לפעולה (יצירת מענה אוטומטי שיישלח ל"מתלוננים" על שירות/ הפצת לינק לביקורת טובה דרך אתרים רלוונטיים וכד'), קישור תובנות למערכות אחרות (לדוגמה, כיום חלק ממערכות ה CRM כבר מספקות "ציון" sentiment המופיע עם פרטי הלקוח).

נושא זה מזכיר כלים לניתוח סנטימנטלי בערוצים אחרים – לדוגמה, ניתוח רגשות ("emotion detection") במוקד השירות באמצעות כלים המגיעים מתחום ה-speech recognition. כלים בתחום זה מזהים טונציה, מילים ספציפיות – word spotting (תביעה משפטית/שם המתחרה) ויכולים להוביל לפעולה על סמך התובנות המתגלות.
אך צריך להיזהר לנסות לנתח תוכן באותה הצורה בה אנו מנתחים תכנים אחרים, יותר מסודרים וקונבנציונאליים, המדיה שונה לחלוטין. לראיה, כל ניסיון לנסות ולהשוות את Twitter עם מדיה אחרת יהיה מוטעה. טוויטר מספק כיום אמצעי העברת מידע מהיר מכל מדיה אחרת (דוגמה טובה לכך היא העברת המידע בצורה כל כך חיה על המתחרש ברחובות איראן). כך, לדוגמה, ניתן לנתח בצורה מהירה השפעה של קמפיין מסוים על ה"שיחה" שבשטח כמעט בזמן אמיתי.

לסיכום, לדעתי, ארגונים שיתחילו כבר עכשיו לנסות ולנצל את הכוח הגדול של התוכן החבוי ברשתות חברתיות לא רק יצליחו "להרגיש" את השטח יותר טוב כדי להגן על המותג והתדמית, אלא עם שימוש נכון, יוכלו גם לנצל שיחות אלה למטרת קידום חדשנות מונעת-לקוחות.