על ידי צוות Techopedia, 24 בפברואר 2016
טייק אוואי: המארחת רבקה יוז'ויאק דנה בניתוחי זרימה עם מומחים מובילים בענף.
אינך מחובר כרגע. התחבר או הירשם כדי לראות את הסרטון.
רבקה יוז'ויאק: גבירותיי ורבותיי, שלום וברוכים הבאים להוט טכנולוגיות משנת 2016! הכותרת של היום היא "לרתום את צינור האש: להשיג ערך עסקי מהזרמת אנליטיקס". זו רבקה יוז'ויאק. אני הפיקוד השני על מארח שידור ברשת בכל פעם שאריק קוואנה היקר שלנו לא יכול להיות כאן, אז נחמד לראות כל כך הרבה מכם בחוץ היום.
הפרק הזה קצת שונה מהאחרים שלנו. דיברנו על מה שחם וכמובן שהשנה חם. השנים האחרונות היו חמות. תמיד יוצאים דברים חדשים. היום, אנו מדברים על סטרימינג אנליטיקס. הזרמת ניתוחים היא סוג חדש בעצמו. כמובן שטף, נתוני מרכז, נתוני RFID, אלה אינם בהכרח חדשים. אבל בהקשר של ארכיטקטורות נתונים, אנו מתמקדים כל כך בנתונים במנוחה במשך עשרות שנים. מאגרי מידע, מערכות קבצים, מאגרי נתונים - הכל לצורך עיבוד אצווה. אבל עכשיו עם המעבר ליצירת ערך מזרמת נתונים, רגשות נתונים, חלקם קוראים לזה זרמים חיים, הם באמת דורשים ארכיטקטורה מבוססת זרם, לא את הנתונים במנוחות ארכיטקטורות שהורגלנו אליהם והיא צריכה להיות מסוגלת טיפול בבליעה מהירה, בזמן אמת או קרוב לעיבוד בזמן אמת. עליו להיות מסוגל לא רק לאינטרנט של הדברים אלא לאינטרנט של הכל.
כמובן, באופן אידיאלי, יהיה נחמד ששני האדריכלות יחיו זה לצד זה, ביד אחת לשטוף את היד, כביכול. אמנם לנתונים בני הימים, לנתונים בני שבועות, לנתונים בני שנים יש כמובן ערך, ניתוח היסטורי, ניתוח מגמה, אך הנתונים החיים הם אלו שמניעים את האינטליגנציה החיה בימינו וזו הסיבה שהזרמת ניתוחים הפכה כל כך חשובה.
אני מדבר יותר על זה היום. יש לנו מדען הנתונים שלנו, דז בלנשפילד, שמתקשר מאוסטרליה. עכשיו זה מוקדם בבוקר בשבילו. יש לנו את המטפל הראשי שלנו, ד"ר רובין בלור. אלינו מצטרף אנאנד Venugopal, ראש המוצר של StreamAnalytix בחברת Impetus Technologies. הם ממש ממוקדים בפן האנליטיקס הזורם של המרחב הזה.
עם זה, אני הולך להמשיך ולהעביר אותו לד.צ.
דז בלנשפילד: תודה. אני צריך לתפוס שליטה על המסך כאן ולקפוץ קדימה.
רבקה יוז'ויאק: הנה לך.
דז בלנשפילד: בזמן שאנחנו תופסים את השקופיות, הרשו לי רק לכסות את נושא הליבה.
אני הולך לשמור על רמה גבוהה למדי ואשמור על בערך 10 דקות. זה נושא מאוד גדול. השתתפתי באירוע בו בילינו יומיים-שלושה בצלילה בפרטים של מהו עיבוד הזרמים והמסגרות הנוכחיות שאנו מפתחים ומה אמור לעשות ניתוחים בזרמים בעלי נפח גבוה.
אנו הולכים רק להבהיר את כוונתנו על ידי הזרמת ניתוחים ואז להתעמק אם ניתן לגזור ערך עסקי כי זה באמת מה שעסקים מחפשים. הם מסתכלים על כך שאנשים יסבירו להם מהר מאוד ובתמציתיות, היכן אוכל להפיק ערך על ידי יישום צורה של ניתוח על נתוני הזרם שלנו?
מהי ניתוח סטרימינג?
ניתוח זרימה נותן לארגונים דרך להפיק ערך מנתונים בעלי נפח גבוה ומהירות גבוהה שהם הגיעו דרך העסק בצורות שונות בתנועה. ההבדל המשמעותי כאן הוא שיש לנו היסטוריה ארוכה של פיתוח ניתוחים ועדשות ותצוגות של נתונים אותם אנו מעבדים במנוחה במשך עשרות שנים מאז שהומצא המסגרת הראשי. שינוי הפרדיגמה המאסיבי שראינו בשלוש-חמש השנים האחרונות במה שאנחנו מכנים "סולם אינטרנט" מקיש על זרמי הנתונים שנכנסים אלינו בזמן אמת או קרוב בזמן אמת ולא רק מעבד ומחפש מתאם לאירועים או מפעיל אירועים אך מבצע ניתוחים מעמיקים ומפורטים באמת על הזרמים האלה. זה מעבר משמעותי למה שעשינו בעבר וזה איסוף נתונים, הכנסתם למאגר כלשהו, מסדי נתונים גדולים באופן מסורתי עכשיו, מסגרות גדולות של נתונים גדולים כמו פלטפורמת Hadoop וביצוע עיבוד במצב אצווה על זה וקבלת איזושהי תובנה.
יש לנו טוב מאוד לעשות את זה מהר מאוד ולנסות הרבה ברזל כבד על הדברים, אבל אנחנו עדיין ממש לוכדים נתונים, מאחסנים ואז מסתכלים על זה ומקבלים סוג כלשהו של תובנות או ניתוחים על זה. המעבר לביצוע ניתוחים אלו בזמן שהנתונים מוזרמים היה אזור צמיחה חדש ומרתק מאוד לסוגי הדברים שקורים סביב נתונים גדולים. זה דורש גישה שונה לחלוטין רק ללכוד, לאחסן ולעבד ולבצע ניתוחים ב.
אחד המניעים העיקריים למעבר ולמיקוד לביצוע ניתוחים בזרם הוא שתוכלו להשיג ערך עסקי משמעותי מהשגת תובנות אלו במהירות ובקלות יותר ככל שהנתונים מגיעים אליכם, ככל שהמידע הופך לרשות העסק. הרעיון לבצע עיבוד סוף יום כבר אינו רלוונטי בענפים מסוימים. אנו רוצים להיות מסוגלים לבצע את הניתוח תוך כדי תנועה. בסוף היום, אנו כבר יודעים מה קרה כפי שקרה במקום להגיע לסוף היום ולעשות עבודת אצווה 24 שעות ולקבל את התובנות האלו.
ניתוח הזרימה עוסק בהקשה ישר לזרם ההוא בעוד שזרמי נתונים הם בדרך כלל זרמים מרובים עם נפחים גדולים מאוד של נתונים ונתונים המגיעים אלינו בתנועה מאוד, מהר מאוד ולקבל תובנות או אנליטיקס על אותם זרמים שהם באים אלינו לעומת לאפשר את זה לצאת במנוחה ולבצע ניתוחים עליהם.
כפי שציינתי, עשינו עשורים ועשרות שנים של ביצוע מה שאני מכנה אנליטי אצווה. שמתי כאן תמונה ממש מגניבה. זוהי תמונה של ג'נטלמן שעומד מול מחשב מדומה שנוצר על ידי RAND Corporation לפני כל החיים וככה הם ראו מחשב שנראה בבית. מה שמעניין הוא שגם אז היה להם מושג זה של כל החוגים הקטנים האלה והחוגות הללו ייצגו מידע שנכנס מהבית ועובד בזמן אמת ומספר לך מה קורה. דוגמה פשוטה היא מערכת לחץ וטמפרטורה ברומטרית שנוכל לראות היכן אנו רואים מה קורה בזמן אמת. אבל אני מתאר לעצמי שאפילו בדרך ההיא, כאשר RAND Corporation איגדה את המודל הקטן הזה, הם למעשה חשבו כבר על עיבוד נתונים וביצוע אנליטי על זה כשהם מתבצעות בפורמט זרם. אני לא ממש בטוח למה הם שמו גלגל הגה על המחשב, אבל זה די מגניב.
מאז המצאת המדפסת, הסתכלנו על לכידת נתונים וביצוע ניתוחי אצווה עליהם. כפי שאמרתי עם המשמרת הגדולה עכשיו וראינו את זה מהשחקנים הגדולים ברשת שכולנו מכירים, כולם מותגים ביתיים כמו טוויטר, פייסבוק ולינקדאין, אותה התנהגות אינטראקטיבית שיש לנו עם אותם אנשים חברתיים פלטפורמות דורשות לא רק ללכוד, לאחסן ואז לעבד במצב אצווה, אלא למעשה ללכוד ולהניע אנליטיקס תוך כדי תנועה מזרמי הנתונים העוברים. כשאני מציץ משהו, לא רק שהם צריכים ללכוד ולאחסן ולעשות משהו אחר כך, אלא שהם גם צריכים להיות מסוגלים להחזיר אותו מייד לזרם שלי ולשתף אותו עם אנשים אחרים העוקבים אחריי. זהו מודל עיבוד אצווה.
מדוע נרד במסלול זה? מדוע ארגונים ישקיעו זמן, מאמץ וכסף אפילו בהתחשב באתגר של מאמץ אחר הדרך לניתוח זרמים? לארגונים יש רצון מאסיבי זה להשיג רווח ביצועים על פני מתחרותיהם בענפים שהם נמצאים בהם וכי ניתן ליישם רווח ביצועים במהירות באמצעות ניתוח זרמים פשוט וזה יכול להתחיל בנתונים פשוטים בזמן אמת שעוקבים אחר כך שאנו כבר מכיר. קיבלתי שם צילום מסך קטן של גוגל אנליטיקס. זו ככל הנראה אחת הפעמים הראשונות שבאמת קיבלנו את הניתוח הדרוש לצרכנים. אז בזמן שאנשים ביקרו באתר שלך ואתה מקבל את ספירת הלהיטים האלה, עם חתיכה קטנה של JavaScript בתחתית דף האינטרנט שלך ב- HTML משובץ באתר שלך, הקודים הקטנים האלה בוצעו בזמן אמת חזרה לגוגל והם היו ביצוע ניתוחים על זרמי הנתונים הנכנסים מכל עמוד באתר שלך, כל אובייקט באתר שלך בזמן אמת והם שולחים אותו אליך בדף האינטרנט הקטן והחמוד הזה בלוח מחוונים של גרף בזמן אמת, היסטוגרמות קטנות וחמודות תרשים קו המציג מספר X של אנשים שפגעו בדף שלך באופן היסטורי, אבל הנה כמה יש כרגע.
כפי שתוכלו לראות בצילום המסך הזה, כתוב 25 ברגע זה. זה 25 אנשים כרגע בזמן צילום המסך הזה היו בדף הזה. זה הסיכוי האמיתי הראשון ששיחקנו בכלי ניתוח בכיתה לצרכן. אני חושב שהרבה אנשים באמת הבינו את זה. הם פשוט הבינו את הכוח לדעת מה קורה ואיך הם יכולים להגיב לזה. כשאנחנו חושבים על היקף התעופה, מטוסים שטסים מסביב, יש כמו 18, 700 טיסות פנים ביום בארה"ב בלבד. קראתי עיתון לפני זמן מה - לפני כשש או שבע שנים - שכמות הנתונים שהופקו על ידי המטוסים הללו הייתה בערך 200 עד 300 מגה-בייט במודל ההנדסי הישן. בעיצובי המטוסים של ימינו, מטוסים אלה מייצרים כ -500 ג'יגה נתונים או כחצי טרה-בתים לטיסה.
כשאתה מבצע את המתמטיקה מהר מאוד מראשך, 18, 700 טיסות פנים בכל 24 שעות במרחב האווירי של ארה"ב בלבד, אם כל המטוסים המודרניים מייצרים כחצי טרה-בייט, זה 43 עד 44 פטאט של נתונים שעוברים ו זה קורה בזמן שהמטוסים באוויר. זה קורה כשהם נוחתים והם מבצעים מזבלות נתונים. זה הרגע שהם נכנסים לחנות ומעבירים נתונים מלאים מצוותי ההנדסה כדי לבדוק מה קורה במיסבים, בגלגלים ובתוך המנועים. חלק מהנתונים האלה צריכים להיות מעובדים בזמן אמת כדי שיוכלו לקבל החלטות אם יש בעיה אמיתית בזמן שהמטוס היה באוויר או בזמן שהוא בשטח. אתה פשוט לא יכול לעשות זאת במצב אצווה. בענפים אחרים שאנחנו רואים שם סביב פיננסים, בריאות, ייצור והנדסה, הם בוחנים גם איך הם יכולים להגיע עם התובנה החדשה הזו על מה שקורה בזמן אמת לעומת מה שרק מאוחסן במאגרי המידע על טווח.
ישנו גם מושג זה של התמודדות עם נתונים כמו שאני מכנה תוצר מתכלה או סחורה מתכלה - שהרבה נתונים מאבדים ערך לאורך זמן. זה יותר ויותר המקרה עם אפליקציות לניידות וכלי מדיה חברתית מכיוון שמה שאנשים אומרים ומה שמגמה עכשיו זה מה שאתה רוצה להגיב אליו. כשאתה חושב על חלקים אחרים בחיינו באמצעות לוגיסטיקה ומשלוח אוכל מסביב, אנו מבינים את המושג סחורה מתכלה במובן זה. אבל חשוב על הנתונים שעוברים בארגון שלך ועל הערך שיש לו. אם מישהו עושה איתך עסקים כרגע ואתה יכול לקיים אינטראקציה איתם בזמן אמת, אתה לא רוצה לחכות שעה כדי שניתן יהיה ללכוד את הנתונים ולהכניס אותם למערכת כמו Hadoop ואז לחץ על הכפתור הזה, אתה לא תוכל להתמודד עם זה ברגע זה ואתה רוצה לעשות זאת על פי דרישת הלקוח באופן מיידי. יש מונח שתראה צץ הרבה עכשיו בו אנשים מדברים על קיום זרם נתונים זה בזמן אמת שיכול לתת לך התאמה אישית, וכי ההתאמה האישית מתכוונת למערכת שאתה משתמש בה לחוויה האישית שלך. כך שכשאתה מכה בכלי כמו כלי החיפוש של גוגל, למשל, אם אני מבצע שאילתה ואתה מבצע את אותה השאילתה, תמיד, אנחנו לא מקבלים את אותם הנתונים בדיוק. אנו מקבלים במהות את מה שאני מתייחס אליו כחוויה של ידוענים. מטפלים בי באופן חד פעמי. אני מקבל גרסא אישית משלי למתרחש במערכות האלה על סמך הפרופילים והנתונים שאספו עלי והצלחתי לבצע ניתוחים בזמן אמת בזרם.
רעיון זה של נתונים כמצרך מתכלה הוא דבר אמיתי לעת עתה וערכם של נתונים שמצטמצמים עם הזמן הוא משהו שעלינו להתמודד איתו היום. זה לא דבר של אתמול. אני אוהבת את התמונה הזו של דוב התופס סלמון שקופץ מהנהר כי היא באמת מציירת בדיוק את מה שאני רואה בזרימה אנליטית. זה נהר הנתונים המאסיבי הזה שמגיע אלינו, צינור אש אם תרצו, והדוב יושב באמצע הנחל. זה הולך לבצע ניתוחים בזמן אמת על המתרחש סביבו, כך שהוא יכול למעשה להנדס את יכולתו ללכוד את הדג הזה באוויר. זה לא כמו לטבול בזרם ולחטוף אחד. הדבר הזה קופץ באוויר וזה צריך להיות במקום הנכון ובזמן הנכון כדי לתפוס את הדג הזה. אחרת הוא לא אוכל ארוחת בוקר או ארוחת צהריים.
ארגון רוצה לעשות את אותו הדבר עם הנתונים שלהם. הם רוצים לחלץ ערך מכפי שהם כעת כמויות עצומות של נתונים בתנועה. הם רוצים לבצע ניתוחים על נתונים אלה ועל נתונים במהירות גבוהה כך שלא מדובר רק בכמות הנתונים שמגיעה אלינו אלא זו המהירות שבה הם מגיעים מכאן. באבטחה למשל, זה כל הנתבים, המתגים, השרתים, חומת האש וכל האירועים שמגיעים מאותם ועשרות אלפי אם לא מאות אלפי מכשירים, במקרים מסוימים נתונים מתכלים. כשאנחנו חושבים על זה באינטרנט הדברים ובאינטרנט התעשייתי, אנחנו מדברים על מיליונים אם לא מיליארדי חיישנים בסופו של דבר, וככל שהנתונים מגיעים דרכם מבצע ניתוחים, אנו בוחנים כעת לבצע עיבוד אירועים מורכב. לפי סדר גודל ומהירות שמעולם לא ראינו בעבר ואנחנו צריכים להתמודד עם זה היום. עלינו לבנות כלים ומערכות סביב זה. זה אתגר אמיתי עבור ארגונים מכיוון שמצד אחד יש לנו את המותגים הגדולים מאוד שעושים עשה זאת בעצמך, אופים את זה בעצמך, כאשר יש להם את היכולת לעשות את זה ואת מערך המיומנות ואת ההנדסה. אבל עבור הארגון הממוצע, זה לא המקרה. אין להם מערכות מיומנות. אין להם יכולת או זמן ואפילו לא כסף להשקיע בכדי להבין זאת. כולם מכוונים לעבר מושג זה של קבלת החלטות כמעט בזמן אמת.
השתמש במקרים שנתקלתי בהם, והם נמצאים בכל קשת רחבה של כל מגזר שאתה יכול לדמיין, אנשים יושבים ומושיבים תשומת לב ואומרים, כיצד אנו מיישמים כמה ניתוחים על נתוני הזרם שלנו? אנו מדברים על שירותים מקוונים ברשת. ישנן פלטפורמות המדיה החברתית המסורתיות ופיתוח מקוון וקמעונאות מקוונת אלקטרונית - אפליקציות למשל. כולם מנסים להעניק לנו את חווית הסלבריטאים הזו בזמן אמת. אבל כשאנחנו יורדים ליותר משירותי ערימות הטכנולוגיה, שירותי הטלפון, הקול והווידיאו, אני רואה אנשים מסתובבים עם FaceTime בטלפונים. זה פשוט מתפוצץ. זה מרתק את דעתי שאנשים מוציאים את הטלפון לפניהם ומשוחחים עם זרם וידיאו של חבר, לעומת שהם מחזיקים אותו עוד לאוזן. אבל הם יודעים שהם יכולים לעשות את זה והם הסתגלו והם אהבו את החוויה הזו. הפיתוח של יישומים אלה והפלטפורמות שמספקים את אלה נאלצים לבצע ניתוחים בזמן אמת על התנועה הזו ובפרופילי התעבורה, כך שהם יוכלו לעשות דברים פשוטים כמו ניתוב הוידאו בצורה מושלמת כך שאיכות הקול בקול הווידאו שאתה מקבל מספיק כדי לקבל חוויה טובה. אינך יכול לעבד נתונים מסוג זה. זה לא יהפוך את זרם הווידיאו בזמן אמת לשירות פונקציונלי.
בעסקאות פיננסיות יש אתגר ממשלתי. זה לא בסדר להגיע לסוף היום ולגלות שעברת על החוק שמעביר נתונים פרטיים במקום. באוסטרליה יש לנו אתגר מאוד מעניין שבו העברת נתונים הקשורים לפרטיות אל מחוץ לחוף היא לא. אינך יכול לקחת את ה- PID שלי, נתוני הזיהוי האישי הפרטי שלי מהחוף. באוסטרליה יש חוקים שיכולים למנוע את זה מלהתרחש. ספקי שירותים פיננסיים בפרט, שירותי ממשל וסוכנויות, עליהם לבצע ניתוחים בזמן אמת על זרמי הנתונים וההוראות שלהם כדי לוודא שמה שהם מספקים לי לא יעזוב את החופים. כל הדברים צריכים להישאר באופן מקומי. הם חייבים לעשות את זה בזמן אמת. הם לא יכולים לעבור על החוק ולבקש סליחה אחר כך. גילוי הונאה - זה די ברור שאנחנו שומעים עליו בעסקאות כרטיסי אשראי. אך מכיוון שסוג העסקאות שאנו מבצעים בשירותים פיננסיים משתנים מאוד מאוד מהר, ישנם דברים שונים ש- PayPal מבצעים קודם כל באיתור הונאה בזמן אמת, שבהם כסף לא עובר מדבר לדבר, אבל זה עסקה פיננסית בין מערכות. פלטפורמות הצעות מחיר ב- eBay, גילוי הונאה חייבים להיעשות בזמן אמת במשרד סטרימינג.
ישנה מגמה שעוברת כעת לבצע חילוץ ושינוי פעילות עומס בזרמים כך שאנחנו לא רוצים לתפוס שום דבר שיגיע לזרם. אנחנו לא באמת יכולים לעשות זאת. אנשים למדו שנתונים אוהבים להישבר ממש מהר אם נלכוד את הכל. הטריק עכשיו הוא לבצע ניתוחים על הזרמים האלה ולעשות ETL על זה ופשוט ללכוד את מה שאתה צריך, פוטנציאל metadata, ואז לנהוג אנליטי חיזוי שבו אנו יכולים למעשה לומר מה הולך לקרות קצת יותר רחוק בשבילים על מה שאנחנו ראינו זה עתה בזרם על סמך הניתוחים שביצענו על זה.
ספקי האנרגיה והשירותים חווים רצון אדיר זה מצד הצרכנים לתמחור ביקוש. אני יכול להחליט שאני רוצה לקנות כוח ירוק בתקופה מסוימת ביום כי אני פשוט בבית לבד ואני לא משתמש בהרבה מכשירים. אבל אם אעלה מסיבת ארוחת ערב, אולי ארצה להפעיל את כל המכשירים שלי ואני לא רוצה לקנות כוח זול ולחכות שזה יועבר, אבל מוכן לשלם עבור עלות נוספת בכדי לקבל את הכוח הזה. תמחור ביקוש זה במיוחד בשירותים ובמרחב אנרגיה כבר קרה. Uber למשל הוא דוגמא קלאסית לדברים שאתה יכול לעשות כל יום והכול מונע על ידי תמחור ביקוש. יש כמה דוגמאות קלאסיות לכך שאנשים באוסטרליה מקבלים 10, 000 $ תעריפים בגלל הביקוש העצום בערב ראש השנה. אני בטוח שהם התמודדו עם הנושא הזה אבל זרם ניתוחים שמתבצע בזמן אמת בזמן שהם ברכב אומר לכם כמה אני צריך לשלם.
אינטרנט של דברים וזרמי חיישנים - פשוט גירדנו את פני השטח על זה ובאמת פשוט קיימנו את השיחה הבסיסית בנושא זה, אך נראה שינוי מעניין באיך הטכנולוגיה מתמודדת עם זה כי כשאתה מדבר לא כמעט אלפים או עשרות אלפים, אך מאות אלפי מכשירים ומיליארדים של מכשירים הזורמים אליך, כמעט אף אחד מהערימות הטכנולוגיות שיש לנו עכשיו לא תוכנן להתמודד עם זה.
יש כמה נושאים חמים באמת שנראה ברחבי המקום כמו סיכון אבטחה וסייבר. הם אתגרים אמיתיים מאוד עבורנו. יש באינטרנט כלי ממש מסודר שנקרא צפון בו אתה יכול לשבת ולצפות בדף אינטרנט של התקפות סייבר שונות שמתרחשות בזמן אמת. כשאתה מסתכל על זה אתה חושב "הו דף אינטרנט קטן וחמוד ונחמד", אבל אחרי כחמש דקות שם אתה מבין את נפח הנתונים שמערכת זו עושה ניתוחים בכל הזרמים השונים של כל המכשירים השונים ברחבי העולם שמוזנים לתוכם. זה מתחיל לנקוס את המחשבה של איך שהם מבצעים את זה בקצה התקליט הזה בעצם ומספק לך את המסך הקטן והפשוט הזה שאומר לך מה או משהו אחר שתוקף אותו בזמן אמת ואילו סוגים של התקפות. אבל זו דרך קטנה ומסודרת פשוט לקבל טעימה טובה ממה שאנליטיקה של זרמים יכולה לעשות בשבילך בזמן אמת פשוט על ידי צפייה בדף זה וקבלת תחושה של עוצמת הקול והאתגר של נטילת הזרמים, עיבוד שאילתות אנליטיות ב אותם ומייצגים את זה בזמן אמת.
אני חושב שהשיחה שניהלתי להמשך הפגישה הולכת להתייחס לכל אותם דברים עם נוף מעניין אחד, מנקודת מבטי, וזה האתגר של עשה זאת בעצמך, לאפות את זה בעצמך, מתאים כמה מה חד קרן קלאסי שיכול להרשות לעצמו לבנות סוגים כאלה. יש להם מיליארדי דולרים לבנות צוותי הנדסה אלה ולבניית מרכזי הנתונים שלהם. אבל עבור 99.9% מהארגונים בחוץ שרוצים להעניק ערך לעסקים שלהם בניתוח זרמים, הם צריכים לקבל שירות מהמדף. הם צריכים לקנות מוצר מחוץ לקופסה והם בדרך כלל זקוקים לשירות ייעוץ ושירות מקצועי שיעזרו להם ליישם אותו והם משיגים ערך זה בחזרה בעסק ומוכרים אותו בחזרה לעסק כפתרון עבודה.
עם זה אני אחזור אליך, רבקה, כי אני מאמין שזה מה שאנחנו עומדים לכסות בפירוט עכשיו.
רבקה יוז'ויאק: מעולה. תודה רבה לך, דז. זו מצגת נהדרת.
עכשיו, אני אעביר את הכדור לרובין. קח את זה מפה.
רובין בלור: אוקיי. מכיוון שדז עברה את הזוהר הזעיר של עיבוד הזרמים, לא נראה היה לי הגיוני לכסות אותו שוב. אז אני רק מתכוון לנקוט במבט אסטרטגי לחלוטין. מסתכל כמעט מרמה גבוהה מאוד על מה לעזאזל קורה וממקם אותו כי אני חושב שזה עשוי לעזור לאנשים, ובמיוחד לאנשים שאיננו מהוהים בעיבוד נחלים בעומק גדול לפני כן.
עיבוד זרמים קיים כבר הרבה זמן. פעם קראנו לזה CEP. לפני כן היו מערכות בזמן אמת. מערכות בקרת התהליכים המקוריות למעשה עיבדו זרמי מידע - כמובן ששום דבר לא הרחיק לכת כמו בימינו. הגרפיקה הזו שאתה רואה בשקופית כאן; זה מצביע על הרבה דברים בעצם, אבל זה מציין מעל ומעבר לכל דבר אחר - העובדה שיש ספקטרום של איחור המופיע בצבעים שונים כאן למטה. מה שקרה בפועל מאז המצאת המחשוב או המחשוב המסחרי שהגיע ממש בסביבות 1960, הוא שהכל רק הלך ומהיר יותר. פעם היינו יכולים להיות תלויים בדרך שבה זה באמת יוצא אם תרצו בגלים, כי ככה זה נראה. זה למעשה תלוי בזה. מכיוון שהכל מונע על ידי החוק של מור והחוק של מור היה נותן לנו גורם של פי עשרה מהירות במשך תקופה של כשש שנים. ואז ברגע שהגענו לערך 2013, הכל נשבר, ופתאום התחלנו להאיץ בקצב שמעולם לא, שהוא חסר תקדים באופן מוזר. קיבלנו גורם של כעשרה במונחים של עלייה במהירות ולכן הפחתת ההשהיה בערך כל שש שנים. בשש השנים שחלפו מאז שנת 2010 בערך יש לנו מכפיל של לפחות אלף. שלושה סדרי גודל ולא אחד.
זה מה שקרה וזו הסיבה שהתעשייה בדרך זו או אחרת נעה במהירויות פנטסטיות - מכיוון שכן. פשוט עוברים את המשמעות של גרפיקה מסוימת זו, זמני התגובה הם למעשה אגב בקנה מידה אלגוריתמי לאורך הציר האנכי. זמן אמת הוא מהירות מחשב, מהירה יותר מבני אדם. זמנים אינטראקטיביים הם כתומים. זה כאשר אתה מתקשר עם המחשב, שם אתה באמת רוצה עשירית לערך שנייה של השהיה. מעל, יש עסקאות בהן אנו חושבים למעשה על מה שאתה עושה במחשב, אך אם זה יימשך תוך רבע שעה שניות זה יהפוך בלתי נסבל. אנשים פשוט לא יחכו למחשב. הכל נעשה באצווה. הרבה דברים שנעשו בקבוצה יורדים עכשיו היישר אל מרחב העסקאות, היישר אל המרחב האינטראקטיבי או אפילו אל המרחב בזמן אמת. בעוד שקודם לכן, גלי עם כמויות קטנות מאוד של נתונים שנוכל לעשות חלק מזה, אנו יכולים כעת לעשות עם כמויות גדולות מאוד של נתונים בעזרת סביבה המוגדרת מאוד.
אז בעצם, כל אלה אומרים זה באמת זמני העסקה והתגובה האנושית האינטראקטיבית. הרבה מאוד מה שעושים בזרמים כרגע זה ליידע את בני האדם על דברים. חלק זה הולך מהר יותר וזה מודיע דברים היטב כך שזה זמן אמיתי. ואז אנו לוקחים רישיון פשוט ליפול כמו אבן, מה שהופך ניתוחים מיידיים למימשלים ובדרך אגב די נוחים. זה לא רק שהמהירות ירדה והקצה העליון פשוט קרס. ככל הנראה ההשפעה הגדולה ביותר בכל אלה מבין כל היישומים השונים, תוכלו לעשות את כל הניתוחים החזוייים הללו. אני אגיד לך למה עוד רגע.
זו רק חנות החומרה. יש לך תוכנה מקבילה. אנחנו מדברים על זה בשנת 2004. ארכיטקטורה בהרחבה, שבבים מרובי ליבות, הגדלת זיכרון, מעבד הניתן להגדרה. SSDs עכשיו כל כך מהר יותר מאשר מסתובב דיסק. אתה יכול להתמודד עם גל מסתובב למדי. SSDs נמצאים גם בליבות מרובות, כך שוב מהר יותר ויותר. בקרוב יופיע, יש לנו את ה- memristor מ- HP. יש לנו את ה- 3D XPoint של אינטל ומיקרון. ההבטחה לאלה היא שבכל מקרה יגרום לכל להתקדם יותר ויותר. כשאתה חושב למעשה על שתי טכנולוגיות זיכרון חדשות, ששניהם יהפכו את כל היצירה הקטנה והבסיסית, לוח המעגלים הבודד יעבור מהר יותר, אפילו לא ראינו את הסוף.
טכנולוגיית הזרמים, שהיא ההודעה הבאה באמת, כאן כדי להישאר. תצטרך להיות ארכיטקטורה חדשה. כלומר דז הזכיר זאת בכמה נקודות במצגת שלו. במשך עשרות שנים ראינו בארכיטקטורה שילוב של ערימות נתונים וצינורות נתונים. נטינו לעבד את הערימות ונטענו לצנוב את הנתונים בין הערימות. אנו מתקדמים כעת באופן מהותי לקראת מה שאנו מכנים ארכיטקטורת הנתונים למבדה המשלבת עיבוד של זרימת נתונים עם ערימות נתונים. כשאתה מעבד למעשה זרם של אירועים שנכנסים כנגד נתונים היסטוריים כזרמת נתונים או ערימת נתונים, לזה אני מתכוון באדריכלות למבדה. זה בחיתוליו. זה רק חלק מהתמונה. אם אתה מחשיב משהו מורכב כמו אינטרנט של כל מה שדז הזכיר גם כן, תביני למעשה שיש כל מיני בעיות מיקום נתונים - החלטות לגבי מה עליך לעבד בזרם.
העניין שאני באמת אומר כאן הוא שכאשר עיבדנו אצווה, למעשה היינו מעבדים זרמים. פשוט לא יכולנו לעשות זאת בזה אחר זה. אנחנו רק ממתינים עד שיהיה ערימה גדולה של דברים ואז אנו מעבדים את הכל בבת אחת. אנו עוברים למצב בו אנו למעשה יכולים לעבד דברים בזרם. אם אנו יכולים לעבד דברים בזרם, ערימות הנתונים שברשותנו עומדות להיות הנתונים הסטטיים אליהם אנו צריכים להפנות כדי לעבד את הנתונים בזרם.
זה לוקח אותנו לדבר הספציפי הזה. הזכרתי את זה בעבר במצגת כלשהי עם האנלוגיה הביולוגית. הדרך בה הייתי רוצה שתחשבו עליה היא כרגע אנו בני אדם. יש לנו שלוש רשתות מובחנות לעיבוד חזוי בזמן אמת. הם נקראים הסומטיים, האוטונומיים והאנמיים. האנטיק הוא הבטן שלך. מערכת העצבים האוטונומית דואגת לריב וטיסות. זה למעשה דואג לתגובות מהירות לסביבה. הסומטי המשגיח על תנועת הגוף. אלה מערכות בזמן אמת. הדבר המעניין בזה - או שאני חושב שהוא די מעניין - הוא חלק ניבא יותר מכפי שהייתם מדמיינים אי פעם. זה כאילו אתה ממש מסתכל על מסך שנמצא בערך 18 סנטימטרים מהפנים שלך. כל מה שאתה יכול לראות בבירור, כל מה שגופך מסוגל לראות בבירור הוא למעשה מלבן 8 × 10. כל מה שחוץ מזה מטושטש מבחינת גופך, אך המוח שלך ממלא את החסר וגורם לו לא להיות מטושטש. אתה לא רואה טשטוש בכלל. אתה רואה את זה בבירור. המוח שלך בעצם עושה שיטת חיזוי של זרם הנתונים כדי שתוכל לראות את הבהירות הזו. זה סוג של דבר סקרן, אבל אתה יכול בעצם להסתכל על אופן הפעולה של מערכת העצבים ועל הדרך בה אנו מצליחים לעקוף ולהתנהג בצורה סבירה - לפחות חלקנו - בצורה שפויה למדי ולא מתנגשים לדברים כל הזמן.
הכל נעשה על ידי סדרה של סולם ניתוחים עצביים כאן. מה שעומד לקרות הוא שלארגונים יהיה אותו סוג של דבר והם הולכים לבנות את אותו סוג של דברים וזה הולך להיות עיבוד של זרמים כולל הזרמים הפנימיים של הארגון - הדברים שקורים בתוך זה, הדברים שקורים מחוצה לו, התגובות המיידיות שלמעשה צריך להיעשות הם כמובן מאכילים את האדם לקבל החלטות, לגרום לכל אלה לקרות. לשם אנו הולכים, ככל שיכולתי לראות.
אחד הדברים שכתוצאה מכך הוא שרמת אפליקציית הסטרימינג עוברת כשורה. יהיה הרבה יותר נורא ממה שאנחנו רואים עכשיו. כרגע, אנו בוחרים את הפירות הנמוכים לתלויים של ביצוע הדברים המובנים מאליהם.
אז בכל מקרה זו המסקנה כאן. הזרמת ניתוחים היא פעם נישה אך היא הופכת למיינסטרים והיא בקרוב תאומץ באופן כללי.
עם זה אני אחזיר לרבקה.
רבקה יוז'ויאק: תודה רבה, רובין. מצגת נהדרת כרגיל.
אנאנד, אתה הבא. הרצפה שלך.
אנאנד ונווגופל: פנטסטי. תודה.
שמי אנאנד Venugopal ואני ראש המוצר של StreamAnalytix. זה מוצר שמציע אימפטוס טכנולוגיות, מלוס גאטוס, קליפורניה.
לחברת אימפטוס היסטוריה נהדרת להיות ספקית של פתרונות נתונים גדולים עבור ארגונים גדולים. אז למעשה ביצענו מספר יישומי סטרימינג אנליטיים כחברת שירותים ולמדנו הרבה שיעורים. בנוסף עברנו מעבר להפוך לחברת מוצרים ולחברה מונעת פתרונות בשנתיים האחרונות וניתוח הזרמים עומד בראש ההתחייבות בהפיכת אימפטוס לחברה מונעת ברובם. ישנם כמה נכסים קריטיים מאוד מאוד חשובים שאותם אימפטוס פינה בזכות החשיפה שלנו לארגונים, ו StreamAnalytix הוא אחד מהם.
אנחנו 20 שנה בעסק ויש שילוב נהדר של מוצרים ושירותים שעושה לנו יתרון עצום. ו- StreamAnalytix נולד מתוך כל הלקחים שנלמדו מחמש או שישה מיישומי הסטרימינג הראשונים שלנו.
אני אגע בכמה דברים, אבל האנליסטים, דז ורובין, עשו עבודה נהדרת בכיסוי החלל בסך הכל, אז אני הולך לדלג על הרבה תוכן שחופף. אני כנראה אלך מהר. אנו רואים מלבד מקרי סטרימינג אמיתיים שמשתמשים בהאצת אצוות פשוטות, שם ישנם פשוט מאוד תהליכי אצווה חשובים בארגונים. כפי שאתה יכול לראות, כל המחזור הזה של חישה של אירוע וניתוח והפעלתו עליו יכול למעשה לקחת שבועות בארגונים גדולים וכולם מנסים לכווץ אותו לדקות ולפעמים שניות ומיליות שניות. אז כל דבר מהיר יותר מכל כל תהליכי האצווה הללו מועמדים לרכישה עסקית וזה טוב מאוד שערך הנתונים פוחת באופן דרמטי עם הגיל שלהם, כך שיש יותר ערך בחלק הראשוני בשניות שזה עתה קרה. באופן אידיאלי, אם היית יכול לחזות מה עומד לקרות, זה הערך הגבוה ביותר. עם זאת, הדבר תלוי ברמת הדיוק. הערך הבא הגבוה ביותר הוא כאשר הוא נמצא שם כשזה קורה אתה יכול לנתח אותו ולהגיב. כמובן שהערך יורד דרמטית לאחר מכן, ה- BI המגביל העיקרי בו אנו נמצאים.
זה מעניין. ייתכן שתצפה לאיזו תשובה מדעית דרמטית מדוע הזרמת ניתוחים. עם הרבה מקרים, מה שאנחנו רואים זה בגלל שזה אפשרי עכשיו ומכיוון שכולם יודעים שהאצווה ישנה, האצווה משעממת והאצווה לא מגניבה. יש מספיק חינוך שלכולם היה עכשיו על העובדה שיש אפשרות לזרם ולכולם יש את Hadoop עכשיו. כעת מופצות בהפצות Hadoop טכנולוגיית סטרימינג, בין אם זה סטרימינג או סטרימינג או ניצוץ וכמובן תורי הודעות, כמו קפקא וכו '.
חברות שאנו רואים קופצות לתוכן ומתחילות להתנסות במקרים אלו ואנחנו רואים שתי קטגוריות רחבות. לאחד יש קשר לניתוח לקוחות וחוויית לקוח ולאינטיליגנציה התפעולית השנייה. אכנס לחלק מהפרטים על כך מעט אחר כך. כל זווית שירות הלקוחות וחווית הלקוחות ואנחנו ב- Impetus StreamAnalytix עשינו זאת בדרכים רבות ומגוונות. זה באמת עניין של ממש, ממש ללכוד את המעורבות הרב-ערוצית של הצרכן בזמן אמת ולהעניק להם חוויות מאוד מאוד רגישות להקשר. שאינם שכיחים כיום. אם אתם גולשים באינטרנט, באתר בנק אוף אמריקה, ובחנתם כמה מוצרים ואתם פשוט מתקשרים למוקד הטלפוני. האם הם היו אומרים, "היי ג'ו, אני יודע שאתה חקר כמה מוצרים בנקאיים, האם תרצה שאמלא אותך?" אתה לא מצפה לזה היום, אבל זו סוג החוויה שאפשר באמת עם ניתוח זרימה. במקרים רבים זה משנה מאוד, במיוחד אם הלקוח התחיל לחקור דרכים לצאת מהחוזה שלך איתך על ידי בחינת סעיפי סיום מוקדמים או תנאי סיום מוקדם באתר האינטרנט שלך ואז להתקשר ואתה לא יכול ישירות עימם איתם בקשר, אך רק בעקיפין תציע הצעה לגבי קידום כלשהו של קידום מכיוון שהמערכת יודעת שאדם זה בוחן סיום מוקדם ואתה מציע את ההצעה באותה נקודה, אתה יכול מאוד להגן על הלקוח העגום ולהגן על הנכס הזה. .
זו תהיה דוגמה אחת, בנוסף לכך ששירותי לקוחות רבים הם דוגמאות טובות מאוד. אנו מיישמים היום מוריד את העלות במוקד הטלפוני ומספק חוויות לקוחות דרמטיות ומענגות. דז עשה עבודה נהדרת בסיכום חלק ממקרי השימוש. אתה יכול לבהות בתרשים זה למשך מספר דקות. סיווגתי אותו כאנכיות, אופקיות ואזורי קומבו, IoT, אפליקציה סלולרית ומוקד טלפוני. כולם אנכיים ואופקיים. זה תלוי איך מסתכלים על זה. בשורה התחתונה, אנו רואים מידה רבה של שימושים אופקיים הנפוצים למדי בכל אנכי התעשייה ויש מקרי שימוש אנכיים ספציפיים הכוללים שירותים פיננסיים, שירותי בריאות, טלקום, ייצור וכו '. אם אתם באמת שואלים את עצמכם את השאלה או מספרים לעצמכם זה, "אה, אני לא יודע איזה מקרי שימוש יש. אני לא בטוח אם באמת יש ערך עסקי בזרם אנליטי עבור החברה שלי או עבור הארגון שלנו, "תחשוב קשה, תחשוב פעמיים. דברו עם אנשים נוספים מכיוון שיש מקרי שימוש שבחברה שלכם רלוונטיים כיום. אכנס לערך העסקי כיצד בדיוק נגזר הערך העסקי.
בתחתית הפירמידה כאן, יש לך תחזוקה חזויה, ביטחון, הגנה מפני חומרה וכו '. מקרי שימוש מסוג זה מהווים הגנה על הכנסות ונכסים. אם Target היה מגן על הפרת האבטחה שלהם שהתרחשה במשך שעות על גבי שבועות, המינהל יכול היה להציל את עבודתו. זה יכול לחסוך עשרות או מאות מיליוני דולרים וכו '. ניתוח ניתוחי הזרמה בזמן אמת באמת יכול לעזור בהגנה על נכסים אלה ובהגנה על הפסדים. זה ערך מוסף ישיר לעסקים שם.
הקטגוריה הבאה הופכת לרווחית יותר, מורידה את העלות שלך ומפיקת הכנסות רבות יותר מפעילות שוטפת. זו היעילות של הארגון הנוכחי. כל אלה הם קטגוריית מקרי השימוש שאנו מכנים מודיעין תפעולי בזמן אמת, שם אתה מקבל תובנות מעמיקות כיצד מתנהגת הרשת, כיצד מתנהלים פעולות הלקוחות שלך, כיצד התהליך העסקי שלך מתנהג ואתה מצליח לצבוט כל זה בזמן אמת בגלל שאתה מקבל משוב, אתה מקבל התראות. אתה מקבל סטיות, שונות בזמן אמת ותוכל לפעול במהירות ולהפריד בין התהליך שיוצא מגבול.
אתה יכול גם לחסוך הרבה כסף בשדרוגי הון יקרים ובדברים שלדעתך נחוצים ואולי לא נחוצים אם ייעל את שירות הרשת. שמענו על מקרה בו טלקו מרכזי דחה שדרוג של 40 מיליון דולר בתשתית הרשת שלהם מכיוון שהם גילו שיש להם מספיק יכולת לנהל את התנועה הנוכחית שלהם, כלומר באמצעות אופטימיזציה וביצוע טוב יותר של הניתוב החכם של התנועה שלהם ודברים כאלה. כל אלה אפשריים רק עם איזה ניתוח ומנגנון פעולה בזמן אמת הפועל על תובנות אלו בזמן אמת.
הרמה הבאה של ערך מוסף היא up-sell, cross-sell כאשר יש הזדמנויות להרוויח יותר הכנסות ורווחים מהנפקות שוטפות. זו דוגמה קלאסית שרבים מאיתנו יודעים עליהם שחוו היכן, אתם חושבים עליה בחייכם בהם אתם מוכנים לקנות בפועל מוצר שלא מוצע לכם. במקרים רבים, רבים, זה קורה. יש לך בראש דברים שאתה אוהב לקנות שאתה יודע שאתה רוצה לקנות, שיש לך רשימת מטלות או משהו, שאשתך אמרה לך או אם אין לך אישה אבל באמת רצית לקנות ואתה הולך לקניות באתר או שאתה מתקשר בחנות קמעונאית, לחזית החנות פשוט אין את ההקשר, אין לך את האינטליגנציה לחשב את מה שאתה צריך. מכאן שהם לא מבטיחים את העסק שלהם. אם ניתן לפרוס אנליטי סטרימינג בכדי באמת לבצע חיזויים מדויקים ואילו באמת אפשריים לגבי מה שהכי יתאים להקשר הספציפי הזה, לקוח זה בזמן הזה במיקום זה, יש הרבה מכירות ושחזור מכירות וזה שוב מגיע ניתוח סטרימינג - היכולת לקבל החלטת נטייה לגבי מה הלקוח עשוי לרכוש או להגיב אליו ברגע האמת כשיש הזדמנות. זו הסיבה שאני אוהבת את התמונה ההיא שהציבה דז עם הדוב בדיוק כדי לאכול את הדג הזה. זה פחות או יותר.
אנו גם חושבים שקיימת קטגוריה גדולה של שינויים דרמטיים וטרנספורמטיביים בארגון של הצעת מוצרים ושירותים חדשים לחלוטין, המבוססים פשוט על התבוננות בהתנהגות הלקוחות, והכל מבוסס על התבוננות בהתנהגות של מפעל אחר. אם, נניח, טלקו או חברת כבלים באמת שומרים על דפוסי השימוש של הלקוחות באיזה פלח שוק הוא צופה, באיזו תוכנית באיזו שעה וכו ', הם בסופו של דבר יוצרים מוצרים ושירותים שכמעט מתחננים כי בדרך כלשהי. אז כל הרעיון של התנהגות מרובת-מסכים כרגע במקום בו אנו כמעט מקבלים את זה כמובן מאליו שנוכל לראות תוכן טלוויזיה או כבלים באפליקציות הניידות שלנו. כמה מהדוגמאות הללו מגיעות מאותם מוצרים ושירותים חדשים המוצעים לנו.
אכנס, "מהם שיקולי הארכיטקטורה של ניתוח זרימה?" בסופו של דבר זה מה שאנחנו מנסים לעשות. זוהי ארכיטקטורת למבדה בה אתה ממזג את הנתונים ההיסטוריים ואת התובנות בזמן אמת ורואה אותם בו זמנית. זה מה שסיגמא מאפשרת. לכולנו יש כיום ארכיטקטורת האצווה ותמונת הארגון. אנו מסתכלים בערימה מסוג BI וערימת ניצול וארכיטקטורת למבה הוסיפה. כשכבת המהירות או הצורך והלמבה עוסקת במיזוג שתי התובנות הללו ולראות זאת באופן משולב, בצורה עשירה המשלבת את שתי התובנות.
יש פרדיגמה אחרת בשם ארכיטקטורת קאפה שמוצעת במקום בו ההשערה היא ששכבת המהירות היא מנגנון הקלט היחיד שהולך להתקיים בטווח הרחוק יותר. הכל יעבור דרך שכבת המהירות הזו. אפילו לא יהיה מנגנון ETL לא מקוון. כל ETL יקרה. טיהור, ניקוי נתונים, ETL איכותי - כל זה יקרה על הכבל, כי קחו בחשבון שכל הנתונים נולדו בזמן אמת. בשלב מסוים זה היה זמן אמיתי. התרגלנו כל כך לשים את זה על אגמים, על נהרות ואוקיאנוסים, ואז עושים את זה בניתוח סטטי ששכחנו שהנתונים נולדו בשלב מסוים בזמן אמת. כל הנתונים נולדים למעשה כאירוע בזמן אמת שהתרחש בנקודת הזמן ורוב הנתונים כיום על האגם רק הועלו על בסיס הנתונים לניתוח מאוחר יותר וכעת יש לנו את היתרון בארכיטקטורת למבה וקאפה של למעשה לראות אותו, לנתח אותו, לעבד אותו מראש ולהגיב אליו כשהוא מגיע. זה מה שמאפשר טכנולוגיות אלה. כשאתה מסתכל על זה כתמונה כוללת, זה נראה כמו משהו כזה שבו יש Hadoop בפנים, יש MPPs ומחסני נתונים שכבר יש לך.
הסברנו את זה כי חשוב לא רק לדבר על טכנולוגיות חדשות באי. הם צריכים להשתלב. עליהם להיות הגיוניים בהקשר הארגוני הנוכחי, וכספקי פתרונות המשרתים ארגונים אנו רגישים מאוד לכך. אנו עוזרים לארגונים לשלב את כל העניין. ישנם מקורות נתונים בצד השמאלי הנכנסים לשכבות מחלקת הדאופ וגם למחסני הנתונים, כמו גם לשכבה בזמן אמת למעלה וכל אחד מהגורמים הללו הם מחשבי מלאי כפי שניתן לראות ושכבת צריכת הנתונים נמצאת בצד ימין צד. יש מאמץ תמידי להעביר את מרבית הציות, הממשל, האבטחה, ניהול מחזור החיים וכו ', הזמינים כיום - כולם הועברו לטכנולוגיה חדשה זו.
אחד הדברים שזרם אנליטיקס מנסה לעשות, אם אתה מסתכל על הנוף כיום, יש המון דברים שקורים בנוף הטכנולוגיה הזורמת ומבחינת לקוח ארגוני, יש כל כך הרבה דברים להבין. יש כל כך הרבה מה להתעדכן. ישנם מנגנוני איסוף נתונים בצד שמאל - NiFi, Logstash, Flume, Sqoop. ברור שהעליתי כתב ויתור שאומר שזה לא ממצה. נכנס לתורי ההודעות ואז נכנס למנועי הזרימה בקוד הפתוח - סטורם, ספארק סטרימינג, סמזה, פלינק, איפקס, הרון. הרון הוא כנראה עדיין לא קוד פתוח. אני לא בטוח אם זה, מטוויטר. מנועי סטרימינג אלה מובילים או תומכים במרכיב יישומי אנליטי בהתקנה, כגון עיבוד אירועים מורכב, למידת מכונה, ניתוח חזוי, מודול התראה, הזרמת ETL, מסנני פעולות סטטיסטיות העשרה. זה כל מה שאנחנו מכנים כעת מפעילים. הסט של אותם מפעילים כשהם מחוברים יחדיו, יכול להיות שגם מנהג מסוים יסתיים במידה רבה במידת הצורך, ויהפוך ליישום סטרימינג הפועל במנוע סטרימינג.
כחלק מאותה שרשרת רכיבים, עליך גם לאחסן את האינדקס ולאינדקס אותם למסד הנתונים האהוב עליך, לאינדקס המועדף עליך. יתכן שתצטרך להפיץ מטמון ושוב זה מוביל לשכבת הדמיית הנתונים בצד ימין בחלק העליון למוצרים מסחריים או למוצרי קוד פתוח, אך בסופו של דבר אתה זקוק למוצר מסוג כלשהו כדי להמחיש נתונים אלה בזמן אמת. כמו כן, אתה צריך לפעמים להבין יישומים אחרים. כולנו ראינו שהערכים הנגזרים רק מהפעולה שאתה מבצע על התובנה, שפעולה הולכת להיות טריגר מערימה אנליטית לערימת אפליקציות אחרת שאולי שינתה שזה משהו בצד ה- IVR או מפעילה מוקד טלפוני. שיחה יוצאת או משהו כזה. עלינו לשלב מערכות אלה ומנגנון כלשהו עבור אשכול הסטרימינג שלך כדי להפעיל יישומים אחרים של שליחת נתונים במורד הזרם.
זו הערימה הכוללת של מעבר משמאל לימין. אז יש לך את שכבות השירות, את הניטור הבינוני, את שכבת השירות הכללי של האבטחה וכו '. באים לאילו מוצרים יש בחלל הארגוני שלקוחות רואים כמו הפצות של Hadoop שכולם זרמו כמו שאמרתי ויש מסחרי או יחיד פתרונות תומכים שכמובן נמצאים אצל המתחרים שלנו. יש בנוף עוד רבים שאולי לא הזכרנו כאן.
מה שאתה רואה שם הוא באופן כללי המשתמש הארגוני רואה. נוף טכנולוגי מורכב ומתפתח במהירות לעיבוד זרמים, כפי שניתן לראות. עלינו לפשט את הבחירה ואת חוויית המשתמש שלהם. מה שאנחנו חושבים שארגונים באמת צריכים זה ההפשטה הפונקציונלית של כל זה בממשק חד פעמי, ממשק קל לשימוש שמאגד את כל הטכנולוגיות ההן שהופכות את זה ממש פשוט לשימוש ואינו חושף את כל החלקים הנעים ובעיות ההשפלה וסוגיות הביצועים וסוגיות תחזוקת מחזור החיים של הארגון.
הפשטת הפונקציונליות היא אחת. החלק השני הוא הפשטת מנוע הזרם. מנועי הסטרימינג ותחומי הקוד הפתוח מופיעים אחת לשלושה, ארבעה או שישה חודשים. זה היה סטורם זמן רב. סמזה עלה ועכשיו זה ניצוץ ניצוצות. פלינק מרים את ראשו ומתחיל לקבל תשומת לב. אפילו מפת הדרכים של סטרימינג ניצוץ, הם עושים דרך לשימוש פוטנציאלי במנוע אחר לעיבוד אירועים טהור מכיוון שהם גם מבינים ש- Spark תוכנן לאצווה והם עושים דרך בחזון האדריכלות שלהם ובמפת הדרכים שלהם לפוטנציאל שיש להם אחרת מנוע לעיבוד זרמים בנוסף לתבנית המיקרו אצווה הנוכחית בסטרימינג ניצוץ.
זו מציאות שאתה צריך להתמודד איתה שתהיה הרבה התפתחות. אתה באמת צריך להגן על עצמך מפני שטף הטכנולוגיה ההוא. מכיוון שברירת מחדל, תצטרך לבחור אחת ואז לחיות איתה, וזה לא האופטימלי. אם אתה מסתכל על זה בדרך אחרת, אתה נלחם בין, "בסדר, עלי לקנות פלטפורמה קניינית שאין בה נעילה, אין מנוף של קוד פתוח, יכול להיות בעלות גבוהה מאוד ומוגבלת גמישות מול כל מחסומי הקוד הפתוח האלה שבהם היית צריך לעשות זאת בעצמך. "שוב, כמו שאמרתי, זה הרבה עלויות ועיכוב בהגעה לשוק. מה שאנחנו אומרים הוא StreamAnalytix הוא דוגמה אחת לפלטפורמה נהדרת המאגדת את מחלקת הארגונים, ספק אמין, יחיד, שירות מקצועי הנתמך - כל מה שאתה באמת צריך כעסק וכוח הגמישות של המערכת האקולוגית בקוד הפתוח. שם פלטפורמה יחידה מפגישה אותם - Ingest, CEP, אנליטיקה, ויזואליזציה וכל זה.
זה גם עושה דבר מאוד מאוד ייחודי, המאגד הרבה מנועי טכנולוגיה שונים תחת חווית משתמש אחת יחידה. אנחנו באמת חושבים שהעתיד הוא על היכולת להשתמש במנועי סטרימינג מרובים מכיוון שמקרי שימוש שונים באמת דורשים ארכיטקטורות סטרימינג שונות. כמו שרובין אמר, יש קשת שלמה של איחור. אם אתה באמת מדבר על רמת חביון של אלפיות השנייה, עשרות ואף מאות אלפיות השנייה, אתה באמת זקוק לסערה ברגע זה עד שיהיה עוד מוצר בוגר לא פחות לפחות זמן או קלות זמן או מקלים ואחיות של אולי תוך מספר שניות, שלוש, ארבע, חמש שניות, טווח זה, ואז אתה יכול להשתמש בסטרימינג ניצוץ. פוטנציאלית, ישנם מנועים אחרים שיכולים לעשות את שניהם. בשורה התחתונה, בארגון גדול יש מקרי שימוש מכל הסוגים. אתה באמת רוצה שהגישה והכלליות יהיו עם מנועים מרובים עם חווית משתמש אחת וזה מה שאנחנו מנסים לבנות ב StreamAnalytix.
רק מבט מהיר על האדריכלות. אנו הולכים לעבוד על זה מעט, אך למעשה, ישנם מקורות נתונים מרובים שנמצאים בצד שמאל - קפקא, RabbitMQ, Kinesis, ActiveMQ, כל אותם מקורות נתונים ותורי הודעות שנכנסים לפלטפורמת עיבוד הזרם שם אתה צריך להרכיב אפליקציה, שם אתה מקבל גרירה ושחרור ממפעילים כמו תעודות סל, כל הדברים עליהם דיברנו. מתחת יש מספר מנועים. נכון לעכשיו, יש לנו סטרימינג וסימני ניצוץ כפלטפורמת הזרימה היחידה והראשונה בתעשיות עם תמיכה מרובה במנועים. זהו גמישות ייחודית מאוד שאנו מציעים מלבד כל הגמישות האחרת של לוחות מחוונים בזמן אמת. מוטבע מטח מוטבע. יש לנו את השילוב החלק עם אינדקס Hadoop ו- NoSQL, אינדקסים Solr ו- Apache. אתה יכול לנחות למסד הנתונים המועדף עליך ולא משנה מה זה ולבנות יישומים ממש מהר ולהגיע לשוק ממש מהר ולהישאר הוכחה עתידית. זה כל המנטרה שלנו ב StreamAnalytix.
עם זה, אני חושב שאסיים את דברי. אל תהסס לבוא אלינו לשאלות נוספות. אני רוצה לפתוח את הרצפה לדיון בנושא שאלות ותשובות ופאנלים.
רבקה, אליך.
רבקה יוז'ויאק: נהדר, בסדר. תודה רבה לך. דז ורובין, יש לך כמה שאלות לפני שאנחנו מוסרים את זה לקהל שאלות ותשובות?
רובין בלור: יש לי שאלה. אני אחזיר את האוזניות שלי כדי שתוכל לשמוע אותי. אחד הדברים המעניינים, אם הייתם יכולים לומר לי זאת בחביבות, הרבה ממה שראיתי במרחב הקוד הפתוח נראה מה שהייתי אומר לי בוסר. במובן מסוים כן תוכלו לעשות דברים שונים. אבל נראה שאנחנו מסתכלים על תוכנה במהדורה הראשונה או השנייה שהיא במציאות ופשוט תהיתי עם החוויה שלך כארגון, כמה אתה רואה את חוסר הבגרות של סביבת Hadoop כבעייתי או שזה משהו שלא עושה לא ליצור יותר מדי בעיות?
אנאנד ונווגופל: זו מציאות, רובין. אתה צודק לחלוטין. חוסר הבגרות הוא לאו דווקא בתחום היציבות והפונקציות התפקודיות בלבד, אלא אולי גם במקרים מסוימים. אך חוסר הבגרות הוא יותר במוכנות השימוש. מוצרי הקוד הפתוח עם יציאתם ואפילו כפי שהם מוצעים על ידי הפצת Hadoop, הם כולם הרבה מוצרים בעלי יכולות שונות, רכיבים פשוט טפחו זה לזה. הם אינם פועלים יחד בצורה חלקה ואינם מיועדים לחוויית משתמש חלקה שתקבל כמו בנק אוף אמריקה או Verizon או AT&T, לפריסת יישום ניתוח זרימה תוך מספר שבועות. הם לא מיועדים לזה בוודאות. זו הסיבה שבגללה אנו נכנסים. אנו מפגישים את זה ומקלים באמת על הבנה, על פריסה וכו '.
הבגרות התפקודית שלו, אני חושב במידה רבה, היא שם. ארגונים גדולים רבים משתמשים למשל בסערה כיום. ארגונים גדולים רבים משחקים היום עם Spark Streaming. לכל אחד מהמנועים הללו יש את המגבלות שלהם במה שהם יכולים לעשות וזו הסיבה שחשוב לדעת מה אתה יכול ומה אתה לא יכול לעשות עם כל מנוע ואין טעם לשבור את הראש על הקיר ולהגיד "תראה אני בחרתי ב- Spark Streaming וזה לא עובד לי בענף הספציפי הזה. "זה לא הולך לעבוד. ישנם מקרי שימוש בהם הזרמת ניצוץ תהיה האפשרות הטובה ביותר וישנם מקרי שימוש בהם הזרמת ניצוץ עשויה לא לעבוד כלל עבורך. לכן אתה באמת צריך מספר אפשרויות.
רובין בלור: ובכן אתה צריך שיהיו צוותים מומחים על סיפון רוב הדברים. כלומר, אני אפילו לא יודע מאיפה להתחיל עם זה. פעולה משותפת הגיונית של אנשים מיומנים. מעניין אותי איך מעורבות האירוסים ואיך זה קורה. האם זה בגלל שחברה מסוימת היא אחרי יישום ספציפי או שאתה רואה סוג של מה שהייתי מכנה אימוץ אסטרטגי איפה שהם רוצים פלטפורמה שלמה שתעשה הרבה דברים.
אנאנד ונווגופל: אנו רואים דוגמאות לשניהם, רובין. כמה מעשרת המותגים המובילים שכולם מכירים הולכים על זה בצורה אסטרטגית מאוד. הם יודעים שעומדים לרשותם מגוון מקרי שימוש ולכן הם בוחנים פלטפורמות שיתאימו לצורך הזה, שהם מגוון מקרי שימוש שונים באופן רב דיירים שיש לפרוס בארגון. ישנם סיפורי מקרה לשימוש חד-פעמי שמתחילים גם כן. ישנו מקרה שימוש מסוים של פיקוח על פעילויות עסקיות בחברת משכנתאות שאנחנו עובדים עליהן לא הייתם מדמיינים כמקרה לשימוש ראשון, אך זהו הפיתרון או המקרה לשימוש שהם פיתחו ואז חיברנו את הנקודות לזרם . אמרנו, "אתה יודע מה? זה מקרה נהדר לזרמת ניתוחים וככה נוכל ליישם את זה. "ככה זה התחיל. ואז, בתהליך זה, הם מתחנכים ואומרים, "הו וואו, אם אנחנו יכולים לעשות את זה ואם זו פלטפורמה גנרית, נוכל להפריד את היישום, לשכבה לפלטפורמה ולבנות הרבה יישומים שונים על זה פלטפורמה. "
רובין בלור: דז, יש לך שאלות?
אנאנד ונווגופל: דז כנראה במצב אילם.
דז בלנשפילד: התנצלות, אילם. פשוט ניהלתי שיחה טובה בעצמי. רק בעקבות התצפית המקורית על רובין, אתה צודק לחלוטין. אני חושב שהאתגר כעת הוא שלארגונים יש מערכת אקולוגית וסביבה תרבותית והתנהגותית שבה תוכנה בחינם וקוד פתוח היא דבר שידוע להם והם מסוגלים להשתמש בכלים כמו פיירפוקס כדפדפן והיה לה הגון חיים עד שהוא הופך יציב ובטוח. אבל כמה מהפלטפורמות הגדולות מאוד בהן הם משתמשים הן פלטפורמות קנייניות ברמה העסקית. לכן אימוץ מה שאני מחשיב פלטפורמות קוד פתוח אינו תמיד דבר שקל להם להתמודד תרבותית או רגשית. ראיתי את זה רק באימוץ תוכניות קטנות שהיו פרויקטים מקומיים, כדי פשוט לשחק עם נתונים גדולים ואנליטיקה כמושג בסיסי. אני חושב שאחד האתגרים המרכזיים, אני בטוח שראית אותם עכשיו ברחבי הארגונים, הוא הרצון שלהם להשיג את התוצאה אך יחד עם זאת כשהרגל האחת שלהם תקועה בפחית הישנה, שם הם יכולים פשוט לקנות את זה "הכנס מותג גדול" אורקל, יבמ ומיקרוסופט. המותגים החדשים והידועים הללו מגיעים עם פלטפורמות Hadoop ואף יותר מכך. מותגים מרגשים נוספים מגיעים דרכם עם טכנולוגיה מהשורה הראשונה כמו זרם.
מהם סוגי השיחות שניהלתם כאלה או חתכתם? אני יודע שיש לנו נוכחות מסיבית הבוקר ודבר אחד שאני בטוח שעומד בראשם של כולם הוא "איך אני חותך את כל השכבה המאתגרת הזו מהלוח למטה לרמת הניהול, הו, זה קוד פתוח מדי וקצה מדמם מדי? "איך עוברים שיחות עם לקוחות ואיך חותכים עד לאותה נקודה שבה אתה מעביר את אותם סוגים של פחדים כדי לשקול לאמץ את התוכן של StreamAnalytix?
אנאנד Venugopal: למעשה, אנו מוצאים את זה די קל למכור את הצעת הערך שלנו מכיוון שלקוחות מתקדמים באופן טבעי לעבר קוד פתוח כאופציה מועדפת. הם לא סתם מוותרים על עצמם ואומרים, "אוקיי, אני עכשיו הולך לקוד פתוח." הם עוברים למעשה הערכה מאוד מחויבת של מוצר מרכזי, נניח שמדובר ב- IBM או במוצר טיפוסי, כי יש להם יחסי ספקים אלה. הם לא יתייחסו אלינו או אל מנוע הקוד הפתוח כנגד אותו מוצר. הם יעברו שישה עד שמונה עד שתים עשרה שבועות של הערכה. הם ישכנעו את עצמם שיש כאן מידה של ביצועים ויציבות שאני רוצה ואז הם מחליטים ואומרים, "וואו, אתה יודע מה, אני באמת יכול לעשות את זה."
היום למשל, יש לנו טלקו עיקרי אחד שיש בו אנליטיקס זרם הפועל בייצור על גבי חלק גדול מהערמה והם מעריכים זאת מול ספק מוכר מאוד מאוד גדול מאוד והם היו משוכנעים רק לאחר שהוכחנו את כולם הביצועים, היציבות וכל הדברים האלה. הם לא לוקחים את זה כמובן מאליו. הם גילו כי קוד פתוח הוא מוכשר באמצעות הערכותיהם והם מבינים שבמקרה הגרוע, "אולי יש שני מקרים להשתמש בהם אולי אני לא יכול לעשות, אבל רוב מקרי השימוש בהאצה של העסקים שלי כיום הם אפשריים להפליא עם הקוד הפתוח ואנחנו מאפשרים להשתמש בו. אז זו הנקודה המתוקה הגדולה שם. הם רצו את הקוד הפתוח. הם באמת מחפשים לצאת ממצב הנעילה של הספק אליו הם היו רגילים הרבה שנים רבות. ואז הנה אנו באים ואומרים "אתה יודע מה, אנו הופכים את הקוד הפתוח להרבה יותר קל וידידותי לשימוש עבורך."
דז בלנשפילד: אני חושב שהאתגר הנוסף שהמפעלים מוצאים הוא כשהם מכניסים את המכהן המסורתי הם לרוב דור שמאחורי חלק מהקצה המדמם של הדברים המרגשים עליהם אנו מדברים כאן ואני לא מתכוון לזה כ שלילי קל. רק שהמציאות היא שיש להם דור ומסע לעבור כדי לשחרר את מה שהם מחשיבים פלטפורמות יציבות לעבור, פיתוח ישן-בית ספר ומעגלי אינטגרציה של UATN ובדיקות ותיעוד, ושיווק ומכירות. בעוד שבסוג שאתה עושה אני חושב שהדבר שאני מעוניין לחשוב עליו הוא שהסתכל על כמה מהפרסומים האחרונים שלך אמש שעושה עבודות מחקר כלשהן, יש לך את התמהיל הזה איפה שיש לך את יכולת מבחינת ייעוץ מראש וביצוע אך יש לך גם ערימה שתוכל לגלגל בה. לדעתי זה המקום בו המועמדים הולכים להיאבק זמן רב. ראינו רבים מהם כמו שעשיתי בשוק. הם לרוב נמצאים במה שאני מכנה צמתים לתפוסים ואילו ממה שאתה אומר לנו כשאתה בחוץ עושה שיחות אלה ואתה בחוץ מיישם.
האם אתה יכול לתת לנו כמה דוגמאות לכמה מאנכי הגבול שראית אימוץ? לדוגמה, יש באמת סביבה נישה כמו מדע טילים והצבת לוויינים בחלל ואיסוף נתונים ממאדים. יש רק קומץ אנשים שעושים זאת על פני כדור הארץ. אבל יש אנכיים גדולים כמו בריאות, למשל בתחום האווירונאוטיקה, למשלוח ולוגיסטיקה, בייצור והנדסה, מהן כמה דוגמאות לסקטורים גדולים יותר ורחבים יותר מהתעשייה שהיית עד כה שראית ממש טוב אימוץ ב?
אנאנד Venugopal: Telco הוא דוגמה גדולה.
אני רק מתקן במהירות את השקופיות שלי כאן. האם אתה יכול לראות את השקופית כאן, מקרה 4?
זהו מקרה של טלקו גדול שנבלע בנתונים של מערך התיבה ועושה איתו דברים מרובים. הם בוחנים מה הלקוחות באמת עושים בזמן אמת. הם בוחנים היכן מתרחשות שגיאות בזמן אמת בתיבות set-top. הם מנסים ליידע את מוקד הטלפון על כך, אם לקוח זה מתקשר ברגע זה, מידע קישור הקודים מתיבת ה- set-top של הלקוח, מידע על כרטיסי תחזוקה מתאם במהירות בין אם לתיבת ה- set-top של הלקוח הספציפי יש בעיה או אפילו לא לפני כן הלקוח מדבר מילה. כל חברת כבלים, כל טלקו מרכזי מנסה לעשות זאת. הם בולטים את נתוני ה- set-top box, מבצעים ניתוחים בזמן אמת, מבצעים ניתוחים של קמפיינים בכדי שיוכלו להציב את המודעות שלהם. יש מקרה שימוש עצום.
כאמור, יש את חברת המשכנתאות הזו שהיא שוב תבנית גנרית בה מערכות גדולות מעורבות בעיבוד נתונים ממנה. הנתונים הזורמים דרך מערכת A למערכת B למערכת C ואלו עסקים מוסדרים שהכל צריך להיות עקביים. לעיתים קרובות, מערכות אינן מסונכרנות זו עם זו, מערכת אחת אומרת "אני מעבדת מאה הלוואות בשווי כולל של 10 מיליון דולר." המערכת אומרת "לא, אני מעבדת 110 הלוואות של כמה אחרות מספר אחר. "הם צריכים לפתור את זה ממש מהר מכיוון שהם למעשה מעבדים את אותם נתונים ועושים פרשנויות שונות.
בין אם מדובר בכרטיס אשראי, עיבוד הלוואות, הליך עסקי ובין אם מדובר בתהליך עסקי משכנתא או משהו אחר, אנו עוזרים להם לבצע התאמה והתאמה בזמן אמת כדי להבטיח שתהליכים עסקיים אלה יישארו בסינכרון. זהו מקרה שימוש מעניין נוסף. יש קבלן ממשל אמריקני גדול הבוחן את תנועת ה- DNS כדי לבצע איתור חריגות. יש מודל אימונים לא מקוון שהם בנו והם מבצעים את הניקוד על בסיס מודל זה על תנועה בזמן אמת. כמה מאותם מקרי שימוש מעניינים. יש חברת תעופה גדולה שמסתכלת על תורי אבטחה והם מנסים לתת לך את המידע הזה, "היי, זה השער שלך למטוס שלך לטיסה שלך. התור של TSA היום הוא כ 45 דקות לעומת שעתיים לעומת משהו אחר. "אתה מקבל את העדכון הזה מראש. הם עדיין עובדים על זה. מקרה מעניין של IoT מעניין אך מקרה נהדר של הזרמת ניתוחים לכיוון חווית הלקוח.
רבקה יוז'ויאק: זו רבקה. כשאתה נושא מקרי שימוש, יש שאלה נהדרת מחבר הקהל שתהה "האם מחקרי המקרה האלה, האם יוזמות אלה מונעות מהצד האנליטי של מערכות המידע בבית או שמא יותר מונעות מהן העסק שיש לו שאלות או צרכים ספציפיים בראש? "
אנאנד ונווגופל: אני חושב שאנחנו רואים בערך 60 אחוז בערך, 50 אחוז עד 55 אחוז, בעיקר יוזמות טכנולוגיות מאוד פרואקטיביות, נלהבות, שבמקרה יודעים, שבמקרה הם די מיומנים ומבינים דרישות עסקיות מסוימות, וכנראה שיש להם חסות אחת שהם זוהו אך מדובר בצוותי טכנולוגיה שמתכוננים להתקפה של מקרים של שימוש עסקי שעוברים ואז ברגע שהם בונים את היכולת, הם יודעים שהם יכולים לעשות זאת ואז הם עוברים לעסקים ומוכרים זאת באגרסיביות. ב- 30% עד 40 אחוז מהמקרים, אנו רואים שלעסק יש כבר מקרה שימוש מסוים שמתחנן ליכולת ניתוח זרימה.
רבקה יוז'ויאק: זה הגיוני. יש לי שאלה קצת יותר טכנית מחבר קהל. הוא תוהה אם מערכות אלו תומכות בזרמי נתונים מובנים וגם ללא מובנים, כמו משקעים של זרמי טוויטר או פוסטים בפייסבוק בזמן אמת, או האם צריך לסנן אותה בתחילה?
Anand Venugopal: המוצרים והטכנולוגיות עליהם אנו מדברים תומכים באופן מיידי הן בנתונים מובנים והן לא מובנים. הם יכולים להיות מוגדרים. לכל הנתונים יש מבנה כלשהו בין אם זה טקסט או XML או משהו בכלל. יש מבנה כלשהו במונחים שיש הזנת חותמת זמן. יש אולי כתם נוסף שצריך לנתח כדי שתוכל להזרים מנתחים לזרם כדי לנתח את מבני הנתונים. אם זה מובנה, אנחנו פשוט אומרים למערכת, "אוקיי, אם יש ערכים מופרדים בפסיקים והראשון הוא מחרוזת, השני הוא תאריך." אז אנחנו יכולים להזריק את ניתוח האינטליגנציה לשכבות המסך-up לעבד בקלות נתונים מובנים וגם לא מובנים.
רבקה יוז'ויאק: יש לי שאלה נוספת מהקהל. אני יודע שעברנו קצת מעבר לשעה. משתתף זה רוצה לדעת, נראה כי יישומי סטרימינג בזמן אמת עשויים לפתח גם צורך וגם הזדמנות לשילוב בחזרה במערכות עסקאות, מערכות למניעת הונאה שהם מביאים למשל. במקרה כזה, האם יש לשנות את מערכות העסקאות כדי להתאים את זה?
אנאנד ונווגופל: זה מיזוג, נכון? זה מיזוג של מערכות עסקאות. הם הופכים לפעמים למקור הנתונים בו אנו מנתחים עסקאות בזמן אמת ובמקרים רבים בהם נניח שיש זרימת אפליקציות וכאן אני מנסה להציג אתר בדיקת נתונים סטטי ואז במקרה שלנו בו זורם כלשהו ואתה מחפש מסד נתונים סטטי כמו HBase או RDBMS כדי להעשיר את נתוני הזרימה ואת הנתונים הסטטיים יחד כדי לקבל החלטה או תובנה אנליטית.
יש עוד מגמה גדולה בענף שאנו רואים גם - ההתכנסות של OLAP ו- OLTP - וזו הסיבה שיש לך מאגרי מידע כמו קודו ומאגרי זיכרון התומכים בעסקאות וגם בעיבוד אנליטי בו זמנית. שכבת עיבוד הזרם תהיה לגמרי בזיכרון ואנחנו נבדוק או מתממשק לכמה ממאגרי המידע העסקיים הללו.
רבקה יוז'ויאק: עומס עבודה מעורב היה אחד המכשולים האחרונים שקפצו, אני חושב. דז, רובין, לשניכם יש עוד שאלות?
דז בלנשפילד: אני הולך לקפוץ לשאלה אחת אחרונה ולהתעסק בזה אם לא אכפת לך. האתגר הראשון שהארגונים איתם התמודדתי בעשור האחרון בערך מוביל לאתגר המרגש הזה של ניתוח זרמים, הדבר הראשון שהם נוטים להשיב על השולחן כשהתחלנו את השיחה סביב האתגר כולו הוא איפה עושים אנו מקבלים את מערך המיומנות? כיצד ניתן להכשיר מחדש את מערך המיומנות וכיצד אנו משיגים יכולת זו באופן פנימי? לאחר שאימפוז נכנס ונכנס להחזיק אותנו במהלך המסע ואז ליישם כצעד ראשון נהדר וזה הגיוני מאוד לעשות זאת.
אבל עבור ארגון בינוני עד גדול, מהם סוגי הדברים שאתה רואה כרגע כדי להתכונן לזה, לבנות את היכולת הזו באופן פנימי, להשיג כל דבר רק מאוצר מילים בסיסי סביבו ואיזה סוג מסר הם יכולים לעשות איתו הארגון סביב המעבר למסגרת מסוג זה ומגדיר מחדש את הצוות הטכני הקיים שלהם מ- IT ממנכ"ל כדי שיוכלו לנהל את זה בעצמם ברגע שתבנה ותיישם אותה? רק בקצרה, איזה סוג של אתגרים ואיך הם פותרים אותם, הלקוחות שאתה מתמודד איתם, סוגי האתגרים שהם מצאו וכיצד הם עוברים על פיתרון החוויה והידע ההתחברות ההוא והכניסה מחדש כדי להתכונן לזה ולהיות מסוגלים להסתובב באופן מבצעי?
אנאנד ונווגופל: לעתים קרובות, מערכת האנשים הקטנה שמנסה לצאת לקנות פלטפורמת ניתוח זרימה היא כבר חכמה למדי מכיוון שהם מודעים לחדר, הם כבר השיגו את כישורי Hadoop MapReduce שלהם, ומכיוון שהם עובדים בצמוד עם Hadoop ספק הפצה, הם מוכרים. הכל מקבל קפקא, למשל. הם עושים עם זה משהו וסטרימינג או סטרימינג או ניצוץ הם בתחום הקוד הפתוח שלהם. בהחלט, אנשים מכירים זאת או בונים כישורים סביבו. אבל זה מתחיל עם קבוצה קטנה של אנשים שהם מספיק מיומנים וחכמים מספיק. הם משתתפים בכנסים. הם לומדים וכי הם שואלים שאלות אינטליגנטיות לספקים ובמקרים מסוימים הם לומדים עם הספקים. כאשר הספקים באים ומציגים בפגישה הראשונה, הם אולי לא יודעים דברים אבל הם קוראים יחד ואז הם מתחילים לשחק עם זה.
אותה קבוצה קטנה של אנשים היא הגרעין ואז הוא מתחיל לצמוח וכולם מבינים כעת שמקרה השימוש הראשון בעסקים הופעל. שם מתחיל גל וראינו בפסגת הספארק בשבוע שעבר היכן שהיה מפעל גדול כמו קפיטל 1 בחוץ ומלוא עוצמתו. הם בחרו בספארק. הם דיברו על זה. הם מחנכים הרבה מאנשיהם בספארק מכיוון שהם תורמים לכך גם במקרים רבים כמשתמש. אנו רואים אותו דבר עם הרבה מאוד הרבה ארגונים גדולים. זה מתחיל עם כמה סדרות קטנות של אנשים חכמים מאוד ואז זה מתחיל גל של השכלה כוללת ואנשים יודעים שפעם סמנכ"ל בכיר או שפעם מנהל בכיר נמצא בשורה והם רוצים להמר על הדבר הזה והמילה מסתובבת ו כולם מתחילים לאסוף את הכישורים האלה.
דז בלנשפילד: אני בטוח שיש לך זמן פנטסטי לבנות גם את האלופים האלה.
אנאנד ונווגופל: כן. אנו מבצעים חינוך רב כאשר אנו עובדים עם האלופים הראשונים ואנו עורכים קורסים והרבה, רבים עבור הלקוחות הגדולים שלנו חזרנו והיה לנו גלי וגלים של אימונים להביא רבים מהמשתמשים לשלב השימוש במיינסטרים במיוחד באתר Hadoop MapReduce. גילינו שבחברת כרטיסי אשראי גדולה שהיא לקוח משלנו, העברנו לפחות חמש עד שמונה תוכניות הכשרה שונות. יש לנו גם מהדורות קהילתיות בחינם של כל המוצרים הללו כולל שלנו, ארגזי חול שאנשים יכולים להוריד, להתרגל ולחנך את עצמם גם ככה.
דז בלנשפילד: זה כל מה שיש לי הבוקר בשבילך. תודה רבה לך. אני מעניין להפליא לראות את סוגי הדגמים ולהשתמש במקרים שיש לך עבורנו היום. תודה.
אנאנד ונווגופל: נהדר. תודה רבה אנשים
רבקה יוז'ויאק: תודה לכולם שהצטרפו אלינו לשידור האינטרנט הזה של Hot Technologies. היה זה מרתק לשמוע מדז בלנשפילד, ד"ר רובין בלור ומטכנולוגיות אימפטוס, אנאנד ונווגופל. תודה מגישים. תודה לרמקולים ותודה לקהל. יש לנו עוד טכנולוגיות חמות בחודש הבא, אז חפש את זה. אתה תמיד יכול למצוא את התוכן שלנו בארכיון באתר Insideanalysis.com. הכנסנו המון תוכן ל- SlideShare וכמה קטעים מעניינים גם ב- YouTube.
זה הכל אנשים. שוב תודה ותהיה יום טוב. ביי ביי.
