מה זה בדיוק? תיאוריה של ציניק

כל דבר שנראה טוב מכדי להיות אמיתי בדרך כלל הוא. זה יכול להיות המקרה עם אפאצ'י חאדווף, פרויקט הקוד הפתוח המפורסם שעליו כולם מדברים כל הזמן. אז מה, בדיוק, הדבר הזה? שאלה טובה!

מומחים בספק

האנליטיקאי מארק מדסן מ- Third Nature מסמר אותו אל הקיר זמן מה אחורה בקטע חתיך ב- InsideAnalysis.com: "מה זה Hadoop. מה Hadoop הוא לא." כמי שיודע לתכנן פתרונות בעולם האמיתי, ואז בפועל לפרוס אותם, אין להתעלם מעצותיו.

אבל יש כאן זרם עמוק יותר, והזמן קרוב לחשוף את שורשי הצומח המרתק הזה, לראות אם איננו יכולים להשיג נקודת מבט כלשהי על המתרחש ברמת מאקרו יותר. אחרי הכל, הספקים אומרים שזה עניין גדול, ויש כל כך הרבה משתתפים.

העסיקו את המפגינים! (?)

שלוש חברות מחזיקות כיום ברוב השוק המתהווה של Hadoop: Cloudera, Hortonworks ו- MapR. על התדריך האחרון, השנוי במחלוקת למדי באמצעות Boulder BI Brain Trust (#BBBT), העלה ג'ים ווקר מהורטונוורקס את ההערה המסקרנת הזו:

"אתה לא יכול לקדם את הטכנולוגיה אם אתה לא מעסיק את המועסקים!"

בוא שוב?

האם זה לא נשמע כמו משהו שהסנטור פלפטין יכול לומר בסרט של מלחמת הכוכבים?

הסנאטור פלפטין: "העסיק את המועסקים!"

מיניון הסמוך: "אבל, אבל אדוני! תחשוב על הילדים!"

עבור הדיוט שם בחוץ רק מנסה לעשות דברים, המתחילים הם אנשים שמוקדשים לפרויקט קוד פתוח מסוים. לקרן אפאצ'י יש פרוטוקולים קפדניים שבאמצעותם הפרויקטים שלהם עוברים קדימה, וזה לרוב דבר טוב.

עם זאת, ההערה של ווקר מצדיקה בחינה. שאלה מחודדת אחת (בסכנת העלאת ימי גן שעשועים) תהיה: האם זו הבטחה או איום? האם הוא אומר שהורטונוורקס עלול פשוט לקחת את הכדור שלהם ולחזור הביתה?

שיתוף פעולה או תחרות?

הזווית המעניינת אם הפרדוקסלית כאן היא שלפי הדיווחים, מרבית המפגינים בצוות Hadoop (כ -30 בערך בסך הכל) הם של הורטונוורקס וקלודרה - שהם מתחרים. זהו מקרה תחרותי מאוד מוזר.

אז מה הקטע? הנה ניחוש משכיל: Hadoop במידה רבה חייבת את תהילתה לתוכנית חכמה שהגה קבוצה של אנשי הון סיכון בעמק הסיליקון ומהנדסים שבאמת מנסים לגדר את ההימורים שלהם נגד אורקל.

הרעיון הכללי הוא לזרוע את השוק עם בסיס של קוד שניתן לשפר אותו ולחזק אותו באמצעות צי תגי סמרטוט של מפתחים אשר באופן אידיאלי, לאורך זמן, ייצרו כל מיני כלים לניהול נתונים, כולל מוצרי מסדי נתונים. קרנות ההפעלה יכולות להשקיע ולהפיק מזמן יום אחד. אבל ישנם כמה אתגרים רציניים במשחק.

כמו כל המפעלים המונוליטיים, אורקל מוצאת את עצמה לעיתים קרובות על כסאותיהם של שחקן קטן יותר. ומי לא ירצה סתם פרוסה מהכנסותיהם הממטה-נפש? ברבעון האחרון בלבד, אורקל הזמינה ~ 9 מיליארד דולר. אבל מאתגר אדום אדום ומכות אותם הם שתי מציאויות שונות מאוד.

שידור אינטרנט חינם: מה זה Hadoop ולאן הוא הולך? הצטרף לאריק קוואנה, רובין בלור וטקופדיה לדיון באשר לחדאוד שונה בהרבה מלינוקס או SOA, ומדוע עתידה נותר ברובו ללא כתיבה.

בעיות אריזה

העניין עם Hadoop, כשלעצמו, הוא שזה לא פיתרון ארוז בשום אמצעי. במקום זאת, מדובר באוסף מורכב של מודולים המאפשרים למתכנתים באיכות גבוהה למנף אלגוריתמי עיבוד מקבילים מאסיביים לעשות דברים מאוד ספציפיים. אבל אין ממשק משתמש מהודר, והמדריכים הם אכזריים.

הוסף לאתגר הזה את המשוכה הקריטית הזו: אתה זקוק גם לאנשי עסקים שיש להם לפחות הבנה כללית של מה הם יכולים לעשות. אנשים אלו חייבים להיות מסוגלים להעלות רעיונות כיצד ניתן להשתמש בהם, ואז לתקשר למפתחים, אשר חייבים בהמשך לייצר, לבדוק, ליישם ולתמוך ביישומים.

תזמור הריקוד הזה הוא איך קלודרה והורטונוורקס מרוויחים הרבה מכספם. הבעיה היא שרוב הפתרונות שנוצרו בשיטה זו הם ייחודיים, ומתמקדים בדרך כלל במערכות תפעוליות לעומת מערכות אנליטיות. תרגום? דברים כאלה לא ממש מתייחסים למוצרי תוכנה ארוזים.

רווחיות אריזה!

מה שמחזיר אותנו לאורקל. לארי אליסון והנערים מייצרים את חציריהם במכירת מסדי נתונים, חומרה, שירותים ו (חכו לזה …) תוכנות ארוזות. קלודרה כנראה הבינה זאת, ומכאן ההתמקדות שלהם באימפלה. אבל Hortonworks?

נראה שהמודל שלהם מחקה יותר מקרוב את זה של RedHat, האנשים שבנו עסק של מיליארד דולר על גבי מערכת ההפעלה לינוקס. Nary, ספקית גדולה בתעשיית התוכנה הארגונית, אינה כותבת עבור לינוקס, מערכת ההפעלה שלפיה יבמ הובילה את מיקרוסופט במעבר. אבל Hadoop היא לא לינוקס, לא ממרחק רב.

ד"ר ג'פרי מלפסקי, לשעבר ננוטכנולוגולוגיה של חיל הים האמריקני, כיום מדען נתונים עם פאסיק מערכות ומכון PSIKORS, מזקק את הצעת הערך של Hadoop כך:

"Hadoop נהדר לחיפוש, ניתוח מגמות גדול מאוד לתוצאות סטוכסטיות, וסביר להניח שעיבוד מקבילי וחכם מאוד של דברים כמו גרושתי נהג לעשות: חישוב פונקציות של גל מכני קוונטי של מצב מוצק ותגובות כימיות. המדע האמיתי הזה מסתמך על מחשבי-על ועברו מעט לעיבוד מקביל, אך זהו שינוי קשה בגישת התכנות. סטודנטים לתארים מתקדמים צעירים, חכמים ואנרגטיים, יהיו אלה שיגרמו לזה לקרות. אני חושד שמענקי מחקר יתחילו ללכת בכיוון זה עבור כמה חישובים בעלי יכולת חישוב גבוהה. יישומים. "

תבחין שזה לא נשמע כמו אחסון נתונים, בינה עסקית, שילוב נתונים או אפילו נתונים גדולים. זה נשמע כמו מחשבת-על. ומסיבה מעניינת כלשהי, עולמות המחשוב והביון העסקי הגבוהים מעולם לא התנגשו או התכנסו בשום דרך משמעותית.

דרך ארוכה קדימה להורטונוורקס וקלודרה

והנה החדשות הרעות באמת עבור הורטונוורקס ואולי גם קלודרה. הספקים הגדולים כמו יבמ ו- SAP ואורקל וטרדאטה - בלשון המעטה ולצטט את דיירי סטרייטס: "הם לא מטומטמים!" לפני שלוש שנים ויותר, כולם הפיקו אסטרטגיות Hadoop רציניות.

מרכזי בתוכניות אלה הם סוגי הדברים שמשתמשים עסקיים מצפים להם: ממשקי משתמש גרפיים, פונקציונליות גרירה ושחרור, כלי דוגמנות וגילוי, זרימת עבודה, ממשל, אבטחה; בקיצור, כל הקטעים והפריטים ההופכים את תוכנת הארגון לשימושית. וכמובן, לספקים הגדולים הללו יש בסיסי התקנה מסיביים.

למען האמת, קלודרה והורטונוורקס שניהם נחתו על עסקים טובים, אך רק חלק קטן ממה שמשיג אותם שחקנים מרכזיים בכל שנה. בצע את המתמטיקה על כמה המאתגרים גובים מלקוחותיהם, בהשוואה לכמה שסביר התקורה שלהם, והתמונה לא ורודה כל כך. אמנם, זה מתאים לקורס עם חששות תוכנה בשלב מוקדם, אך עדיין …

העתיד של חאדוף?

אז, אולי נראה את גל הרכישות הקלאסי, כמו שהיה לנו באגוזים, כשיבמ קנתה את קוגנוס, אורקל קיבלה את היפריון ו- SAP נתנה את BusinessObjects? אולי, אבל הילדים החדשים בגוש זה אינם בבעלותם של חאופ; הם פשוט לווים את זה. וכפי שמבטיח YARN וטז, מחזורי השחרור ככל הנראה מפגרים אחרי מה שמפיקים הכבדים.

ממש שלשום, אמר בתעשייה פנימית כי הפוליטיקה באפצ'י יכולה להיות צוואר בקבוק רציני. זה לא מפתיע במיוחד, במיוחד כשאתה מחשיב את הדולרים המעורבים - יש מוטיבציה גדולה לחדשנים לשבץ אותו עשיר. והאם מישהו שם לב כיצד נראה כי Chrome עלה על Firefox בפונקציונליות ותפעול בזמן האחרון? מקור סגור, מישהו?

דבר אחד בטוח: המשחק הזה ישחק בכמה דרכים מעניינות. כן, היונקים (קראו: מוכרים קטנים) יכולים לעתים קרובות לעלות על הדינוזאורים; אבל בכל זאת יש תנינים ותנינים בכל רחבי העולם; ואם אתה מעד על אחד שלא מודע, אתה יכול פשוט לגלות כמה חדים יכולות להיות. כמה קרוקס ביחד יכולים אפילו להוריד פיל או שניים.