התפתחותם של נתונים גדולים

בראשית שנות האלפיים היה ברור שיש צורך עצום בחדשנות בכל הקשור לנתונים. מגבלות על מה שחברות יכולות לעשות עם הנתונים שלהם מתסכלים על מנהלים ופחתו ביעילות בצורה אדירה. חברות רבות אחסנו כמויות אדירות של מידע, אך פשוט לא הצליחו לנהל, לנתח או לתפעל אותו לטובתן. הלחץ ההולך וגובר זה פינה את מקומו לגבול הנתונים הגדולים.

בשנת 2003 גוגל יצרה את MapReduce, אפליקציית נתונים שאפשרה לחברה לעבד ולנתח מידע על שאילתות החיפוש שלה באלפי שרתים בפרק זמן קצר. התוכנית, הניתנת להרחבה וגם להתאמה, אפשרה לגוגל לבצע אלפי משימות נתונים תוך דקות ספורות, מה ששיפר את הפרודוקטיביות והגדיר מחדש את הגבולות הנתפסים לגבי מה שניתן לעשות עם נתונים. כמעט 10 שנים מאוחר יותר, נתונים גדולים הפכו לעיקרון מרכזי בטכנולוגיית המידע. היקפו מרחיקי הלכת שינו באופן בסיסי את ניהול הנתונים במקום העבודה. אבל מה הביא את ההתפתחות הזו ואיך בדיוק נתונים גדולים ישפיעו על העתיד? חשבנו שלעולם לא תשאלו. (לקריאת רקע גדולה על נתונים גדולים, עיין בביג דאטה: כיצד הוא נלכד, מרוסק ומשמש לקבלת החלטות עסקיות.)

מחפש תשובות לשאלות ביג-נתונים

היופי של MapReduce היה האופן בו הוא פשט משימות מורכבות ביותר. ניתן היה לנהל תקשורת על פני מכונות, ניתן לטפל בכישלונות במערכת וניתן לארגן את נתוני הקלט באופן אוטומטי, תהליך שיוכל לפקח על ידי אנשים שכבר אינם זקוקים למיומנויות טכניות מאוד. בכך שאיפשרה עיבוד נתונים לא רק שאפשר אלא נגישה, גוגל עוררה השראה לשינוי תרבותי בניהול נתונים. לא עבר זמן רב ואלפי חברות גדולות השתמשו ב- MapReduce לנתונים שלהן.

אבל הייתה בעיה אחת: MapReduce היה פשוט מודל תכנות. אמנם זה הקל על היסודות של עיבוד נתונים, אך זה לא היה בעצמו התשובה לחסרונות נתונים קיימים; זה היה רק ​​צעד נחוץ בכיוון הנכון. תאגידים עדיין היו זקוקים למערכת שיכולה לתת מענה לצרכי הנתונים הייחודיים שלהם ולהתעלות מעבר לעיקרי היסוד של ניהול נתונים. בקיצור, הטכנולוגיה הדרושה להתפתחות.

היכנס לחדוף

הזן את Hadoop, תוכנת מסגרת קוד פתוח שנוצרה על ידי מספר מתכנתים, כולל דאג חיתוך. במקום בו MapReduce היה בסיסי ורחב, Hadoop סיפקה ספציפיות מרעננת. חברות יכלו לתכנן אפליקציות מותאמות משלהן אשר עונות על צרכי נתונים בדרכים שאף תוכנה אחרת לא יכלה, והיא בדרך כלל הייתה תואמת למערכות קבצים אחרות. משרד עם מתכנתים מוכשרים יכול לתכנן מערכת קבצים שתשיג משימות ייחודיות עם נתונים שנראו בלתי ניתנים להשגה לפני כן. יתכן שהחלק הטוב ביותר בעניין היה שהמפתחים היו חולקים יישומים ותוכניות זה עם זה שאפשר יהיה להסביר אותם ולשכלל אותם.

על ידי דמוקרטיזציה של משאב כה חשוב, הפכה Hadoop לטרנד. אחרי הכל, כי הרבה תאגידים גדולים, במיוחד חברות מנועי חיפוש, חשו שהם היו זקוקים לזה במשך עשרות שנים! לא עבר זמן רב וענקי מנועי חיפוש כמו יאהו הכריזו על יישום יישומי Hadoop גדולים שייצרו נתונים המשמשים בשאילתות חיפוש ברשת. במה שנראה כמו גל, כמה חברות בולטות הודיעו על אימוץ טכנולוגיה זו למאגרי המידע המסיביים שלהן, כולל פייסבוק, אמזון, פוקס, אפל, eBay ו FourSquare. Hadoop קבעה את התקן החדש לעיבוד נתונים.

ביג דאטה, בעיות גדולות

למרות שההתקדמות בטכנולוגיית הנתונים עיצבה מחדש את האופן שבו חברות מטפלות בנתונים, מנהלים רבים עדיין מוצאים אותם לא מצוידים עבור כל מגוון המשימות הנדרשות. ביולי 2012, אורקל פרסמה סקר שנערך על ידי יותר מ -300 מנהלים ברמת C, שחשפה כי בעוד ש -36 אחוז מהחברות מסתמכות על ה- IT כדי לנהל ולנתח נתונים, 29 אחוז מהן מרגישות שהמערכות שלהם חסרות יכולות מספיקות לפגוש את חברותיהן צרכי. יתכן והממצא הבולט ביותר של המחקר היה ש 93 אחוז מהנשאלים האמינו כי המשרד שלהם מאבד עד 14 אחוז מהכנסותיו בכך שלא הצליח להשתמש בנתונים שנאספו. זה הכנסות שאפשר לבזבז על ייצור מוצרים טובים יותר והעסקת עובדים נוספים. בתקופה בה חברות נאבקות להישאר רווחיות, שיפור נתונים כך שחברות יכולות להיות רווחיות יותר הוא הכרח. מהסקר עולה כי למרות מי שמאמינים שההשפעה של נתונים גדולים על המסחר כבר עברה, ההזדמנויות לצמיחה וקידום שהיא מחזיקה טרם מומשו במלואן.

מה צופן העתיד עבור ביג דאטה

החדשות הטובות הן כי Hadoop ו- MapReduce קיבלו השראה לכלי ניהול נתונים רבים אחרים. חברות חדשות רבות מייצרות פלטפורמות נתונים נרחבות הפועלות על Hadoop, אך מציעות מגוון רחב של פונקציות אנליטיות ושילוב מערכות קל יותר. נראה שתאגידים השקיעו משאבים רבים בכדי להתמודד עם חששות נתונים וההצלחה הכספית של חברות נתונים הייתה ההוכחה לכך. בשנת 2010 רשמו חברות נתונים מכירות קמעונאיות בסך 3.2 מיליארד דולר. מומחים רבים העריכו כי מספר זה יגדל לסכום של 17 מיליארד דולר עד שנת 2015 בלבד. זו עובדה שלא אבדה אצל חלק מחברות הטכנולוגיה הגדולות ביותר. גם יבמ וגם אורקל בילו מיליארדים במהלך החודשים האחרונים לרכישת חברות נתונים. חברות רבות אחרות יבצעו מהלכים דומים בשנים הקרובות ככל שהן ממשיכות להיאבק בנתח שוק תחרותי.

גבול ביג דאטה

כמות הנתונים שנאספים ממשיכה לצמוח באופן אקספוננציאלי, מה שחשש וחלקם נרגשים. החיסרון הוא שבני אדם ימשיכו להיות פרודוקטיביים ומסתגלים ככל שנלמד דברים חדשים על עולמנו באמצעות ניתוח נתונים. החיסרון הוא שיש כמות כה גדולה של נתונים שרבים חוששים שאיננו מסוגלים לאחסן את הכל כראוי, הרבה פחות נכון לנהל אותם כך שהם יכולים להשתמש בכל מי שצריך.

עם זאת, התקדמות בנתונים גדולים יכולה לספק הזדמנויות חסרות תקדים לפתרונות לבעיות דחופות הנוגעות לנתונים. לדוגמה, מומחים הציעו שאם נתונים גדולים ייושמו כראוי תוך שימת דגש על יעילות ואיכות, יהיה לה פוטנציאל לחסוך כ -300 מיליארד דולר בשנה בהוצאות לבריאות בלבד; קמעונאים יוכלו לשפר את מרווחי התפעול שלהם, המגזר הציבורי יכול לספק שירותים טובים יותר ועסקים גדולים יחסכו מיליארדים. וכך, נראה שפתרון בעיות הנתונים שלנו אינו נחוץ רק באולמות המנהלים של החברה, אלא בכל מקום. מה שאומר דברים טובים על עתידם של Big Data - ואולי גם שלנו.