ש:
אילו נסיבות הביאו לעליית המערכת האקולוגית של Big Data?
ת:ישנם גורמים רבים שתרמו להופעתה של המערכת האקולוגית של הנתונים הגדולים של ימינו, אך קיימת הסכמה כללית כי נתונים גדולים התרחשו בגלל מגוון של עיצובים לחומרה ותוכנה שפשוט אפשרו להתקיים נתונים גדולים.
| וובינר: Big Iron, פגוש Big Data: משחרר נתונים של Mainframe עם Hadoop & Spark הירשם כאן |
ההגדרה המקובלת של נתונים גדולים היא כדלקמן: מערכי נתונים גדולים ומורכבים מספיק בכדי שהם מתגרים בניהול איטרטיבי קל, או בניהול ביד. מערכי נתונים גדולים מזוהים לעתים קרובות כערכות נתונים שלא יכולות להשתלב ברשת מסד נתונים פשוטה, מכיוון שהניתוח שלהם דורש עבודה רבה מדי מצד השרתים המטפלים בנתונים.
עם זאת, חלק מרכזי ממה שיצר נתונים גדולים הוא הרעיון שאנו מכירים כחוק מור, או הכפלה של טרנזיסטורים במעגל כל שנתיים, ויצירת התקני אחסון נתונים קטנים יותר ויותר (כמו גם מעבדים מיקרו-עוצמתיים יותר). . בשילוב עם חוק מור, וכנראה שבגללו, יכולת המחשוב של מערכות תוכנה נגישות הלכה וגברה עד כדי כך שאפילו מחשבים אישיים יכלו להתמודד עם כמויות גדולות בהרבה של נתונים, ומערכות עסקיות ואנגארד החלו להיות מסוגלות להתמודד עם גדלי נתונים לא ניתן להעלות על הדעת רק כמה שנים לפני כן. מערכות אישיות עברו מקילבייט למגה-בייט, ואז לג'יגה-בתים, בתהליך שקוף לצרכנים. מערכות וונגארד עברו מגיגה-בייט לטרט-בייט ופט-בייט, ולסדרי גודל כמו זט-בייט, בדרכים שהיו הרבה פחות שקופות לאזרח הממוצע.
התקדמות נוספת שהתאימה לנתונים גדולים הייתה שינויים בדרכים בהן טיפלו המטפלים בקבוצות נתונים. במקום לעבד ליניארי באמצעות תכנון מסדי נתונים יחסי קונבנציונאלי, המטפלים החלו להשתמש בכלים כמו אפאצ'י חאדווף וקטעי ניהול חומרה קשורים כדי לחסל צווארי בקבוק בתהליכי נתונים.
התוצאה היא עולם הנתונים הגדול בו אנו חיים, בו מאוחסנים ומתוחזקים מערכי נתונים מאסיביים במרכזי נתונים, ונגישים יותר ויותר באמצעות מגוון רחב של טכנולוגיות למגוון רחב של שימושים. ממסחר לאקולוגיה, מתכנון ציבורי לרפואה, נתונים גדולים הופכים לנגישים יותר ויותר. בינתיים, סוכנויות ממשלתיות וארגונים גדולים אחרים עדיין דוחפות את גבולות גדלי הנתונים הגדולים ומיישמות פתרונות מתקדמים עוד יותר.
