עם כל הבאזז על מרכזי נתונים ענקיים של NSA המחזיקים בגזי מיליוני נתונים על חיינו הפרטיים, יש דבר אחד שלא דיבר עליו הרבה, לפחות ב- CNN. זה כרוך בבעיה הנדסית שצצה יחד עם טכנולוגיית ענן, ביג נתונים ומרכזי אחסון הנתונים הפיזיים המרשימים שנבנים כעת בכל רחבי העולם. אז מה זה? ובכן, לא משנה מי מנהל את אחת ממערכות ה- IT המובילות המפעילות את המתקנים הללו, יש צורך במערכות תוכנה שעוזרות לכל הנתונים הללו להיכנס ולצאת מהצינור במהירות. צורך זה מייצג אחת משאלות או חידות ה- IT המעניינות ביותר העומדות בפני אנשי מקצוע כיום.
כפי שמציינים מומחים רבים, הביקוש הקיצוני של היום לעיבוד נתונים חורג הרבה מהגישות המסורתיות. במילים פשוטות, שימוש במבני וכלים פשוטים בבסיסי נתונים כמו ממשק שאילתות SQL לא יספק מספיק עיבוד או פונקציונליות מספיקים כמו המערכות הקנייניות שהתפתחו במהלך השנים האחרונות. הארכיונים של חברות הטכנולוגיה הגדולות של ימינו זקוקים לטכנולוגיה ניתנת להרחבה. הם זקוקים לכלי עיבוד נתונים שיכולים להזין ולפלט תוצאות בנפח גבוה בהרבה ממה ששרת יחיד יכול להקל עליו. הם זקוקים לפתרונות שניתן לפתח במהירות לצמיחה, פתרונות הכוללים רמות מורכבות של בינה מלאכותית, פתרונות המיועדים לניהול קל על ידי מחלקת IT.
השאלה היא, איך חברות וסוכנויות ממשלתיות כובשות את המגבלות של מסלול הטיפול בנתונים המסורתיים? כאן נסתכל על אפשרות אחת מבטיחה מאוד: תוכנה המטפלת בנתונים גדולים וניהול מרכזי נתונים מרובים.
