תוכן עניינים:
הגדרה - מה המשמעות של MapReduce?
MapReduce הוא מודל תכנות שהוצג על ידי גוגל לצורך עיבוד והפקת מערכות נתונים גדולות על אשכולות מחשבים.
גוגל ניסחה לראשונה את המסגרת לצורך הצגת אינדקס דפי האינטרנט של גוגל, והמסגרת החדשה החליפה אלגוריתמי אינדקס קודמים. מפתחים מתחילים מוצאים את מסגרת MapReduce מועילה מכיוון שניתן להשתמש בשגרות ספרייה ליצירת תוכניות מקבילות ללא כל דאגה בנוגע לתקשורת אינסטגרם, ניטור משימות או תהליכי טיפול בכישלונות.
MapReduce פועל על מקבץ גדול של מכונות סחורות וניתן להרחבה ביותר. יש לו כמה צורות יישום המסופקות על ידי שפות תכנות מרובות, כמו Java, C # ו- C ++.
Techopedia מסביר את MapReduce
למסגרת MapReduce שני חלקים:
- פונקציה הנקראת "מפה", המאפשרת לנקודות שונות של האשכול המופץ להפיץ את עבודותיהם
- פונקציה בשם "צמצום", שנועדה לצמצם את הצורה הסופית של תוצאות האשכולות לפלט אחד
היתרון העיקרי של מסגרת MapReduce הוא סובלנות התקלות שלו, בה צפויים דוחות תקופתיים מכל צומת באשכול בסיום העבודה.
משימה מועברת מצומת אחד למשנהו. אם צומת האב מבחינה כי צומת השתק לאורך זמן רב מהצפוי, הצומת הראשי מבצע את תהליך ההקצאה מחדש למשימה הקפואה / מעוכבת.
מסגרת MapReduce נוצרת בהשראת הפונקציות "Map" ו- "Reduce" המשמשות בתכנות פונקציונליות. עיבוד חישובי מתרחש על נתונים המאוחסנים במערכת קבצים או בתוך מסד נתונים, שלוקח קבוצה של ערכי מפתח קלט ומייצר קבוצה של ערכי מפתח פלט.
בכל יום מבוצעות רבות באשכולות של גוגל תוכניות MapReduce ומשרות MapReduce. תוכניות מקבילות אוטומטית ומבוצעות באשכול גדול של מכונות סחורות. מערכת זמן הריצה עוסקת בחלוקה של נתוני הקלט, תזמון ביצוע התוכנית על גבי מערך מכונות, טיפול בתקלות במכונה וניהול תקשורת בין מכונות נדרשת. מתכנתים ללא ניסיון במערכות מקבילות ומופצות יכולות להשתמש בקלות במשאבים של מערכת מבוזרת גדולה.
MapReduce משמש בביצוע grep מבוזר, במיון מבוזר, בהיפוך גרפי קישור באינטרנט, בסטטיסטיקות יומן גישה לאינטרנט, אשכול מסמכים, למידת מכונות ותרגום מכונה סטטיסטי.
