מה זה שרשור עבודה? - הגדרה מטכנולוגיה

הגדרה - מה המשמעות של שרשראות עבודה?

שרשור עבודה הוא מונח ב- MapReduce המתייחס להשקת מספר שלבים באותה משימה MapReduce. עם שרשור משרות, העבודה הראשונה שולחת פלט למשרה אחת, ששולחת פלט למשרה הבאה בשרשרת וכן הלאה עד לביצוע המשימה. זוהי סוג של צנרת עבודות של MapReduce כדי להפוך אותם לניהול יותר.

חברת Techopedia מסבירה את שרשור העבודה

שרשור משרות ב- MapReduce מתייחס להפעלת משימות מרובות בעבודה אחת MapReduce אחת.

לדוגמה, שרשרת עבודה עשויה להיות מורכבת מ:

מפה 1> צמצם 1> מפה 2> צמצם 2

היתרון של שרשור העבודה הוא בכך שהיא מבטלת את הצורך בנתוני ביניים בין כל השלבים בצנרת. במובן זה, שרשור העבודה דומה להפניה מחדש של קלט / פלט במעטפת יוניקס. פלט מקישור אחד בשרשרת זורם לכניסה במשימה הבאה בשרשרת. MapReduce מאפשרת למפתחים לציין תלות, או אילו עבודות יש לסיים לפני שהיא מעבדת את העבודות הבאות בשרשרת באמצעות שיחת השיטה addDependingJob ().

זה מקל על מפתח לכתוב תוכנית MapReduce שיכולה לעבד כמויות גדולות של נתונים.