תוכן עניינים:
הגדרה - מה המשמעות של גילוי ידע בבסיסי נתונים (KDD)?
גילוי ידע בבסיסי נתונים (KDD) הוא תהליך גילוי ידע שימושי מאוסף נתונים. טכניקת כריית נתונים זו הנמצאת בשימוש נרחב היא תהליך הכולל הכנת ובחירת נתונים, טיהור נתונים, שילוב ידע קודם במערכות נתונים ופירוש פתרונות מדויקים מהתוצאות שנצפו.
תחומי היישום העיקריים של KDD כוללים שיווק, גילוי הונאה, טלקומוניקציה וייצור.
Techopedia מסביר גילוי ידע במאגרי נתונים (KDD)
באופן מסורתי, כריית נתונים וגילוי ידע בוצעו באופן ידני. ככל שחלף הזמן, כמות הנתונים במערכות רבות גדלה לגודל של טרה-בייט, ולא ניתן היה עוד לשמור עליהם ידנית. יתר על כן, לצורך קיומו המוצלח של עסק כלשהו, גילוי דפוסים בסיסיים בנתונים נחשב חיוני. כתוצאה מכך פותחו מספר כלי תוכנה כדי לגלות נתונים נסתרים ולהניח הנחות, שהיוו חלק מהבינה המלאכותית.
תהליך KDD הגיע לשיאו בעשר השנים האחרונות. כעת יש בו גישות שונות וגילויים לגילוי, הכוללים למידה אינדוקטיבית, סטטיסטיקות בייסיות, אופטימיזציה של שאילתות סמנטיות, רכישת ידע למערכות מומחים ותורת מידע. המטרה הסופית היא לחלץ ידע ברמה גבוהה מנתונים ברמה נמוכה.
KDD כולל פעילויות רב תחומיות. זה כולל אחסון וגישה של נתונים, מדרגות אלגוריתמים למערכות נתונים מסיביות ופרשנות של תוצאות. תהליך ניקוי הנתונים וגישה לנתונים הכלולים במחסני נתונים מקלים על תהליך KDD. בינה מלאכותית תומכת גם ב- KDD על ידי גילוי חוקים אמפיריים מניסויים ותצפיות. התבניות המוכרות בנתונים חייבות להיות תקפות על נתונים חדשים, ולהיות במידה מסוימת של וודאות. דפוסים אלה נחשבים לידע חדש. השלבים המעורבים בתהליך KDD כולו הם:
- זהה את המטרה של תהליך KDD מנקודת מבטו של הלקוח.
- הבן את תחומי היישומים המעורבים ואת הידע הנדרש
- בחר מערך נתוני יעד או קבוצת משנה של דגימות נתונים עליהם מתבצעת הגילוי.
- נקה ועבד נתונים מראש על ידי החלטת אסטרטגיות להתמודדות עם שדות חסרים ושינוי הנתונים בהתאם לדרישות.
- פשט את מערכי הנתונים על ידי הסרת משתנים לא רצויים. לאחר מכן נתח תכונות שימושיות בהן ניתן להשתמש לייצוג הנתונים, בהתאם למטרה או למשימה.
- התאם את יעדי KDD עם שיטות כריית נתונים כדי להציע תבניות נסתרות.
- בחר באלגוריתמים של כריית נתונים כדי לגלות דפוסים נסתרים. תהליך זה כולל החלטה אילו מודלים ופרמטרים עשויים להתאים לתהליך KDD הכולל.
- חפש דפוסי עניין בצורה ייצוגית מסוימת, הכוללים כללי סיווג או עצים, רגרסיה ואשכולות.
- לפרש ידע חיוני מתבניות המכרות.
- השתמש בידע ושילב אותו במערכת אחרת להמשך פעולה.
- תעד אותו וערוך דוחות למעוניינים.
