תוכן עניינים:
הגדרה - מה המשמעות של אסימון?
אסימון הוא מעשה פירוק רצף של מיתרים לחתיכות כמו מילים, מילות מפתח, ביטויים, סמלים ואלמנטים אחרים הנקראים אסימונים. סמלים יכולים להיות מילים בודדות, ביטויים או אפילו משפטים שלמים. בתהליך האסימון, תווים מסוימים כמו סימני פיסוק מושלכים. האסימונים הופכים לקלט לתהליך אחר כמו ניתוח וכריית טקסטים.
אסימון משמש במדעי המחשב, שם הוא ממלא חלק גדול בתהליך הניתוח הלקסיקלי.
Techopedia מסביר אסימון
האסימון מסתמך בעיקר על היוריסטיקה פשוטה על מנת להפריד בין אסימונים על ידי ביצוע מספר צעדים:
- אסימונים או מילים מופרדים על ידי מרחב לבן, סימני פיסוק או מעברי שורה
- חלל לבן או סימני פיסוק עשויים להיכלל או לא ייכללו בהתאם לצורך
- כל הדמויות שנמצאות במחרוזות רצופות הן חלק מהאסימון. ניתן להכין אסימונים מכל תווי אלפא, תווים אלפא-נומריים או תווים מספריים בלבד.
אסימונים עצמם יכולים להיות גם מפרידים. לדוגמה, ברוב שפות התכנות ניתן למקם מזהים יחד עם מפעילי חשבון ללא רווחים לבנים. למרות שנדמה שזה יופיע כמילה או אסימון יחידה, הדקדוק של השפה רואה למעשה את המפעיל המתמטי (אסימון) כמפריד, כך שגם כאשר אסימונים מרובים נאספים זה בזה, עדיין ניתן להפריד אותם באמצעות המתמטיקה. מפעיל.
