Category crossentropy היא פונקציית אובדן המשמשת במשימות סיווג מרובות מחלקות. אלו משימות שבהן דוגמה יכולה להשתייך רק לקטגוריה אחת מתוך הרבה קטגוריות אפשריות, והמודל חייב להחליט איזו. רשמית, הוא נועד לכמת את ההבדל בין שתי התפלגויות הסתברות.
למה להשתמש באנטרופיה צולבת במקום ב-MSE?
ראשית, אנטרופיה צולבת (או הפסד softmax, אבל אנטרופיה צולבת עובדת טוב יותר) היא מדד טוב יותר מ-MSE לסיווג, מכיוון שגבול ההחלטה במשימת סיווג הוא גדול(בהשוואה לרגרסיה). … לבעיות רגרסיה, כמעט תמיד היית משתמש ב-MSE.
מה ההבדל בין אנטרופיה צולבת דלילה לאנטרופיה צולבת קטגורית?
ההבדל היחיד בין אנטרופיה צולבת קטגורית דלילה לאנטרופיה צולבת קטגורית הוא הפורמט של תוויות אמיתיות. כאשר יש לנו בעיית סיווג של תווית יחידה מרובת מחלקות, התוויות סותרות זו את זו עבור כל נתון, כלומר כל הזנת נתונים יכולה להשתייך למחלקה אחת בלבד.
איך אתה מפרש אובדן אנטרופיה צולבת קטגורי?
אנטרופיה צולבת עולה ככל שההסתברות החזויה של מדגם חורגת מהערך האמיתי. לכן, חיזוי הסתברות של 0.05 כאשר לתווית בפועל יש ערך של 1 מגדיל את הפסד האנטרופיה הצולבת. מציין את ההסתברות החזויה בין 0 ל-1 עבור המדגם הזה.
למה אנטרופיה צולבת טובה?
בסך הכל, כפי שאנו יכולים לראות, האנטרופיה הצולבת היא פשוט דרך למדוד את ההסתברות של מודל. האנטרופיה הצולבת שימושית מכיוון שהיא יכולה לתאר את מידת הסבירות למודל ואת פונקציית השגיאה של כל נקודת נתונים. ניתן להשתמש בו גם כדי לתאר תוצאה חזויה בהשוואה לתוצאה האמיתית.
