خسارة الانتروبيا المتقاطعة الثنائية Calculator
دالة الخسارة للتصنيف.
Formula first
Overview
تحدد خسارة الانتروبيا المتقاطعة الثنائية، أو خسارة السجل، الفرق بين توزيعين احتماليين: التسميات الثنائية الفعلية والاحتمالات المتوقعة. تطبق عقوبة لوغاريتمية شديدة على التنبؤات الواثقة ولكن غير الصحيحة، موجهةً خوارزميات التحسين مثل الانحدار التدرجي لتحسين دقة النموذج.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: صُممت هذه الدالة خصيصًا لمهام التصنيف الثنائي حيث يكون الإخراج قيمة احتمال واحدة بين 0 و 1. وتُستخدم عادة كدالة هدف للانحدار اللوجستي والشبكات العصبية التي تستخدم دالة تفعيل سيجمويد في طبقة الإخراج.
Why it matters: بخلاف خطأ التصنيف البسيط، فإن دالة الخسارة هذه قابلة للتفاضل، وهو أمر ضروري للانتشار الخلفي في التعلم العميق. تضمن أن يتم معاقبة النموذج بشدة أكبر لكونه 'واثقًا من الخطأ' بدلاً من كونه 'غير متأكد من الخطأ'، مما يؤدي إلى تنبؤات احتمالية أكثر قوة.
Avoid these traps
Common Mistakes
- استخدام اللوغاريتم الأساس 10 (استخدم اللوغاريتم الطبيعي).
- p=0 أو p=1 بالضبط (يسبب اللانهاية).
One free problem
Practice Problem
يتنبأ نموذج تشخيص طبي باحتمالية 0.85 أن المريض مصاب بحالة معينة. إذا كان المريض مصابًا بالحالة بالفعل (y=1)، فاحسب خسارة الانتروبيا المتقاطعة الثنائية.
Hint: بما أن y=1، تبسط الصيغة إلى L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning