الاعتلاج المتقاطع (برنولي) Calculator
الاعتلاج المتقاطع بين برنولي الحقيقي (p) وبرنولي النموذجي (q).
Formula first
Overview
يقوم الاعتلاج المتقاطع لتوزيع برنولي بتحديد مدى تباعد الاحتمال الثنائي الحقيقي p عن الاحتمال المتوقع q. وهو المقياس القياسي المستخدم في التصنيف الثنائي لمعاقبة النماذج بناءً على مدى اختلاف توزيعها المتوقع عن توزيع الهدف الفعلي.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Apply it well
When To Use
When to use: طبق هذه المعادلة عند تقييم نماذج التصنيف الثنائي حيث تكون النتائج حصرية بشكل متبادل. إنها دالة الخسارة الأساسية المستخدمة أثناء تدريب نماذج الانحدار اللوجستي والشبكات العصبية الثنائية.
Why it matters: تتفوق هذه الدالة على متوسط الخطأ التربيعي للتصنيف لأنها توفر تدرجات أقوى عندما يكون النموذج خاطئًا بثقة. وهذا يؤدي إلى تقارب أسرع أثناء عمليات التحسين مثل نزول التدرج.
Avoid these traps
Common Mistakes
- استخدام النسب المئوية بدلاً من الاحتمالات (0.7 وليس 70).
- أخذ اللوغاريتم الطبيعي للصفر (يجب أن تكون q بدقة بين 0 و 1).
One free problem
Practice Problem
يتوقع نموذج تعلم آلة احتمالاً (q) بنسبة 0.7 بأن الصورة تحتوي على قطة. الصورة الفعلية هي قطة بالفعل (p = 1.0). احسب الاعتلاج المتقاطع الثنائي لهذا التوقع بالناتس.
Hint: بما أن p = 1، يصبح الحد (1-p) صفرًا، مما يعني أنك تحتاج فقط إلى حساب -ln(q).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.