الاعتلاج المتقاطع الثنائي Calculator

Formula first

Overview

يقيس الاعتلاج المتقاطع الثنائي التباعد بين توزيعين احتماليين، وعادة ما تكون التسميات الحقيقية والاحتمالات المتوقعة في مهمة التصنيف الثنائي. يحسب قيمة خسارة تعاقب التنبؤات بشكل أسي كلما انحرفت عن قيمة الفئة الفعلية.

Symbols

Variables

L = Loss, y = Actual Label (0/1), p = Predicted Prob

Apply it well

When To Use

When to use: هذه المعادلة هي دالة الخسارة القياسية لمشاكل التصنيف الثنائي حيث يكون الإخراج احتمالًا واحدًا بين 0 و 1. وهي الأكثر فعالية عند اقترانها بدالة تفعيل سيجمويد في الطبقة الأخيرة من الشبكة العصبية.

Why it matters: توفر سطحًا أملسًا ومحدبًا للتحسين، مما يسمح للانحدار التدريجي بتحديث أوزان النموذج بكفاءة. من خلال معاقبة التنبؤات الواثقة ولكن غير الصحيحة بشدة، تجبر النموذج على تعلم حدود أكثر تميزًا بين الفئات.

Avoid these traps

Common Mistakes

• استخدام p=0 أو p=1 مباشرة.
• نسيان المصطلح (1-y).

One free problem

Practice Problem

يحدد نموذج التعلم الآلي معاملة على أنها احتيالية (y = 1). الاحتمال المتوقع للاحتيال من النموذج هو 0.85. احسب خسارة الاعتلاج المتقاطع الثنائي لهذا التنبؤ المحدد.

Hint: عندما يكون y = 1، تبسط الصيغة إلى L = -ln(p).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Wikipedia: Cross-entropy
2. Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
3. Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
4. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
5. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
6. Standard curriculum — Machine Learning (Classification Losses)