الاعتلاج المتقاطع (برنولي)
الاعتلاج المتقاطع بين برنولي الحقيقي (p) وبرنولي النموذجي (q).
This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.
Core idea
Overview
يقوم الاعتلاج المتقاطع لتوزيع برنولي بتحديد مدى تباعد الاحتمال الثنائي الحقيقي p عن الاحتمال المتوقع q. وهو المقياس القياسي المستخدم في التصنيف الثنائي لمعاقبة النماذج بناءً على مدى اختلاف توزيعها المتوقع عن توزيع الهدف الفعلي.
When to use: طبق هذه المعادلة عند تقييم نماذج التصنيف الثنائي حيث تكون النتائج حصرية بشكل متبادل. إنها دالة الخسارة الأساسية المستخدمة أثناء تدريب نماذج الانحدار اللوجستي والشبكات العصبية الثنائية.
Why it matters: تتفوق هذه الدالة على متوسط الخطأ التربيعي للتصنيف لأنها توفر تدرجات أقوى عندما يكون النموذج خاطئًا بثقة. وهذا يؤدي إلى تقارب أسرع أثناء عمليات التحسين مثل نزول التدرج.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Walkthrough
Derivation
اشتقاق الانتروبيا المتقاطعة للمتغيرات بيرنولي
الانتروبيا المتقاطعة هي الاحتمال اللوغاريتمي السالب المتوقع تحت نموذج q عندما تتبع البيانات الاحتمال الحقيقي p.
- متغير ثنائي X∈{0,1}.
- التوزيع الحقيقي: P(X=1)=p.
- توزيع النموذج: Q(X=1)=q.
ابدأ من تعريف الانتروبيا المتقاطعة:
الانتروبيا المتقاطعة هي الاحتمالية اللوغاريتمية السالبة المتوقعة تحت النموذج Q.
اكتب التوقع لـ X=1 و X=0:
باحتمال p تلاحظ 1 (احتمالية لوغاريتمية ln q)، وإلا 0 (احتمالية لوغاريتمية ln(1−q)).
Result
Why it behaves this way
Intuition
تخيل شريطي رسم بياني: أحدهما يمثل الاحتمالات الحقيقية 'p' و '1-p'، والآخر يمثل احتمالات النموذج المتوقعة 'q' و '1-q'.
Signs and relationships
- -: لوغاريتم الاحتمال (قيمة بين 0 و1) يكون دائمًا سالبًا أو صفرًا. تضمن الإشارة السالبة الرائدة أن خسارة الإنتروبيا المتقاطعة هي قيمة موجبة، وهو أمر تقليدي لدوال الخسارة المضمنة في النموذج.
Free study cues
Insight
Canonical usage
تحسب هذه المعادلة قيمة بلا أبعاد، غالبًا ما تُفسَّر بـ 'nats' عند استخدام اللوغاريتم الطبيعي، لتحديد التباعد بين توزيعين احتماليين.
Dimension note
الانتروبيا المتقاطعة هي مقياس بلا أبعاد لمتوسط عدد nats (أو bits، إذا تم استخدام لوغاريتم الأساس 2) المطلوبة لتحديد حدث من توزيع حقيقي، مع ترميز مُحسَّن لتوزيع متوقع
One free problem
Practice Problem
يتوقع نموذج تعلم آلة احتمالاً (q) بنسبة 0.7 بأن الصورة تحتوي على قطة. الصورة الفعلية هي قطة بالفعل (p = 1.0). احسب الاعتلاج المتقاطع الثنائي لهذا التوقع بالناتس.
Hint: بما أن p = 1، يصبح الحد (1-p) صفرًا، مما يعني أنك تحتاج فقط إلى حساب -ln(q).
The full worked solution stays in the interactive walkthrough.
Where it shows up
Real-World Context
في سياق الخسارة اللوغاريتمية المتوقعة عندما يبالغ مرشح البريد العشوائي في تقدير احتمال البريد العشوائي أو يقلل منه، تُستخدم معادلة الاعتلاج المتقاطع (برنولي) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.
Study smarter
Tips
- تأكد من أن القيمة المتوقعة q تقع بدقة بين 0 و 1 لتجنب عمليات اللوغاريتم غير المعرفة.
- لاحظ أن p عادة ما يمثل تسمية الحقيقة الأساسية وعادة ما يكون 0 أو 1.
- تشير قيم الاعتلاج المتقاطع الأقل إلى نموذج أكثر توافقًا مع توزيع البيانات الحقيقي.
Avoid these traps
Common Mistakes
- استخدام النسب المئوية بدلاً من الاحتمالات (0.7 وليس 70).
- أخذ اللوغاريتم الطبيعي للصفر (يجب أن تكون q بدقة بين 0 و 1).
Common questions
Frequently Asked Questions
الانتروبيا المتقاطعة هي الاحتمال اللوغاريتمي السالب المتوقع تحت نموذج q عندما تتبع البيانات الاحتمال الحقيقي p.
طبق هذه المعادلة عند تقييم نماذج التصنيف الثنائي حيث تكون النتائج حصرية بشكل متبادل. إنها دالة الخسارة الأساسية المستخدمة أثناء تدريب نماذج الانحدار اللوجستي والشبكات العصبية الثنائية.
تتفوق هذه الدالة على متوسط الخطأ التربيعي للتصنيف لأنها توفر تدرجات أقوى عندما يكون النموذج خاطئًا بثقة. وهذا يؤدي إلى تقارب أسرع أثناء عمليات التحسين مثل نزول التدرج.
استخدام النسب المئوية بدلاً من الاحتمالات (0.7 وليس 70). أخذ اللوغاريتم الطبيعي للصفر (يجب أن تكون q بدقة بين 0 و 1).
في سياق الخسارة اللوغاريتمية المتوقعة عندما يبالغ مرشح البريد العشوائي في تقدير احتمال البريد العشوائي أو يقلل منه، تُستخدم معادلة الاعتلاج المتقاطع (برنولي) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.
تأكد من أن القيمة المتوقعة q تقع بدقة بين 0 و 1 لتجنب عمليات اللوغاريتم غير المعرفة. لاحظ أن p عادة ما يمثل تسمية الحقيقة الأساسية وعادة ما يكون 0 أو 1. تشير قيم الاعتلاج المتقاطع الأقل إلى نموذج أكثر توافقًا مع توزيع البيانات الحقيقي.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.