تباين كولباك-ليبلر (برنولي) Calculator

Formula first

Overview

يقيس تباعد كولباك-ليبلر لبرنولي الإنتروبيا النسبية بين توزيعين برنولي، ويحدد مقدار المعلومات المفقودة عند استخدام التوزيع q لتقريب التوزيع p. إنه مقياس غير متماثل يصف المسافة الإحصائية بين نتيجتين ثنائيتين عبر فضاء احتمالي مشترك.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: هذه المعادلة ضرورية عند تقييم أداء مصنفات ثنائية أو عند مقارنة نموذج نظري بترددات ثنائية ملاحظة. يتم تطبيقها بشكل متكرر في التعلم الآلي كمكون لدوال الخسارة مثل الاعتلاج المتقاطع الثنائي وفي سياق اختيار النموذج بناءً على نظرية المعلومات.

Why it matters: توفر طريقة صارمة لقياس 'المفاجأة' أو التكلفة الإضافية المتكبدة عند افتراض مجموعة من الاحتمالات بينما الواقع مختلف. من الناحية العملية، يؤدي تقليل هذا التباعد إلى تحسين نقل البيانات ويضمن أن نماذج التنبؤ قريبة قدر الإمكان من عملية توليد البيانات الحقيقية.

Avoid these traps

Common Mistakes

• تبديل p و q (يغير القيمة).
• افتراض أن تباعد كولباك-ليبلر هو مقياس للمسافة (فهو ليس متماثلاً).

One free problem

Practice Problem

من المعروف أن العملة المعدنية لها احتمال حقيقي لسقوط الرأس p = 0.5. إذا قام باحث بنمذجة هذه العملة باحتمال تقديري q = 0.2، فاحسب تباعد كولباك-ليبلر الناتج بالناتس.

Hint: ضع القيم في الصيغة باستخدام اللوغاريتمات الطبيعية لكل من الحدود p/q و (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory