KL-Divergenz (Bernoulli) Calculator

Formula first

Overview

Die Bernoulli-KL-Divergenz misst die relative Entropie zwischen zwei Bernoulli-Verteilungen und quantifiziert den Informationsverlust, wenn Verteilung q verwendet wird, um Verteilung p zu approximieren. Sie ist eine nicht symmetrische Metrik, die den statistischen Abstand zwischen zwei binären Ergebnissen über einen gemeinsamen Wahrscheinlichkeitsraum charakterisiert.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Diese Gleichung ist essenziell, wenn du die Leistung binärer Klassifikatoren bewertest oder ein theoretisches Modell mit beobachteten binären Häufigkeiten vergleichst. Sie wird häufig im maschinellen Lernen als Bestandteil von Verlustfunktionen wie der binären Kreuzentropie sowie im Kontext informationstheoretischer Modellauswahl verwendet.

Why it matters: Sie liefert eine strenge Methode, um die 'Überraschung' oder die zusätzlichen Kosten zu messen, die entstehen, wenn man von einem Satz Wahrscheinlichkeiten ausgeht, obwohl die Realität anders ist. In der Praxis führt die Minimierung dieser Divergenz zu optimierter Datenübertragung und stellt sicher, dass Vorhersagemodelle dem wahren Datenerzeugungsprozess möglichst nahe kommen.

Avoid these traps

Common Mistakes

• p und q vertauschen (ändert den Wert).
• Annehmen, dass KL eine Distanzmetrik ist (sie ist nicht symmetrisch).

One free problem

Practice Problem

Von einer Münze ist bekannt, dass die wahre Wahrscheinlichkeit für Kopf p = 0.5 beträgt. Wenn ein Forscher diese Münze mit einer geschätzten Wahrscheinlichkeit q = 0.2 modelliert, berechne die resultierende KL-Divergenz in Nats.

Hint: Setze die Werte in die Formel ein und verwende natürliche Logarithmen sowohl für den Term p/q als auch für (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory