Divergencia KL (Bernoulli) Calculator

Formula first

Overview

La divergencia KL de Bernoulli mide la entropía relativa entre dos distribuciones de Bernoulli, cuantificando la información perdida cuando la distribución q se usa para aproximar la distribución p. Es una métrica no simétrica que caracteriza la distancia estadística entre dos resultados binarios en un espacio de probabilidad compartido.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Esta ecuación es esencial al evaluar el rendimiento de clasificadores binarios o al comparar un modelo teórico con frecuencias binarias observadas. Se aplica frecuentemente en el aprendizaje automático como un componente de funciones de pérdida como la Entropía Cruzada Binaria y en el contexto de la selección de modelos basada en la teoría de la información.

Why it matters: Proporciona una forma rigurosa de medir la 'sorpresa' o el costo adicional incurrido al asumir un conjunto de probabilidades cuando la realidad es diferente. En la práctica, minimizar esta divergencia optimiza la transmisión de datos y asegura que los modelos predictivos estén lo más cerca posible del proceso real de generación de datos.

Avoid these traps

Common Mistakes

• Intercambiar p y q (cambia el valor).
• Asumir que KL es una métrica de distancia (no es simétrica).

One free problem

Practice Problem

Se sabe que una moneda tiene una probabilidad real de obtener cara de p = 0.5. Si un investigador modela esta moneda con una probabilidad estimada q = 0.2, calcule la Divergencia KL resultante en nats.

Hint: Sustituya los valores en la fórmula usando logaritmos naturales tanto para los términos p/q como para (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory