Divergenza KL (Bernoulli) Calculator

Formula first

Overview

La divergenza KL di Bernoulli misura l'entropia relativa tra due distribuzioni di Bernoulli, quantificando l'informazione persa quando la distribuzione q viene utilizzata per approssimare la distribuzione p. È una metrica non simmetrica che caratterizza la distanza statistica tra due esiti binari attraverso uno spazio di probabilità condiviso.

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: Questa equazione è essenziale quando si valuta la performance dei classificatori binari o quando si confronta un modello teorico con frequenze binarie osservate. Viene frequentemente applicata nel machine learning come componente di funzioni di perdita come la Binary Cross-Entropy e nel contesto della selezione di modelli basata sulla teoria dell'informazione.

Why it matters: Fornisce un modo rigoroso per misurare la 'sorpresa' o il costo aggiuntivo sostenuto assumendo un set di probabilità quando la realtà è diversa. In pratica, minimizzare questa divergenza ottimizza la trasmissione dei dati e garantisce che i modelli predittivi siano il più vicini possibile al vero processo di generazione dei dati.

Avoid these traps

Common Mistakes

• Scambiare p e q (cambia il valore).
• Assumere che KL sia una metrica di distanza (non è simmetrica).

One free problem

Practice Problem

Una moneta è nota per avere una probabilità reale di ottenere testa di p = 0.5. Se un ricercatore modella questa moneta con una probabilità stimata q = 0.2, calcola la risultante Divergenza KL in nats.

Hint: Inserisci i valori nella formula usando logaritmi naturali sia per i termini p/q che per (1-p)/(1-q).

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory