Entropia Incrociata (Bernoulli)
Entropia incrociata tra Bernoulli vero(p) e Bernoulli modello(q).
This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.
Core idea
Overview
L'entropia incrociata per una distribuzione di Bernoulli quantifica la divergenza tra la probabilità binaria vera p e la probabilità predetta q. È la metrica standard utilizzata nella classificazione binaria per penalizzare i modelli in base a quanto la loro distribuzione predetta differisce dalla distribuzione target effettiva.
When to use: Applicare questa equazione quando si valutano modelli di classificazione binaria in cui gli esiti sono mutuamente esclusivi. È la funzione di perdita primaria utilizzata durante l'addestramento di modelli di regressione logistica e reti neurali binarie.
Why it matters: Questa funzione è superiore all'errore quadratico medio per la classificazione perché fornisce gradienti più forti quando il modello è fiducioso nell'errore. Ciò si traduce in una convergenza più rapida durante processi di ottimizzazione come la discesa del gradiente.
Symbols
Variables
H(p,q) = Cross-Entropy, p = True Probability, q = Model Probability
Walkthrough
Derivation
Derivazione della Cross-Entropy per Variabili di Bernoulli
La cross-entropy è la log-probabilità negativa attesa sotto un modello q quando i dati seguono la probabilità vera p.
- Variabile binaria X∈{0,1}.
- Distribuzione vera: P(X=1)=p.
- Distribuzione del modello: Q(X=1)=q.
Parti dalla definizione di cross-entropy:
La cross-entropy è la massima verosimiglianza negativa attesa sotto il modello Q.
Scrivi l'aspettativa per X=1 e X=0:
Con probabilità p osservi 1 (verosimiglianza log ln q), altrimenti 0 (verosimiglianza log ln(1−q)).
Result
Why it behaves this way
Intuition
Immagina due istogrammi: uno rappresenta le probabilità vere 'p' e '1-p', e l'altro rappresenta le probabilità predette dal modello 'q' e '1-q'.
Signs and relationships
- -: Prima spiegazione: il vincolo - in Derivazione della Cross-Entropy per Variabili di Bernoulli stabilisce quale operazione e ammessa e quale lettura va evitata. Prima di usare il risultato numerico, controlla verso, uguaglianza o condizione limite e mantieni coerente il significato della relazione.
Free study cues
Insight
Canonical usage
Uso canonico: This equation calculates a dimensionless value, often interpreted in 'nats' when using the natural logarithm, quantifying the divergence between two probability distributions.
Dimension note
Nota adimensionale: Cross-entropy is a dimensionless measure of the average number of nats (or bits, if a base-2 logarithm is used) required to identify an event from a true distribution, given an encoding optimized for a predicted
One free problem
Practice Problem
Un modello di machine learning predice una probabilità di 0.7 (q) che un'immagine contenga un gatto. L'immagine reale è effettivamente un gatto (p = 1.0). Calcola l'entropia incrociata binaria per questa predizione in nat.
Hint: Poiché p = 1, il termine (1-p) diventa zero, il che significa che devi solo calcolare -ln(q).
The full worked solution stays in the interactive walkthrough.
Where it shows up
Real-World Context
Nel contesto di Log-loss atteso quando un filtro antispam sovrastima o sottostima la probabilità di spam, Entropia Incrociata (Bernoulli) serve a trasformare le misure in un valore interpretabile. Il risultato è importante perché aiuta a valutare il comportamento del modello, il costo dell'algoritmo o la qualità della previsione prima di usare il risultato.
Study smarter
Tips
- Assicurati che il valore predetto q sia strettamente compreso tra 0 e 1 per evitare operazioni logaritmiche indefinite.
- Nota che p solitamente rappresenta l'etichetta ground truth ed è tipicamente 0 o 1.
- Valori di entropia incrociata più bassi indicano un modello che è più allineato con la distribuzione dei dati vera.
Avoid these traps
Common Mistakes
- Usare percentuali invece di probabilità (0.7 non 70).
- Prendere il logaritmo di 0 (q deve essere strettamente tra 0 e 1).
Common questions
Frequently Asked Questions
La cross-entropy è la log-probabilità negativa attesa sotto un modello q quando i dati seguono la probabilità vera p.
Applicare questa equazione quando si valutano modelli di classificazione binaria in cui gli esiti sono mutuamente esclusivi. È la funzione di perdita primaria utilizzata durante l'addestramento di modelli di regressione logistica e reti neurali binarie.
Questa funzione è superiore all'errore quadratico medio per la classificazione perché fornisce gradienti più forti quando il modello è fiducioso nell'errore. Ciò si traduce in una convergenza più rapida durante processi di ottimizzazione come la discesa del gradiente.
Usare percentuali invece di probabilità (0.7 non 70). Prendere il logaritmo di 0 (q deve essere strettamente tra 0 e 1).
Nel contesto di Log-loss atteso quando un filtro antispam sovrastima o sottostima la probabilità di spam, Entropia Incrociata (Bernoulli) serve a trasformare le misure in un valore interpretabile. Il risultato è importante perché aiuta a valutare il comportamento del modello, il costo dell'algoritmo o la qualità della previsione prima di usare il risultato.
Assicurati che il valore predetto q sia strettamente compreso tra 0 e 1 per evitare operazioni logaritmiche indefinite. Nota che p solitamente rappresenta l'etichetta ground truth ed è tipicamente 0 o 1. Valori di entropia incrociata più bassi indicano un modello che è più allineato con la distribuzione dei dati vera.
References
Sources
- Wikipedia: Cross-entropy
- Elements of Information Theory (2nd ed.) by Thomas M. Cover and Joy A. Thomas
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Elements of Information Theory (Cover and Thomas)
- Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
- Goodfellow, Ian, Yoshua Bengio, and Aaron Courville. Deep Learning. MIT Press, 2016.