Binärer Kreuzentropie-Verlust Calculator
Verlustfunktion für Klassifikation.
Formula first
Overview
Der binäre Kreuzentropie-Verlust oder Log-Loss quantifiziert den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen: den tatsächlichen binären Labels und den vorhergesagten Wahrscheinlichkeiten. Er belegt Vorhersagen, die selbstsicher, aber falsch sind, mit einer starken logarithmischen Strafe und steuert dadurch Optimierungsalgorithmen wie den Gradientenabstieg, um die Modellgenauigkeit zu verbessern.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Diese Funktion ist speziell für binäre Klassifikationsaufgaben entwickelt, bei denen die Ausgabe ein einzelner Wahrscheinlichkeitswert zwischen 0 und 1 ist. Sie wird am häufigsten als Zielfunktion für logistische Regression und neuronale Netze verwendet, die in der Ausgabeschicht eine Sigmoid-Aktivierungsfunktion nutzen.
Why it matters: Anders als ein einfacher Klassifikationsfehler ist diese Verlustfunktion differenzierbar, was für Backpropagation im Deep Learning essenziell ist. Sie sorgt dafür, dass das Modell stärker bestraft wird, wenn es 'selbstsicher falsch' ist, als wenn es 'unsicher falsch' ist, was zu robusteren probabilistischen Vorhersagen führt.
Avoid these traps
Common Mistakes
- Logarithmus zur Basis 10 verwenden (verwende den natürlichen Logarithmus).
- p=0 oder p=1 genau (führt zu Unendlichkeit).
One free problem
Practice Problem
Ein medizinisches Diagnosemodell sagt mit einer Wahrscheinlichkeit von 0.85 voraus, dass ein Patient eine bestimmte Erkrankung hat. Wenn der Patient die Erkrankung tatsächlich hat (y=1), berechne den binären Kreuzentropie-Verlust.
Hint: Da y=1 gilt, vereinfacht sich die Formel zu L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning