Binäre Kreuzentropie Calculator
Verlustfunktion für binäre Klassifikation.
Formula first
Overview
Die binäre Kreuzentropie misst die Divergenz zwischen zwei Wahrscheinlichkeitsverteilungen, typischerweise den wahren Labels und den vorhergesagten Wahrscheinlichkeiten in einer binären Klassifikationsaufgabe. Sie berechnet einen Verlustwert, der Vorhersagen exponentiell bestraft, je stärker sie vom tatsächlichen Klassenwert abweichen.
Symbols
Variables
L = Loss, y = Actual Label (0/1), p = Predicted Prob
Apply it well
When To Use
When to use: Diese Gleichung ist die Standard-Verlustfunktion für binäre Klassifikationsprobleme, bei denen die Ausgabe eine einzelne Wahrscheinlichkeit zwischen 0 und 1 ist. Sie ist am wirksamsten, wenn sie mit einer Sigmoid-Aktivierungsfunktion in der letzten Schicht eines neuronalen Netzes kombiniert wird.
Why it matters: Sie liefert eine glatte, konvexe Fläche für die Optimierung, sodass der Gradientenabstieg die Modellgewichte effektiv aktualisieren kann. Durch die starke Bestrafung sicherer, aber falscher Vorhersagen zwingt sie das Modell, klarere Grenzen zwischen Klassen zu lernen.
Avoid these traps
Common Mistakes
- p=0 oder p=1 direkt verwenden.
- Den Term (1-y) vergessen.
One free problem
Practice Problem
Ein Modell des maschinellen Lernens identifiziert eine Transaktion als betrügerisch (y = 1). Die vorhergesagte Betrugswahrscheinlichkeit des Modells beträgt 0.85. Berechne den binären Kreuzentropie-Verlust für diese spezifische Vorhersage.
Hint: Wenn y = 1, vereinfacht sich die Formel zu L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
- Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
- Standard curriculum — Machine Learning (Classification Losses)