Perte par entropie croisée binaire Calculator
Fonction de perte pour la classification.
Formula first
Overview
La perte par entropie croisée binaire, ou Log Loss, quantifie la différence entre deux distributions de probabilité : les étiquettes binaires réelles et les probabilités prédites. Elle applique une forte pénalité logarithmique aux prédictions confiantes mais incorrectes, guidant les algorithmes d'optimisation comme la descente de gradient pour améliorer la précision du modèle.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Cette fonction est spécifiquement conçue pour les tâches de classification binaire où la sortie est une seule valeur de probabilité entre 0 et 1. Elle est le plus souvent utilisée comme fonction objectif pour la régression logistique et les réseaux de neurones qui utilisent une activation sigmoïde dans la couche de sortie.
Why it matters: Contrairement à une simple erreur de classification, cette fonction de perte est dérivable, ce qui est essentiel pour la rétropropagation en apprentissage profond. Elle garantit que le modèle est pénalisé plus sévèrement lorsqu'il a « tort avec assurance » que lorsqu'il a « tort avec incertitude », ce qui conduit à des prédictions probabilistes plus robustes.
Avoid these traps
Common Mistakes
- Utiliser un logarithme en base 10 (utiliser le logarithme naturel).
- p=0 ou p=1 exactement (provoque l'infini).
One free problem
Practice Problem
Un modèle de diagnostic médical prédit une probabilité de 0.85 qu'un patient ait une affection spécifique. Si le patient a effectivement cette affection (y=1), calculez la perte par entropie croisée binaire.
Hint: Puisque y=1, la formule se simplifie en L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning