Entropía Cruzada Binaria Calculator
Función de pérdida para clasificación binaria.
Formula first
Overview
La entropía cruzada binaria mide la divergencia entre dos distribuciones de probabilidad, típicamente las etiquetas verdaderas y las probabilidades predichas en una tarea de clasificación binaria. Calcula un valor de pérdida que penaliza exponencialmente las predicciones a medida que divergen del valor de clase real.
Symbols
Variables
L = Loss, y = Actual Label (0/1), p = Predicted Prob
Apply it well
When To Use
When to use: Esta ecuación es la función de pérdida estándar para problemas de clasificación binaria donde la salida es una probabilidad única entre 0 y 1. Es más efectiva cuando se combina con una función de activación sigmoide en la capa final de una red neuronal.
Why it matters: Proporciona una superficie suave y convexa para la optimización, lo que permite que el descenso de gradiente actualice de manera efectiva los pesos del modelo. Al penalizar fuertemente las predicciones seguras pero incorrectas, obliga al modelo a aprender límites más distintos entre clases.
Avoid these traps
Common Mistakes
- Usar p=0 o p=1 directamente.
- Olvidar el término (1-y).
One free problem
Practice Problem
Un modelo de aprendizaje automático identifica una transacción como fraudulenta (y = 1). La probabilidad predicha de fraude por el modelo es 0.85. Calcule la pérdida de entropía cruzada binaria para esta predicción específica.
Hint: Cuando y = 1, la fórmula se simplifica a L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
- Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
- Standard curriculum — Machine Learning (Classification Losses)