Pérdida de Entropía Cruzada Binaria Calculator
Función de pérdida para clasificación.
Formula first
Overview
La Pérdida de Entropía Cruzada Binaria, o Log Loss, cuantifica la diferencia entre dos distribuciones de probabilidad: las etiquetas binarias reales y las probabilidades predichas. Aplica una fuerte penalización logarítmica a las predicciones que son seguras pero incorrectas, guiando a los algoritmos de optimización como el descenso de gradiente a mejorar la precisión del modelo.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Esta función está diseñada específicamente para tareas de clasificación binaria donde la salida es un único valor de probabilidad entre 0 y 1. Se utiliza comúnmente como la función objetivo para la regresión logística y redes neuronales que utilizan una función de activación sigmoide en la capa de salida.
Why it matters: A diferencia del error de clasificación simple, esta función de pérdida es diferenciable, lo cual es esencial para la retropropagación en el aprendizaje profundo. Asegura que el modelo sea penalizado de manera más severa por estar 'seguramente equivocado' que por estar 'inciertamente equivocado', lo que lleva a predicciones probabilísticas más robustas.
Avoid these traps
Common Mistakes
- Usar log base 10 (use logaritmo natural).
- p=0 o p=1 exactamente (causa infinito).
One free problem
Practice Problem
Un modelo de diagnóstico médico predice una probabilidad de 0.85 de que un paciente tenga una condición específica. Si el paciente realmente tiene la condición (y=1), calcule la pérdida de entropía cruzada binaria.
Hint: Dado que y=1, la fórmula se simplifica a L = -ln(p).
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning