Data & ComputingAprendizaje AutomáticoUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

Pérdida de Entropía Cruzada Binaria

Función de pérdida para clasificación.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

La Pérdida de Entropía Cruzada Binaria, o Log Loss, cuantifica la diferencia entre dos distribuciones de probabilidad: las etiquetas binarias reales y las probabilidades predichas. Aplica una fuerte penalización logarítmica a las predicciones que son seguras pero incorrectas, guiando a los algoritmos de optimización como el descenso de gradiente a mejorar la precisión del modelo.

When to use: Esta función está diseñada específicamente para tareas de clasificación binaria donde la salida es un único valor de probabilidad entre 0 y 1. Se utiliza comúnmente como la función objetivo para la regresión logística y redes neuronales que utilizan una función de activación sigmoide en la capa de salida.

Why it matters: A diferencia del error de clasificación simple, esta función de pérdida es diferenciable, lo cual es esencial para la retropropagación en el aprendizaje profundo. Asegura que el modelo sea penalizado de manera más severa por estar 'seguramente equivocado' que por estar 'inciertamente equivocado', lo que lleva a predicciones probabilísticas más robustas.

Symbols

Variables

y = True Label (0/1), p = Predicted Prob, L = Loss

True Label (0/1)
Variable
Predicted Prob
Variable
Loss
Variable

Walkthrough

Derivation

Derivacion de Pérdida de Entropía Cruzada Binaria

Deriva la pérdida de entropía cruzada binaria como la log-verosimilitud negativa para datos Bernoulli-etiquetados independientes.

  • Los objetivos son etiquetas binarias: \{0,1\}.
  • Las observaciones son independientes (i.i.d. para la factorización de la verosimilitud).
  • La salida del modelo satisface 0 < _i < 1 (probabilidades).
1

Escribir la Verosimilitud de Bernoulli:

Si =1 el término contribuye _i; si =0 contribuye (1-_i). La independencia nos permite multiplicar entre i.

2

Tomar la Log-Verosimilitud:

El logaritmo convierte productos en sumas y facilita la optimización.

3

Convertir a un Objetivo de Minimización:

Minimizar la log-verosimilitud negativa promedio es equivalente a maximizar la verosimilitud; esta es la entropía cruzada binaria.

Result

Source: Standard curriculum — Machine Learning

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

Imagina un paisaje de penalización curvo donde la 'profundidad' de la curva representa la pérdida. El paisaje es plano (pérdida cero) cuando las predicciones coinciden perfectamente con las etiquetas verdaderas, pero cae drásticamente en valles profundos (alto

Term
El valor de pérdida calculado para una sola predicción.
Una pérdida mayor indica una mayor discrepancia entre la probabilidad predicha por el modelo y el resultado real, lo que señala la necesidad de que el modelo ajuste sus parámetros.
Term
La verdadera etiqueta binaria para la instancia (0 para la clase negativa, 1 para la clase positiva).
Representa la verdad fundamental que el modelo pretende predecir correctamente.
Term
La probabilidad predicha por el modelo de que la verdadera etiqueta sea 1 (la clase positiva).
Refleja la confianza del modelo en el resultado positivo, variando de 0 (ciertamente negativo) a 1 (ciertamente positivo).

Signs and relationships

  • -: El logaritmo natural de una probabilidad (un valor entre 0 y 1) es siempre negativo o cero. El signo negativo principal invierte este valor, asegurando que la función de pérdida sea no negativa y pueda minimizarse durante
  • ln(): La función logarítmica impone una fuerte penalización cuando el modelo hace una predicción confiada pero incorrecta. Por ejemplo, si la etiqueta verdadera 'y' es 1 pero 'p' está muy cerca de 0, 'ln(p)' se convierte en un número negativo grande.

Free study cues

Insight

Canonical usage

La pérdida de entropía cruzada binaria es una cantidad adimensional que cuantifica el error entre las probabilidades predichas y las etiquetas binarias verdaderas en tareas de clasificación.

Dimension note

La pérdida de entropía cruzada binaria es inherentemente adimensional porque opera sobre probabilidades y etiquetas binarias, que son cantidades adimensionales.

Ballpark figures

  • Quantity:

One free problem

Practice Problem

Un modelo de diagnóstico médico predice una probabilidad de 0.85 de que un paciente tenga una condición específica. Si el paciente realmente tiene la condición (y=1), calcule la pérdida de entropía cruzada binaria.

Hint: Dado que y=1, la fórmula se simplifica a L = -ln(p).

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

En el caso de training a cat/dog classifier, Binary Cross-Entropy Loss se utiliza para calcular Loss from True Label (0/1) and Predicted Prob. El resultado importa porque ayuda a evaluar la incertidumbre, la dispersión o la evidencia antes de sacar una conclusión de los datos.

Study smarter

Tips

  • Evite probabilidades de entrada de exactamente 0 o 1 para prevenir inestabilidad numérica o logaritmos naturales indefinidos.
  • El valor de pérdida será 0 solo si la probabilidad predicha coincide perfectamente con la etiqueta objetivo.
  • En escenarios multiclase, use Entropía Cruzada Categórica en lugar de esta variación binaria.

Avoid these traps

Common Mistakes

  • Usar log base 10 (use logaritmo natural).
  • p=0 o p=1 exactamente (causa infinito).

Common questions

Frequently Asked Questions

Deriva la pérdida de entropía cruzada binaria como la log-verosimilitud negativa para datos Bernoulli-etiquetados independientes.

Esta función está diseñada específicamente para tareas de clasificación binaria donde la salida es un único valor de probabilidad entre 0 y 1. Se utiliza comúnmente como la función objetivo para la regresión logística y redes neuronales que utilizan una función de activación sigmoide en la capa de salida.

A diferencia del error de clasificación simple, esta función de pérdida es diferenciable, lo cual es esencial para la retropropagación en el aprendizaje profundo. Asegura que el modelo sea penalizado de manera más severa por estar 'seguramente equivocado' que por estar 'inciertamente equivocado', lo que lleva a predicciones probabilísticas más robustas.

Usar log base 10 (use logaritmo natural). p=0 o p=1 exactamente (causa infinito).

En el caso de training a cat/dog classifier, Binary Cross-Entropy Loss se utiliza para calcular Loss from True Label (0/1) and Predicted Prob. El resultado importa porque ayuda a evaluar la incertidumbre, la dispersión o la evidencia antes de sacar una conclusión de los datos.

Evite probabilidades de entrada de exactamente 0 o 1 para prevenir inestabilidad numérica o logaritmos naturales indefinidos. El valor de pérdida será 0 solo si la probabilidad predicha coincide perfectamente con la etiqueta objetivo. En escenarios multiclase, use Entropía Cruzada Categórica en lugar de esta variación binaria.

References

Sources

  1. Wikipedia: Cross-entropy
  2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
  3. Deep Learning (Goodfellow, Bengio, Courville)
  4. Pattern Recognition and Machine Learning (Bishop)
  5. Goodfellow, Bengio, and Courville Deep Learning
  6. Bishop Pattern Recognition and Machine Learning
  7. Standard curriculum — Machine Learning