Data & ComputingTeoría de la InformaciónA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropía (Shannon)

Nivel promedio de información/incertidumbre.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

La entropía de Shannon cuantifica el nivel promedio de incertidumbre, sorpresa o información inherente a los posibles resultados de una variable aleatoria. Proporciona la base teórica para la compresión de datos al definir el número mínimo promedio de bits necesarios para representar un mensaje.

When to use: Usa esta fórmula para determinar los límites de la compresión de datos sin pérdidas o para medir la impredecibilidad de una distribución de probabilidad discreta. Es más efectiva cuando el conjunto de resultados posibles es finito y sus probabilidades son independientes y conocidas.

Why it matters: Es la métrica fundamental de la teoría de la información, que permite la eficiencia de las comunicaciones digitales modernas, desde archivos ZIP hasta video en streaming. Al identificar la estructura estadística de los datos, permite la optimización del almacenamiento y el ancho de banda de transmisión.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Walkthrough

Derivation

Fórmula: Entropía de Shannon

La entropía de Shannon mide la incertidumbre promedio (contenido de información) de una variable aleatoria discreta, utilizando las probabilidades de los resultados.

  • X es discreta con resultados y probabilidades =P().
  • Los términos con =0 contribuyen 0 (tratar 0\log 0 como 0).
1

Establecer la fórmula de la entropía:

Sumar la información ponderada por probabilidad (1/) a través de los resultados, dando la información esperada por símbolo.

2

Interpretar las unidades:

Usar logaritmos en base 2 significa que la entropía se mide en bits (dígitos binarios).

Note: La entropía máxima ocurre cuando todos los resultados son igualmente probables.

Result

Source: AQA A-Level Computer Science — Data Representation

Free formulas

Rearrangements

Solve for

Despejar H

Simplifique la fórmula de entropía de Shannon desde su forma de suma general al caso específico de entropía binaria, donde sólo hay dos resultados posibles.

Difficulty: 2/5

The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.

Visual intuition

Graph

Graph type: parabolic

Why it behaves this way

Intuition

La entropía de Shannon cuantifica la 'dispersión' o 'aplanamiento' de una distribución de probabilidad: una distribución más uniforme (todos los resultados igualmente probables)

Term
Entropía de Shannon, que representa la incertidumbre promedio o el contenido de información de una variable aleatoria X.
Un H(X) más alto significa que los resultados de X son más impredecibles o 'sorprendentes' en promedio, requiriendo más bits para describirlos.
Term
La probabilidad de un resultado específico 'x' del conjunto de todos los resultados posibles para la variable aleatoria X.
Qué tan probable es que ocurra un evento particular 'x'. Los eventos menos probables (p(x) pequeño) conllevan más información individual.
Term
El logaritmo (base 2) de la probabilidad de un resultado 'x'. Este término, cuando se niega, representa la 'autoinformación' o 'sorpresa' del resultado 'x'.
Dado que p(x) está entre 0 y 1, log_2 p(x) es siempre negativo o cero. Los resultados con muy baja probabilidad tienen un log_2 p(x) negativo grande, lo que significa que son muy 'sorprendentes' (y por lo tanto contienen mucha información cuando el

Signs and relationships

  • -: El logaritmo log_2 p(x) es negativo para probabilidades p(x) entre 0 y 1. El signo negativo asegura que el contenido de información -log_2 p(x) sea una cantidad positiva, representando el número de bits.

Free study cues

Insight

Canonical usage

La entropía de Shannon cuantifica la información en unidades determinadas por la base del logaritmo usado, más comúnmente bits (para logaritmo en base 2).

Dimension note

La entropía de Shannon es una cantidad adimensional que representa el contenido promedio de información o incertidumbre. Las probabilidades p(x) también son adimensionales, y el logaritmo de una cantidad adimensional también lo es

One free problem

Practice Problem

Una moneda justa tiene dos resultados, cara y cruz, cada uno con una probabilidad de 0.5. Calcula la entropía de Shannon de un solo lanzamiento de moneda.

Hint: Cuando los resultados son igualmente probables (p = 0.5 para binario), la entropía está en su valor máximo.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

Al medir uncertainty of a biased coin, Entropy (Shannon) se utiliza para calcular Entropy from Probability (p). El resultado importa porque ayuda a estimate likelihood and make a risk or decision statement rather than treating the number as certainty.

Study smarter

Tips

  • La entropía se maximiza cuando todos los resultados son igualmente probables.
  • Las unidades son en bits cuando el logaritmo es de base 2.
  • La entropía es siempre cero o positiva; es cero solo cuando un resultado es seguro.
  • Usa la fórmula de cambio de base: log₂(x) = ln(x) / ln(2).

Avoid these traps

Common Mistakes

  • Usar logaritmo natural en lugar de log2.
  • Olvidar los términos p y q.

Common questions

Frequently Asked Questions

La entropía de Shannon mide la incertidumbre promedio (contenido de información) de una variable aleatoria discreta, utilizando las probabilidades de los resultados.

Usa esta fórmula para determinar los límites de la compresión de datos sin pérdidas o para medir la impredecibilidad de una distribución de probabilidad discreta. Es más efectiva cuando el conjunto de resultados posibles es finito y sus probabilidades son independientes y conocidas.

Es la métrica fundamental de la teoría de la información, que permite la eficiencia de las comunicaciones digitales modernas, desde archivos ZIP hasta video en streaming. Al identificar la estructura estadística de los datos, permite la optimización del almacenamiento y el ancho de banda de transmisión.

Usar logaritmo natural en lugar de log2. Olvidar los términos p y q.

Al medir uncertainty of a biased coin, Entropy (Shannon) se utiliza para calcular Entropy from Probability (p). El resultado importa porque ayuda a estimate likelihood and make a risk or decision statement rather than treating the number as certainty.

La entropía se maximiza cuando todos los resultados son igualmente probables. Las unidades son en bits cuando el logaritmo es de base 2. La entropía es siempre cero o positiva; es cero solo cuando un resultado es seguro. Usa la fórmula de cambio de base: log₂(x) = ln(x) / ln(2).

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003