Data & ComputingTeoria da InformaçãoA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropia (Shannon)

Nível médio de informação/incerteza.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

A entropia de Shannon quantifica o nível médio de incerteza, surpresa ou informação inerente aos possíveis resultados de uma variável aleatória. Ela fornece a base teórica para a compressão de dados, definindo o número médio mínimo de bits necessários para representar uma mensagem.

When to use: Use esta fórmula para determinar os limites da compressão de dados sem perdas ou para medir a imprevisibilidade de uma distribuição de probabilidade discreta. É mais eficaz quando o conjunto de resultados possíveis é finito e suas probabilidades são independentes e conhecidas.

Why it matters: É a métrica fundamental da teoria da informação, possibilitando a eficiência das comunicações digitais modernas, de arquivos ZIP a streaming de vídeo. Ao identificar a estrutura estatística dos dados, ela permite a otimização do armazenamento e da largura de banda de transmissão.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Walkthrough

Derivation

Fórmula: Entropia de Shannon

A entropia de Shannon mede a incerteza média (conteúdo de informação) de uma variável aleatória discreta, usando as probabilidades dos resultados.

  • X é discreta com resultados e probabilidades =P().
  • Termos com =0 contribuem 0 (trate 0\log 0 como 0).
1

Declare a fórmula da entropia:

Some a informação ponderada pelas probabilidades (1/) entre os resultados, obtendo a informação esperada por símbolo.

2

Interprete as unidades:

Usar logaritmos de base 2 significa que a entropia é medida em bits (dígitos binários).

Note: A entropia máxima ocorre quando todos os resultados são igualmente prováveis.

Result

Source: AQA A-Level Computer Science — Data Representation

Free formulas

Rearrangements

Solve for

Isolar H

Simplifique a fórmula da entropia de Shannon desde sua forma de soma geral até o caso específico da entropia binária, onde existem apenas dois resultados possíveis.

Difficulty: 2/5

The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.

Visual intuition

Graph

Graph type: parabolic

Why it behaves this way

Intuition

A entropia de Shannon quantifica a 'dispersão' ou 'planicidade' de uma distribuição de probabilidade: uma distribuição mais uniforme (todos os resultados igualmente prováveis)

Term
Entropia de Shannon, representando a incerteza média ou conteúdo de informação de uma variável aleatória X.
Um H(X) maior significa que os resultados de X são mais imprevisíveis ou 'surpreendentes' em média, exigindo mais bits para serem descritos.
Term
A probabilidade de um resultado específico 'x' do conjunto de todos os resultados possíveis para a variável aleatória X.
Quão provável é que um evento específico 'x' ocorra. Eventos menos prováveis (p(x) pequeno) carregam mais informação individual.
Term
O logaritmo (base 2) da probabilidade de um resultado 'x'. Este termo, quando negado, representa a 'auto-informação' ou 'surpresa' do resultado 'x'.
Como p(x) está entre 0 e 1, log_2 p(x) é sempre negativo ou zero. Resultados com probabilidade muito baixa têm um log_2 p(x) grande e negativo, o que significa que são muito 'surpreendentes' (e, portanto, carregam muita informação quando o

Signs and relationships

  • -: O logaritmo log_2 p(x) é negativo para probabilidades p(x) entre 0 e 1. O sinal negativo garante que o conteúdo de informação -log_2 p(x) seja uma quantidade positiva, representando o número de bits.

Free study cues

Insight

Canonical usage

A entropia de Shannon quantifica informação em unidades determinadas pela base do logaritmo utilizado, mais comumente bits (para logaritmo de base 2).

Dimension note

A entropia de Shannon é uma grandeza adimensional que representa o conteúdo médio de informação ou incerteza. As probabilidades p(x) são em si adimensionais, e o logaritmo de uma grandeza adimensional também é

One free problem

Practice Problem

Uma moeda justa tem dois resultados, cara e coroa, cada um com probabilidade de 0,5. Calcule a entropia de Shannon de um único lançamento de moeda.

Hint: Quando os resultados são igualmente prováveis (p = 0,5 para binário), a entropia está em seu valor máximo.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

Ao medir uncertainty of a biased coin, Entropy (Shannon) é utilizado para calcular Entropy from Probability (p). O resultado importa porque ajuda estimate likelihood and make a risk or decision statement rather than treating the number as certainty.

Study smarter

Tips

  • A entropia é maximizada quando todos os resultados são igualmente prováveis.
  • As unidades estão em bits quando o logaritmo é de base 2.
  • A entropia é sempre zero ou positiva; é zero apenas quando um resultado é certo.
  • Use a fórmula de mudança de base: log₂(x) = ln(x) / ln(2).

Avoid these traps

Common Mistakes

  • Usar logaritmo natural em vez de log2.
  • Esquecer os termos p e q.

Common questions

Frequently Asked Questions

A entropia de Shannon mede a incerteza média (conteúdo de informação) de uma variável aleatória discreta, usando as probabilidades dos resultados.

Use esta fórmula para determinar os limites da compressão de dados sem perdas ou para medir a imprevisibilidade de uma distribuição de probabilidade discreta. É mais eficaz quando o conjunto de resultados possíveis é finito e suas probabilidades são independentes e conhecidas.

É a métrica fundamental da teoria da informação, possibilitando a eficiência das comunicações digitais modernas, de arquivos ZIP a streaming de vídeo. Ao identificar a estrutura estatística dos dados, ela permite a otimização do armazenamento e da largura de banda de transmissão.

Usar logaritmo natural em vez de log2. Esquecer os termos p e q.

Ao medir uncertainty of a biased coin, Entropy (Shannon) é utilizado para calcular Entropy from Probability (p). O resultado importa porque ajuda estimate likelihood and make a risk or decision statement rather than treating the number as certainty.

A entropia é maximizada quando todos os resultados são igualmente prováveis. As unidades estão em bits quando o logaritmo é de base 2. A entropia é sempre zero ou positiva; é zero apenas quando um resultado é certo. Use a fórmula de mudança de base: log₂(x) = ln(x) / ln(2).

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003