Data & ComputingThéorie de l'informationA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropie (Shannon) Calculator

Niveau moyen d'information/incertitude.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

L'entropie de Shannon quantifie le niveau moyen d'incertitude, de surprise ou d'information inhérent aux résultats possibles d'une variable aléatoire. Elle fournit le fondement théorique de la compression de données en définissant le nombre moyen minimal de bits requis pour représenter un message.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Utilisez cette formule pour déterminer les limites de la compression de données sans perte ou pour mesurer l'imprévisibilité d'une distribution de probabilité discrète. Elle est la plus efficace lorsque l'ensemble des résultats possibles est fini et que leurs probabilités sont indépendantes et connues.

Why it matters: C'est la métrique fondamentale de la théorie de l'information, rendant possible l'efficacité des communications numériques modernes, des fichiers ZIP à la vidéo en streaming. En identifiant la structure statistique des données, elle permet d'optimiser le stockage et la bande passante de transmission.

Avoid these traps

Common Mistakes

  • Utiliser le logarithme naturel au lieu de log2.
  • Oublier les termes p et q.

One free problem

Practice Problem

Une pièce équilibrée a deux résultats, pile et face, chacun avec une probabilité de 0,5. Calculez l'entropie de Shannon d'un seul lancer de pièce.

Hint: Lorsque les résultats sont équiprobables (p = 0,5 pour un cas binaire), l'entropie est à sa valeur maximale.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003