Data & ComputingThéorie de l'informationA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropie (Shannon)

Niveau moyen d'information/incertitude.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

L'entropie de Shannon quantifie le niveau moyen d'incertitude, de surprise ou d'information inhérent aux résultats possibles d'une variable aléatoire. Elle fournit le fondement théorique de la compression de données en définissant le nombre moyen minimal de bits requis pour représenter un message.

When to use: Utilisez cette formule pour déterminer les limites de la compression de données sans perte ou pour mesurer l'imprévisibilité d'une distribution de probabilité discrète. Elle est la plus efficace lorsque l'ensemble des résultats possibles est fini et que leurs probabilités sont indépendantes et connues.

Why it matters: C'est la métrique fondamentale de la théorie de l'information, rendant possible l'efficacité des communications numériques modernes, des fichiers ZIP à la vidéo en streaming. En identifiant la structure statistique des données, elle permet d'optimiser le stockage et la bande passante de transmission.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Walkthrough

Derivation

Formule : Entropie de Shannon

L'entropie de Shannon mesure l'incertitude moyenne (contenu informationnel) d'une variable aléatoire discrète, en utilisant les probabilités des résultats.

  • X est discret avec des résultats et des probabilités =P().
  • Les termes avec =0 contribuent à 0 (traiter 0\log 0 comme 0).
1

Énoncer la formule de l'entropie :

Sommer l'information pondérée par la probabilité (1/) à travers les résultats, donnant l'information attendue par symbole.

2

Interpréter les unités :

L'utilisation de logarithmes en base 2 signifie que l'entropie est mesurée en bits (chiffres binaires).

Note: L'entropie maximale se produit lorsque tous les résultats sont également probables.

Result

Source: AQA A-Level Computer Science — Data Representation

Free formulas

Rearrangements

Solve for

Isoler H

Simplifiez la formule d'entropie de Shannon de sa forme de sommation générale au cas spécifique de l'entropie binaire, où il n'y a que deux résultats possibles.

Difficulty: 2/5

The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.

Visual intuition

Graph

Graph type: parabolic

Why it behaves this way

Intuition

L'entropie de Shannon quantifie l'« étalement » ou la « planéité » d'une distribution de probabilité : une distribution plus uniforme (tous les résultats également probables)

Term
Entropie de Shannon, représentant l'incertitude moyenne ou le contenu informationnel d'une variable aléatoire X.
Un H(X) plus élevé signifie que les résultats de X sont plus imprévisibles ou « surprenants » en moyenne, nécessitant plus de bits pour être décrits.
Term
La probabilité d'un résultat spécifique 'x' parmi l'ensemble de tous les résultats possibles pour la variable aléatoire X.
Quelle est la probabilité qu'un événement particulier 'x' se produise. Les événements moins probables (petit p(x)) transportent plus d'informations individuelles.
Term
Le logarithme (base 2) de la probabilité d'un résultat 'x'. Ce terme, lorsqu'il est inversé, représente l'« auto-information » ou la « surprise » du résultat 'x'.
Puisque p(x) est entre 0 et 1, log_2 p(x) est toujours négatif ou nul. Les résultats avec une probabilité très faible ont un log_2 p(x) négatif important, ce qui signifie qu'ils sont très « surprenants » (et transportent donc beaucoup d'informations quand ils se produisent).

Signs and relationships

  • -: Le logarithme log_2 p(x) est négatif pour les probabilités p(x) comprises entre 0 et 1. Le signe négatif garantit que le contenu informationnel -log_2 p(x) est une quantité positive, représentant le nombre de bits.

Free study cues

Insight

Canonical usage

L'entropie de Shannon quantifie l'information en unités déterminées par la base du logarithme utilisé, le plus couramment des bits (pour le logarithme en base 2).

Dimension note

L'entropie de Shannon est une grandeur adimensionnelle représentant le contenu moyen d'information ou l'incertitude. Les probabilités p(x) sont elles-mêmes adimensionnelles, et le logarithme d'une grandeur adimensionnelle est également

One free problem

Practice Problem

Une pièce équilibrée a deux résultats, pile et face, chacun avec une probabilité de 0,5. Calculez l'entropie de Shannon d'un seul lancer de pièce.

Hint: Lorsque les résultats sont équiprobables (p = 0,5 pour un cas binaire), l'entropie est à sa valeur maximale.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

Dans le contexte de Mesurer l'incertitude d'une pièce biaisée, Entropie (Shannon) sert à transformer les mesures en une valeur interprétable. Le résultat est important parce qu'il aide à évaluer le comportement du modèle, le coût de l'algorithme ou la qualité de la prédiction avant d'utiliser le résultat.

Study smarter

Tips

  • L'entropie est maximale lorsque tous les résultats sont également probables.
  • Les unités sont en bits lorsque le logarithme est en base 2.
  • L'entropie est toujours nulle ou positive ; elle n'est nulle que lorsqu'un résultat est certain.
  • Utilisez la formule de changement de base : log₂(x) = ln(x) / ln(2).

Avoid these traps

Common Mistakes

  • Utiliser le logarithme naturel au lieu de log2.
  • Oublier les termes p et q.

Common questions

Frequently Asked Questions

L'entropie de Shannon mesure l'incertitude moyenne (contenu informationnel) d'une variable aléatoire discrète, en utilisant les probabilités des résultats.

Utilisez cette formule pour déterminer les limites de la compression de données sans perte ou pour mesurer l'imprévisibilité d'une distribution de probabilité discrète. Elle est la plus efficace lorsque l'ensemble des résultats possibles est fini et que leurs probabilités sont indépendantes et connues.

C'est la métrique fondamentale de la théorie de l'information, rendant possible l'efficacité des communications numériques modernes, des fichiers ZIP à la vidéo en streaming. En identifiant la structure statistique des données, elle permet d'optimiser le stockage et la bande passante de transmission.

Utiliser le logarithme naturel au lieu de log2. Oublier les termes p et q.

Dans le contexte de Mesurer l'incertitude d'une pièce biaisée, Entropie (Shannon) sert à transformer les mesures en une valeur interprétable. Le résultat est important parce qu'il aide à évaluer le comportement du modèle, le coût de l'algorithme ou la qualité de la prédiction avant d'utiliser le résultat.

L'entropie est maximale lorsque tous les résultats sont également probables. Les unités sont en bits lorsque le logarithme est en base 2. L'entropie est toujours nulle ou positive ; elle n'est nulle que lorsqu'un résultat est certain. Utilisez la formule de changement de base : log₂(x) = ln(x) / ln(2).

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003