Data & ComputingInformationstheorieA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropie (Shannon) Calculator

Durchschnittliches Maß an Information/Unsicherheit.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

Die Shannon-Entropie quantifiziert das durchschnittliche Maß an Unsicherheit, Überraschung oder Information, das den möglichen Ergebnissen einer Zufallsvariablen innewohnt. Sie bildet die theoretische Grundlage der Datenkompression, indem sie die minimale durchschnittliche Anzahl an Bits definiert, die zur Darstellung einer Nachricht erforderlich sind.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Verwende diese Formel, um die Grenzen verlustfreier Datenkompression zu bestimmen oder die Unvorhersagbarkeit einer diskreten Wahrscheinlichkeitsverteilung zu messen. Sie ist am wirksamsten, wenn die Menge möglicher Ergebnisse endlich ist und ihre Wahrscheinlichkeiten unabhängig und bekannt sind.

Why it matters: Sie ist die grundlegende Metrik der Informationstheorie und ermöglicht die Effizienz moderner digitaler Kommunikation, von ZIP-Dateien bis zu Streaming-Video. Durch die Identifikation der statistischen Struktur von Daten erlaubt sie die Optimierung von Speicher- und Übertragungsbandbreite.

Avoid these traps

Common Mistakes

  • Den natürlichen Logarithmus statt log2 verwenden.
  • Sowohl p- als auch q-Terme vergessen.

One free problem

Practice Problem

Eine faire Münze hat zwei Ergebnisse, Kopf und Zahl, jeweils mit einer Wahrscheinlichkeit von 0.5. Berechne die Shannon-Entropie eines einzelnen Münzwurfs.

Hint: Wenn Ergebnisse gleich wahrscheinlich sind (p = 0.5 für binär), ist die Entropie maximal.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003