Gegenseitige Information (2×2) Calculator

Formula first

Overview

Mutual Information quantifiziert die statistische Abhängigkeit zwischen zwei diskreten Zufallsvariablen, indem sie misst, wie viel Information zwischen ihnen geteilt wird. Im 2×2-Kontingenzfall berechnet sie die Kullback-Leibler-Divergenz zwischen der gemeinsamen Wahrscheinlichkeitsverteilung und dem Produkt der Randverteilungen zweier binärer Variablen.

Symbols

Variables

I(X;Y) = Mutual Information, $p_{00}$ = P(X=0,Y=0), $p_{01}$ = P(X=0,Y=1), $p_{10}$ = P(X=1,Y=0), $p_{11}$ = P(X=1,Y=1)

Apply it well

When To Use

When to use: Wende diese Formel an, wenn du die Beziehung zwischen zwei binären Variablen analysierst, etwa beim Vergleich eines Testergebnisses mit dem Vorliegen einer Krankheit. Sie wird linearer Korrelation vorgezogen, wenn du nichtlineare Abhängigkeiten oder allgemeine statistische Zusammenhänge erfassen möchtest.

Why it matters: Sie ist ein grundlegendes Konzept in der Kommunikationstheorie zur Berechnung der Kanal-Kapazität und im maschinellen Lernen für Merkmalsselektion. Hohe Mutual Information zeigt an, dass das Wissen über den Zustand einer Variablen die Unsicherheit über die andere deutlich reduziert.

Avoid these traps

Common Mistakes

• Vergessen, Wahrscheinlichkeiten auf eine Summe von 1 zu normalisieren.
• Logarithmen (ln vs log2) und Einheiten (Nats vs Bits) mischen.

One free problem

Practice Problem

Ein Forscher untersucht den Zusammenhang zwischen einer bestimmten Genmutation und einem seltenen Merkmal. In einer perfekt ausgeglichenen Population sind die gemeinsamen Wahrscheinlichkeiten alle gleich groß (jeweils 0.25). Berechne die Mutual Information.

Hint: Wenn die gemeinsame Wahrscheinlichkeit jeder Zelle gleich dem Produkt ihrer Randwahrscheinlichkeiten ist, sind die Variablen unabhängig.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
2. Wikipedia: Mutual Information
3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.