Data & ComputingTeoria dell'InformazioneUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

Informazione Mutua (2×2) Calculator

Informazione mutua tra due variabili binarie da probabilità congiunte.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Mutual Information

Formula first

Overview

L'Informazione Mutua quantifica la dipendenza statistica tra due variabili casuali discrete misurando quanta informazione è condivisa tra di loro. Nel caso della tabella di contingenza 2×2, calcola la divergenza di Kullback-Leibler tra la distribuzione di probabilità congiunta e il prodotto delle distribuzioni marginali di due variabili binarie.

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Apply it well

When To Use

When to use: Applica questa formula quando analizzi la relazione tra due variabili binarie, come il confronto tra un risultato di test e la presenza di una malattia. È preferita alla correlazione lineare quando è necessario catturare dipendenze non lineari o associazioni statistiche generali.

Why it matters: È un concetto fondamentale nella teoria della comunicazione per il calcolo della capacità del canale e nel machine learning per la selezione delle caratteristiche. Un'alta informazione mutua indica che conoscere lo stato di una variabile riduce significativamente l'incertezza sull'altra.

Avoid these traps

Common Mistakes

  • Dimenticare di normalizzare le probabilità in modo che la somma sia 1.
  • Mescolare logaritmi (ln vs log2) e unità (nats vs bit).

One free problem

Practice Problem

Un ricercatore sta studiando il legame tra una specifica mutazione genetica e un tratto raro. In una popolazione perfettamente bilanciata, le probabilità congiunte sono tutte uguali (0.25 ciascuna). Calcola l'Informazione Mutua.

Hint: Se la probabilità congiunta di ogni cella è uguale al prodotto delle sue probabilità marginali, le variabili sono indipendenti.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.