Data & ComputingTeoria da InformaçãoUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

Informação Mútua (2×2) Calculator

Informação mútua entre duas variáveis binárias a partir de probabilidades conjuntas.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Mutual Information

Formula first

Overview

A Informação Mútua quantifica a dependência estatística entre duas variáveis aleatórias discretas, medindo quanta informação é compartilhada entre elas. No caso de contingência 2×2, ela calcula a divergência de Kullback-Leibler entre a distribuição de probabilidade conjunta e o produto das distribuições marginais de duas variáveis binárias.

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Apply it well

When To Use

When to use: Aplique esta fórmula ao analisar a relação entre duas variáveis binárias, como comparar um resultado de teste com a presença de uma doença. É preferível à correlação linear quando você precisa capturar dependências não lineares ou associação estatística geral.

Why it matters: É um conceito fundamental na teoria da comunicação para calcular a capacidade do canal e em aprendizado de máquina para seleção de atributos. Alta informação mútua indica que saber o estado de uma variável reduz significativamente a incerteza sobre a outra.

Avoid these traps

Common Mistakes

  • Esquecer de normalizar as probabilidades para que somem 1.
  • Misturar logs (ln vs log2) e unidades (nats vs bits).

One free problem

Practice Problem

Um pesquisador está estudando a ligação entre uma mutação genética específica e um traço raro. Em uma população perfeitamente balanceada, as probabilidades conjuntas são todas iguais (0.25 cada). Calcule a Informação Mútua.

Hint: Se a probabilidade conjunta de cada célula for igual ao produto de suas probabilidades marginais, as variáveis são independentes.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.