Data & Computing정보 이론University
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

상호 정보 (2×2) Calculator

결합 확률로부터 두 이진 변수 간의 상호 정보.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Mutual Information

Formula first

Overview

상호 정보는 두 이산 확률 변수 사이에 공유되는 정보의 양을 측정하여 통계적 의존성을 정량화합니다. 2×2 분할표의 경우, 결합 확률 분포와 두 이진 변수의 주변 분포 곱 사이의 Kullback-Leibler 발산을 계산합니다.

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Apply it well

When To Use

When to use: 이 공식은 두 이진 변수 간의 관계를 분석할 때 적용하십시오. 예를 들어, 검사 결과와 질병 유무를 비교하는 경우입니다. 비선형 의존성이나 일반적인 통계적 연관성을 포착해야 할 때 선형 상관관계보다 선호됩니다.

Why it matters: 이는 통신 이론에서 채널 용량 계산과 머신 러닝에서 특징 선택을 위한 기본 개념입니다. 높은 상호 정보량은 한 변수의 상태를 알면 다른 변수에 대한 불확실성이 크게 줄어든다는 것을 나타냅니다.

Avoid these traps

Common Mistakes

  • 확률 합이 1이 되도록 정규화하는 것을 잊는 것.
  • 로그(ln과 log2)와 단위(nats와 bits)를 혼동하는 것.

One free problem

Practice Problem

연구자가 특정 유전자 돌연변이와 희귀 형질 사이의 연관성을 연구하고 있습니다. 완벽하게 균형 잡힌 모집단에서 결합 확률은 모두 동일합니다(각각 0.25). 상호 정보량을 계산하십시오.

Hint: 각 셀의 결합 확률이 해당 주변 확률의 곱과 같으면 변수는 독립적입니다.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.