المعلومات المتبادلة (2×2) Calculator

Formula first

Overview

تقيس المعلومات المتبادلة الاعتماد الإحصائي بين متغيرين عشوائيين منفصلين عن طريق قياس كمية المعلومات المشتركة بينهما. في حالة التوقع 2×2، تحسب تباعد كولباك-ليبلر بين توزيع الاحتمال المشترك وحاصل ضرب التوزيعات الهامشية لمتغيرين ثنائيين.

Symbols

Variables

I(X;Y) = Mutual Information, $p_{00}$ = P(X=0,Y=0), $p_{01}$ = P(X=0,Y=1), $p_{10}$ = P(X=1,Y=0), $p_{11}$ = P(X=1,Y=1)

Apply it well

When To Use

When to use: طبق هذه الصيغة عند تحليل العلاقة بين متغيرين ثنائيين، مثل مقارنة نتيجة اختبار بوجود مرض. يُفضل استخدامها على الارتباط الخطي عندما تحتاج إلى التقاط الاعتمادات غير الخطية أو الارتباط الإحصائي العام.

Why it matters: إنه مفهوم أساسي في نظرية الاتصالات لحساب سعة القناة وفي التعلم الآلي لاختيار الميزات. تشير المعلومات المتبادلة العالية إلى أن معرفة حالة متغير واحد يقلل بشكل كبير من عدم اليقين بشأن الآخر.

Avoid these traps

Common Mistakes

• نسيان تطبيع الاحتمالات لتصل إلى 1.
• خلط اللوغاريتمات (ln مقابل log2) والوحدات (nats مقابل bits).

One free problem

Practice Problem

يدرس باحث الصلة بين طفرة جينية محددة وصفة نادرة. في مجتمع متوازن تمامًا، تتساوى جميع الاحتمالات المشتركة (0.25 لكل منها). احسب المعلومات المتبادلة.

Hint: إذا كان الاحتمال المشترك لكل خلية يساوي حاصل ضرب احتمالاتها الهامشية، فإن المتغيرات مستقلة.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
2. Wikipedia: Mutual Information
3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.