Data & Computingنظرية المعلوماتUniversity
AQAAPOntarioNSWCBSEGCE O-LevelMoECAPS

المعلومات المتبادلة (2×2)

المعلومات المتبادلة بين متغيرين ثنائيين من الاحتمالات المشتركة.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

تقيس المعلومات المتبادلة الاعتماد الإحصائي بين متغيرين عشوائيين منفصلين عن طريق قياس كمية المعلومات المشتركة بينهما. في حالة التوقع 2×2، تحسب تباعد كولباك-ليبلر بين توزيع الاحتمال المشترك وحاصل ضرب التوزيعات الهامشية لمتغيرين ثنائيين.

When to use: طبق هذه الصيغة عند تحليل العلاقة بين متغيرين ثنائيين، مثل مقارنة نتيجة اختبار بوجود مرض. يُفضل استخدامها على الارتباط الخطي عندما تحتاج إلى التقاط الاعتمادات غير الخطية أو الارتباط الإحصائي العام.

Why it matters: إنه مفهوم أساسي في نظرية الاتصالات لحساب سعة القناة وفي التعلم الآلي لاختيار الميزات. تشير المعلومات المتبادلة العالية إلى أن معرفة حالة متغير واحد يقلل بشكل كبير من عدم اليقين بشأن الآخر.

Symbols

Variables

I(X;Y) = Mutual Information, = P(X=0,Y=0), = P(X=0,Y=1), = P(X=1,Y=0), = P(X=1,Y=1)

I(X;Y)
Mutual Information
nats
P(X=0,Y=0)
Variable
P(X=0,Y=1)
Variable
P(X=1,Y=0)
Variable
P(X=1,Y=1)
Variable

Walkthrough

Derivation

اشتقاق المعلومات المتبادلة من جدول 2×2 مشترك

تجمع المعلومات المتبادلة p(x,y) ln(p(x,y)/(p(x)p(y))) فوق جميع الأزواج.

  • X و Y ثنائيان.
  • الاحتمالات المشتركة p00,p01,p10,p11 تجمع إلى 1.
1

ابدأ من التعريف:

تقيس المعلومات المتبادلة التبعية بين X و Y.

2

احسب الهوامش من جدول 2×2:

تحتاج إلى p(x) و p(y) لتكوين النسبة p(x,y)/(p(x)p(y)).

3

اجمع الحدود الأربعة (p00, p01, p10, p11):

كل احتمال مشترك غير صفري يساهم بحد. بالاتفاق، 0·ln(0)=0.

Result

Why it behaves this way

Intuition

تخيل مشهدًا إحصائيًا حيث يمثل "الارتفاع" عند كل نقطة (x,y) الانحراف عن الاستقلال. المعلومات المتبادلة هي "الحجم" الإجمالي لهذه الانحرافات، مرجحة بعدد مرات حدوث كل مجموعة.

Term
مقدار المعلومات التي يوفرها متغير عشوائي واحد (X) عن متغير عشوائي آخر (Y).
قيمة عالية تعني أن معرفة X تقلل بشكل كبير من عدم اليقين حول Y (والعكس بالعكس)؛ الصفر يعني أنهما مستقلان إحصائيًا.
Term
الاحتمال المشترك لمراقبة نتيجة محددة "x" للمتغير X ونتيجة محددة "y" للمتغير Y في وقت واحد.
يوضح هذا الحد (p(x,y)) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 46.
Term
حاصل ضرب الاحتمالات الهامشية لحصول X على النتيجة "x" وY للحصول على النتيجة "y"، مما يمثل احتمالهما المشترك إذا كانت X وY إحصائيًا مستقل.
يوضح هذا الحد (p(x)p(y)) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 47.
Term
"محتوى المعلومات" أو "المفاجأة" المرتبطة بزوج (x,y) محدد، بالنسبة إلى توقع الاستقلال، في وحدات nats.
يوضح هذا الحد (\frac{p(x,y)}{p(x)p(y)}) دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 48. الرموز المحفوظة: ، \frac{p(x,y)}.
Term
جمع كل النتائج المنفصلة المحتملة لـ X وY.
يوضح هذا الحد () دوره داخل المعادلة، ويربط التعريف الرياضي بالتفسير العملي للنتيجة في هذا الموضع 49. الرموز المحفوظة: sum_{x، .

Signs and relationships

  • \ln\frac{p(x,y)}{p(x)p(y)}: يحول اللوغاريتم الطبيعي نسبة الاحتمالات إلى مقياس جمعي للمعلومات. إذا كان الاحتمال المشترك الملاحظ p(x,y) أكبر من p(x)p(y)، فإن حد اللوغاريتم يكون موجبًا؛ وإذا كان أصغر، يكون الحد سالبًا.

Free study cues

Insight

Canonical usage

معلومات التبادل هي كمية بلا أبعاد، تمثل مقياسًا للاعتماد الإحصائي. يُعبر عنها تقليديًا بـ 'nats' عند استخدام اللوغاريتم الطبيعي (ln)، أو 'bits' عند استخدام اللوغاريتم للأساس 2 (log2).

Dimension note

المعلومات المتبادلة هي بطبيعتها لا بُعد لها لأنها تُحسب من نسب الاحتمالات، وهي نفسها لا بُعد لها.

One free problem

Practice Problem

يدرس باحث الصلة بين طفرة جينية محددة وصفة نادرة. في مجتمع متوازن تمامًا، تتساوى جميع الاحتمالات المشتركة (0.25 لكل منها). احسب المعلومات المتبادلة.

Hint: إذا كان الاحتمال المشترك لكل خلية يساوي حاصل ضرب احتمالاتها الهامشية، فإن المتغيرات مستقلة.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

في سياق تحديد مدى إفادة نتيجة اختبار طبي حول حالة المرض، تُستخدم معادلة المعلومات المتبادلة (2×2) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

Study smarter

Tips

  • تأكد من أن مجموع الاحتمالات المشتركة (p00, p01, p10, p11) يساوي 1.0 تمامًا قبل البدء.
  • احسب الاحتمالات الهامشية لـ X و Y بجمع الصفوف والأعمدة في جدول التوقع.
  • عامل المصطلحات حيث p(x,y) صفر على أنها صفر، حيث أن نهاية p log(p) عندما يقترب p من الصفر هي صفر.
  • يُقاس الناتج بالناتس عند استخدام اللوغاريتم الطبيعي (ln) أو بالبتات عند استخدام اللوغاريتم الأساس 2.

Avoid these traps

Common Mistakes

  • نسيان تطبيع الاحتمالات لتصل إلى 1.
  • خلط اللوغاريتمات (ln مقابل log2) والوحدات (nats مقابل bits).

Common questions

Frequently Asked Questions

تجمع المعلومات المتبادلة p(x,y) ln(p(x,y)/(p(x)p(y))) فوق جميع الأزواج.

طبق هذه الصيغة عند تحليل العلاقة بين متغيرين ثنائيين، مثل مقارنة نتيجة اختبار بوجود مرض. يُفضل استخدامها على الارتباط الخطي عندما تحتاج إلى التقاط الاعتمادات غير الخطية أو الارتباط الإحصائي العام.

إنه مفهوم أساسي في نظرية الاتصالات لحساب سعة القناة وفي التعلم الآلي لاختيار الميزات. تشير المعلومات المتبادلة العالية إلى أن معرفة حالة متغير واحد يقلل بشكل كبير من عدم اليقين بشأن الآخر.

نسيان تطبيع الاحتمالات لتصل إلى 1. خلط اللوغاريتمات (ln مقابل log2) والوحدات (nats مقابل bits).

في سياق تحديد مدى إفادة نتيجة اختبار طبي حول حالة المرض، تُستخدم معادلة المعلومات المتبادلة (2×2) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.

تأكد من أن مجموع الاحتمالات المشتركة (p00, p01, p10, p11) يساوي 1.0 تمامًا قبل البدء. احسب الاحتمالات الهامشية لـ X و Y بجمع الصفوف والأعمدة في جدول التوقع. عامل المصطلحات حيث p(x,y) صفر على أنها صفر، حيث أن نهاية p log(p) عندما يقترب p من الصفر هي صفر. يُقاس الناتج بالناتس عند استخدام اللوغاريتم الطبيعي (ln) أو بالبتات عند استخدام اللوغاريتم الأساس 2.

References

Sources

  1. Cover, Thomas M., and Joy A. Thomas. Elements of Information Theory. 2nd ed. Wiley-Interscience, 2006.
  2. Wikipedia: Mutual Information
  3. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  4. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
  5. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.