الاعتلاج (شانون) Calculator

Formula first

Overview

يقيس اعتلاج شانون متوسط مستوى عدم اليقين أو المفاجأة أو المعلومات المتأصلة في النتائج المحتملة للمتغير العشوائي. يوفر الأساس النظري لضغط البيانات من خلال تحديد الحد الأدنى لمتوسط عدد البتات المطلوبة لتمثيل رسالة.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Apply it well

When To Use

When to use: استخدم هذه الصيغة لتحديد حدود ضغط البيانات غير المفقود أو لقياس عدم القدرة على التنبؤ بتوزيع احتمالي منفصل. وهي الأكثر فعالية عندما تكون مجموعة النتائج المحتملة محدودة وتكون احتمالاتها مستقلة ومعروفة.

Why it matters: إنه المقياس الأساسي لنظرية المعلومات، مما يتيح كفاءة الاتصالات الرقمية الحديثة، من ملفات ZIP إلى بث الفيديو. من خلال تحديد البنية الإحصائية للبيانات، فإنه يسمح بتحسين سعة التخزين وعرض نطاق الإرسال.

Avoid these traps

Common Mistakes

• استخدام اللوغاريتم الطبيعي بدلاً من log2.
• نسيان كل من مصطلحي p و q.

One free problem

Practice Problem

عملة عادلة لها نتيجتان، رؤوس وذيول، لكل منهما احتمال 0.5. احسب اعتلاج شانون لقلبة عملة واحدة.

Hint: عندما تكون النتائج متساوية الاحتمال (p = 0.5 للثنائي)، يكون الاعتلاج عند قيمته القصوى.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
3. Wikipedia: Shannon entropy
4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003