الاعتلاج (شانون)
متوسط مستوى المعلومات/عدم اليقين.
This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.
Core idea
Overview
يقيس اعتلاج شانون متوسط مستوى عدم اليقين أو المفاجأة أو المعلومات المتأصلة في النتائج المحتملة للمتغير العشوائي. يوفر الأساس النظري لضغط البيانات من خلال تحديد الحد الأدنى لمتوسط عدد البتات المطلوبة لتمثيل رسالة.
When to use: استخدم هذه الصيغة لتحديد حدود ضغط البيانات غير المفقود أو لقياس عدم القدرة على التنبؤ بتوزيع احتمالي منفصل. وهي الأكثر فعالية عندما تكون مجموعة النتائج المحتملة محدودة وتكون احتمالاتها مستقلة ومعروفة.
Why it matters: إنه المقياس الأساسي لنظرية المعلومات، مما يتيح كفاءة الاتصالات الرقمية الحديثة، من ملفات ZIP إلى بث الفيديو. من خلال تحديد البنية الإحصائية للبيانات، فإنه يسمح بتحسين سعة التخزين وعرض نطاق الإرسال.
Symbols
Variables
H = Entropy (Bits), p = Probability (p)
Walkthrough
Derivation
الصيغة: إنتروبيا شانون
تقيس إنتروبيا شانون متوسط عدم اليقين (محتوى المعلومات) لمتغير عشوائي منفصل، باستخدام احتمالات النتائج.
- X منفصلة بنتائج واحتمالات =P().
- تساهم الحدود ذات =0 بـ 0 (تعامل 0\log 0 كـ 0).
اذكر صيغة الإنتروبيا:
اجمع معلومات المعلومات المرجحة بالاحتمالات (1/) عبر النتائج، مما يعطي المعلومات المتوقعة لكل رمز.
فسر الوحدات:
يؤدي استخدام اللوغاريتمات الأساس 2 إلى قياس الإنتروبيا بالبت (الأرقام الثنائية).
Note: تحدث أقصى إنتروبيا عندما تكون جميع النتائج متساوية الاحتمال.
Result
Source: AQA A-Level Computer Science — Data Representation
Free formulas
Rearrangements
Solve for
اجعل H موضوع المعادلة
بسّط معادلة شانون للإنتروبيا من صيغة الجمع العامة إلى الحالة المحددة للإنتروبيا الثنائية، حيث لا يوجد سوى نتيجتين محتملتين.
Difficulty: 2/5
The static page shows the finished rearrangements. The app keeps the full worked algebra walkthrough.
Visual intuition
Graph
Graph type: parabolic
Why it behaves this way
Intuition
تقيس إنتروبيا شانون "انتشار" أو "تسطيح" توزيع الاحتمالات: توزيع أكثر انتظامًا (جميع النتائج متساوية الاحتمال)،
Signs and relationships
- -: اللوغاريتم log_2 p(x) سالب للاحتمالات p(x) بين 0 و 1. تضمن علامة الطرح أن يكون محتوى المعلومات -log_2 p(x) كمية موجبة، تمثل عدد البتات.
Free study cues
Insight
Canonical usage
يحدد إنتروبيا شانون المعلومات بوحدات تحدد بقاعدة اللوغاريتم المستخدمة، الأكثر شيوعًا البتات (للوغاريتم ذي الأساس 2).
Dimension note
إنتروبيا شانون هي كمية غير بعدية تمثل متوسط محتوى المعلومات أو عدم اليقين. الاحتمالات p(x) بحد ذاتها غير بعدية، ولوغاريتم كمية غير بعدية هو أيضًا
One free problem
Practice Problem
عملة عادلة لها نتيجتان، رؤوس وذيول، لكل منهما احتمال 0.5. احسب اعتلاج شانون لقلبة عملة واحدة.
Hint: عندما تكون النتائج متساوية الاحتمال (p = 0.5 للثنائي)، يكون الاعتلاج عند قيمته القصوى.
The full worked solution stays in the interactive walkthrough.
Where it shows up
Real-World Context
في سياق قياس عدم اليقين لعملة منحازة، تُستخدم معادلة الاعتلاج (شانون) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.
Study smarter
Tips
- يتم تعظيم الاعتلاج عندما تكون جميع النتائج متساوية الاحتمال.
- الوحدات تكون بالبت عندما يكون اللوغاريتم أساس 2.
- الاعتلاج دائمًا صفر أو موجب؛ وهو صفر فقط عندما تكون نتيجة واحدة مؤكدة.
- استخدم صيغة تغيير الأساس: log₂(x) = ln(x) / ln(2).
Avoid these traps
Common Mistakes
- استخدام اللوغاريتم الطبيعي بدلاً من log2.
- نسيان كل من مصطلحي p و q.
Common questions
Frequently Asked Questions
تقيس إنتروبيا شانون متوسط عدم اليقين (محتوى المعلومات) لمتغير عشوائي منفصل، باستخدام احتمالات النتائج.
استخدم هذه الصيغة لتحديد حدود ضغط البيانات غير المفقود أو لقياس عدم القدرة على التنبؤ بتوزيع احتمالي منفصل. وهي الأكثر فعالية عندما تكون مجموعة النتائج المحتملة محدودة وتكون احتمالاتها مستقلة ومعروفة.
إنه المقياس الأساسي لنظرية المعلومات، مما يتيح كفاءة الاتصالات الرقمية الحديثة، من ملفات ZIP إلى بث الفيديو. من خلال تحديد البنية الإحصائية للبيانات، فإنه يسمح بتحسين سعة التخزين وعرض نطاق الإرسال.
استخدام اللوغاريتم الطبيعي بدلاً من log2. نسيان كل من مصطلحي p و q.
في سياق قياس عدم اليقين لعملة منحازة، تُستخدم معادلة الاعتلاج (شانون) لتحويل القياسات إلى قيمة يمكن تفسيرها. وتكمن أهمية الناتج في أنه يساعد على تقييم سلوك النموذج أو تكلفة الخوارزمية أو جودة التنبؤ قبل استخدام الناتج.
يتم تعظيم الاعتلاج عندما تكون جميع النتائج متساوية الاحتمال. الوحدات تكون بالبت عندما يكون اللوغاريتم أساس 2. الاعتلاج دائمًا صفر أو موجب؛ وهو صفر فقط عندما تكون نتيجة واحدة مؤكدة. استخدم صيغة تغيير الأساس: log₂(x) = ln(x) / ln(2).
References
Sources
- Shannon, C. E. (1948). A Mathematical Theory of Communication.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
- Wikipedia: Shannon entropy
- Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
- Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
- Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
- David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003