Data & Computingसूचना सिद्धांतA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

एन्ट्रॉपी (शैनन) Calculator

सूचना/अनिश्चितता का औसत स्तर।

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

शैनन एन्ट्रॉपी किसी यादृच्छिक चर के संभावित परिणामों में निहित अनिश्चितता, आश्चर्य या सूचना के औसत स्तर को मापती है। यह संदेश को दर्शाने के लिए आवश्यक बिट्स की न्यूनतम औसत संख्या को परिभाषित करके डेटा संपीड़न के लिए सैद्धांतिक आधार प्रदान करता है।

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: हानिरहित डेटा संपीड़न की सीमा निर्धारित करने या असतत प्रायिकता वितरण की अप्रत्याशितता को मापने के लिए इस सूत्र का उपयोग करें। यह तब सबसे प्रभावी होता है जब संभावित परिणामों का सेट सीमित होता है और उनकी प्रायिकताएँ स्वतंत्र और ज्ञात होती हैं।

Why it matters: यह सूचना सिद्धांत का मौलिक मीट्रिक है, जो जिप फाइलों से लेकर स्ट्रीमिंग वीडियो तक, आधुनिक डिजिटल संचार की दक्षता को सक्षम बनाता है। डेटा की सांख्यिकीय संरचना की पहचान करके, यह भंडारण और संचरण बैंडविड्थ के अनुकूलन की अनुमति देता है।

Avoid these traps

Common Mistakes

  • log2 के बजाय प्राकृतिक लघुगणक का उपयोग करना।
  • p और q दोनों पदों को भूल जाना।

One free problem

Practice Problem

एक निष्पक्ष सिक्के के दो परिणाम होते हैं, चित और पट, प्रत्येक की प्रायिकता 0.5 होती है। एक एकल सिक्का उछाल की शैनन एन्ट्रॉपी की गणना करें।

Hint: जब परिणाम समान रूप से संभावित होते हैं (बाइनरी के लिए p = 0.5), तो एन्ट्रॉपी अपने अधिकतम मान पर होती है।

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003