Data & Computingमशीन लर्निंगA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

सूचना लाभ Calculator

एन्ट्रॉपी में कमी।

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Info Gain

Formula first

Overview

सूचना लाभ किसी विशिष्ट विशेषता के आधार पर डेटासेट को विभाजित करने के बाद अनिश्चितता, या एन्ट्रॉपी में कमी को मापता है। यह ID3 और C4.5 जैसे एल्गोरिदम द्वारा निर्णय वृक्ष में एक नोड को विभाजित करने के लिए सर्वोत्तम सुविधा निर्धारित करने के लिए उपयोग किया जाने वाला प्राथमिक मानदंड है।

Symbols

Variables

IG = Info Gain, = Parent Entropy, = Child Entropy

IG
Info Gain
bits
Parent Entropy
bits
Child Entropy
bits

Apply it well

When To Use

When to use: स्वतंत्र चर की भविष्य कहनेवाला शक्ति का मूल्यांकन करने के लिए पर्यवेक्षित शिक्षण मॉडल के निर्माण के दौरान इस मीट्रिक को लागू करें। यह तब सबसे प्रभावी होता है जब श्रेणीबद्ध लक्ष्यों के साथ काम कर रहे हों जहाँ परिणामी उपसमूहों में वर्ग शुद्धता को अधिकतम करना लक्ष्य होता है।

Why it matters: उच्चतम सूचना लाभ प्रदान करने वाली सुविधाओं की पहचान करके, मॉडल को कम स्तरों के साथ बनाया जा सकता है, जिससे कम्प्यूटेशनल जटिलता कम हो जाती है। यह दक्षता ओवरफिटिंग को रोकने में मदद करती है और सुनिश्चित करती है कि प्रशिक्षण के दौरान सबसे प्रासंगिक डेटा पैटर्न को प्राथमिकता दी जाती है।

Avoid these traps

Common Mistakes

  • एन्ट्रॉपी घटाने के बजाय जोड़ना।
  • लॉग बेस को मिलाना।

One free problem

Practice Problem

एक डेटासेट में प्रारंभिक एन्ट्रॉपी 0.940 बिट्स है। किसी विशिष्ट सुविधा के आधार पर इसे विभाजित करने के बाद, बच्चे नोड्स की भारित औसत एन्ट्रॉपी 0.693 बिट्स है। सूचना लाभ की गणना करें।

Hint: माता-पिता नोड की एन्ट्रॉपी से बच्चों की एन्ट्रॉपी घटाएं।

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Wikipedia: Information gain (decision tree)
  2. Wikipedia: Entropy (information theory)
  3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
  4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
  5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
  6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  7. Wikipedia: Information gain in decision trees
  8. Standard curriculum — Machine Learning (Decision Trees)