Guadagno informativo Calculator

Formula first

Overview

Il Guadagno Informativo misura la riduzione dell'incertezza, o entropia, all'interno di un dataset dopo che è stato partizionato in base a un attributo specifico. È il criterio principale utilizzato da algoritmi come ID3 e C4.5 per determinare la migliore caratteristica per dividere un nodo in un albero decisionale.

Symbols

Variables

IG = Info Gain, $H_p$ = Parent Entropy, $H_c$ = Child Entropy

Apply it well

When To Use

When to use: Applica questa metrica durante la costruzione di modelli di apprendimento supervisionato per valutare il potere predittivo delle variabili indipendenti. È più efficace quando si lavora con target categorici in cui l'obiettivo è massimizzare la purezza della classe nei sottoinsiemi risultanti.

Why it matters: Identificando le caratteristiche che offrono il massimo Guadagno Informativo, i modelli possono essere costruiti con meno livelli, riducendo la complessità computazionale. Questa efficienza aiuta a prevenire l'overfitting e garantisce che i pattern dei dati più rilevanti siano prioritari durante l'addestramento.

Avoid these traps

Common Mistakes

• Sommare le entropie invece di sottrarle.
• Mescolare le basi dei logaritmi.

One free problem

Practice Problem

Un dataset ha un'entropia iniziale di 0.940 bit. Dopo averlo diviso in base a una caratteristica specifica, l'entropia media ponderata dei nodi figli è 0.693 bit. Calcola il Guadagno Informativo.

Hint: Sottrai l'entropia dei figli dall'entropia del nodo padre.

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Wikipedia: Information gain (decision tree)
2. Wikipedia: Entropy (information theory)
3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
7. Wikipedia: Information gain in decision trees
8. Standard curriculum — Machine Learning (Decision Trees)