Data & Computing머신러닝A-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

정보 이득

엔트로피 감소.

Understand the formulaSee the free derivationOpen the full walkthrough
Open Full WalkthroughTry Calculator

This public page keeps the free explanation visible and leaves premium worked solving, advanced walkthroughs, and saved study tools inside the app.

Core idea

Overview

정보 이득은 주요 입력값과 식의 관계를 정리하고 계산 결과의 의미를 해석하기 위한 설명입니다. 조건, 단위, 전제를 확인하면서 사용하면 결과를 비교, 판단, 추정, 위험 확인과 연결하기 쉽습니다. 필요하면 값을 바꾸어 결과가 어떻게 달라지는지도 확인하세요.

When to use: 정보 이득은 주어진 값에서 필요한 결과를 구해야 할 때 사용합니다. 입력 단위, 범위, 전제 조건을 확인한 뒤 대입하고, 계산 결과를 실제 조건이나 문제의 목적과 비교해 해석하세요.

Why it matters: 정보 이득의 결과는 수치를 비교하고 경향, 제약, 위험, 설계 판단을 설명하는 데 도움이 됩니다. 답을 단독 숫자로만 보지 말고 조건이 바뀔 때의 의미와 타당성도 함께 확인할 수 있습니다.

Symbols

Variables

IG = Info Gain, = Parent Entropy, = Child Entropy

IG
Info Gain
bits
Parent Entropy
bits
Child Entropy
bits

Walkthrough

Derivation

공식: 정보 이득

정보 이득은 속성을 사용하여 데이터셋을 분할함으로써 불확실성(엔트로피)이 얼마나 감소하는지를 측정하며, 결정 트리 구성을 안내합니다.

  • 데이터셋 S는 속성 A의 값 v에 의해 부분집합 으로 분할됩니다.
  • 엔트로피 H()는 각 부분집합 내의 클래스 분포에 대해 계산됩니다.
1

분할에 대한 정보 이득을 기술하시오:

분할 전 원래 엔트로피에서 분할 후 가중 평균 엔트로피를 뺍니다.

2

최적 분할 선택:

정보 이득이 가장 높은 속성이 해당 노드에서 불확실성을 가장 크게 감소시킵니다.

Note: 일부 알고리즘은 값이 많은 속성에 대한 편향을 줄이기 위해 이득 비율을 사용합니다.

Result

Source: Standard curriculum — Machine Learning (Decision Trees)

Visual intuition

Graph

Graph type: logarithmic

Why it behaves this way

Intuition

혼합된 항목들의 모음(부모 노드)이 특정 특성에 따라 더 작고 균일한 그룹(자식 노드)으로 정렬되는 것을 상상해 보세요. 정보 이득은 그룹이 얼마나 더 체계적이고 덜 혼합되는지를 측정합니다.

IG
데이터셋이 속성에 따라 분할된 후의 불확실성 또는 무작위성의 감소.
더 높은 정보 획득은 이 속성으로 데이터셋을 분할하면 결과 부분집합들이 목표 클래스 측면에서 훨씬 더 예측 가능하거나 '더 순수해짐'을 나타냅니다.
H(parent)
분할이 이루어지기 전 데이터셋의 초기 불확실성 또는 불순도(엔트로피) 수준.
원본 데이터셋에서 클래스가 얼마나 혼합되어 있는지를 나타냅니다. H(parent)가 높을수록 클래스가 더 고르게 분포되어 있어 더 불확실합니다.
H(children)
특정 속성으로 데이터셋을 분할한 후 생성된 부분집합들의 가중 평균 불확실성 또는 불순도(엔트로피).
결과 부분집합에서 클래스가 얼마나 혼합되어 있는지를 나타냅니다. H(children)가 낮을수록 부분집합이 더 동질적이고 덜 불확실합니다.

Signs and relationships

  • - H(children): H(parent)에서 H(children)을 빼는 것은 정보 획득이 엔트로피의 *감소*를 정량화함을 의미합니다. 우리는 자식 노드의 엔트로피가 부모 노드보다 작기를 목표로 하므로, 양의 정보

Free study cues

Insight

Canonical usage

정보 이득은 데이터셋 내 엔트로피 감소를 정량화하는 데 사용되는 무차원 수치 점수입니다.

Dimension note

정보 이득은 엔트로피 값의 차이에서 도출되는 무차원량이며, 엔트로피 값 자체도 확률로부터 계산됩니다.

One free problem

Practice Problem

다음 조건을 사용해 정보 이득을(를) 구하세요. 필요한 값을 식에 대입하고 단위와 자릿수를 확인해 답하세요. 조건: 0.940 bits, 0.693 bits.

Hint: 정보 이득의 식에 알려진 값을 대입하고 단위, 부호, 분자와 분모의 대응을 확인하면서 계산하세요. 문제에서 주어진 조건을 먼저 정리하면 더 쉽게 풀 수 있습니다.

The full worked solution stays in the interactive walkthrough.

Where it shows up

Real-World Context

정보 이득은 실무, 학습, 분석 상황에서 구체적인 값을 대입해 결과를 확인할 때 사용할 수 있습니다. 계산 결과를 단순한 숫자로만 보지 않고 조건 비교, 판단, 추정, 위험 확인과 연결해 해석하는 데 도움이 됩니다.

Study smarter

Tips

  • 자식 노드의 엔트로피는 각 가지의 표본 수에 기반한 가중평균으로 계산하세요.
  • Information Gain은 서로 다른 값이 많은 속성 쪽으로 편향될 수 있다는 점에 유의하세요.
  • 이득이 0이면 그 분할이 데이터셋의 순도를 전혀 개선하지 않는다는 뜻입니다.

Avoid these traps

Common Mistakes

  • 엔트로피를 빼는 대신 더하는 것.
  • 로그의 밑을 섞는 것.

Common questions

Frequently Asked Questions

정보 이득은 속성을 사용하여 데이터셋을 분할함으로써 불확실성(엔트로피)이 얼마나 감소하는지를 측정하며, 결정 트리 구성을 안내합니다.

정보 이득은 주어진 값에서 필요한 결과를 구해야 할 때 사용합니다. 입력 단위, 범위, 전제 조건을 확인한 뒤 대입하고, 계산 결과를 실제 조건이나 문제의 목적과 비교해 해석하세요.

정보 이득의 결과는 수치를 비교하고 경향, 제약, 위험, 설계 판단을 설명하는 데 도움이 됩니다. 답을 단독 숫자로만 보지 말고 조건이 바뀔 때의 의미와 타당성도 함께 확인할 수 있습니다.

엔트로피를 빼는 대신 더하는 것. 로그의 밑을 섞는 것.

정보 이득은 실무, 학습, 분석 상황에서 구체적인 값을 대입해 결과를 확인할 때 사용할 수 있습니다. 계산 결과를 단순한 숫자로만 보지 않고 조건 비교, 판단, 추정, 위험 확인과 연결해 해석하는 데 도움이 됩니다.

자식 노드의 엔트로피는 각 가지의 표본 수에 기반한 가중평균으로 계산하세요. Information Gain은 서로 다른 값이 많은 속성 쪽으로 편향될 수 있다는 점에 유의하세요. 이득이 0이면 그 분할이 데이터셋의 순도를 전혀 개선하지 않는다는 뜻입니다.

References

Sources

  1. Wikipedia: Information gain (decision tree)
  2. Wikipedia: Entropy (information theory)
  3. An Introduction to Statistical Learning by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani
  4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
  5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
  6. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  7. Wikipedia: Information gain in decision trees
  8. Standard curriculum — Machine Learning (Decision Trees)