KLダイバージェンス(ベルヌーイ) Calculator

Formula first

Overview

ベルヌーイKLダイバージェンスは、2つのベルヌーイ分布間の相対エントロピーを測定し、分布qを使用して分布pを近似するときに失われる情報を定量化します。これは非対称な指標であり、共有確率空間上の2つの二値結果の間の統計的距離を特徴付けます。

Symbols

Variables

$D_{KL}$ = KL Divergence, p = True Probability, q = Model Probability

Apply it well

When To Use

When to use: この式は、二値分類器の性能を評価する場合や、理論モデルを観測された二値頻度と比較する場合に不可欠です。機械学習では、二値交差エントロピーのような損失関数の要素として、また情報理論的なモデル選択の文脈で頻繁に適用されます。

Why it matters: これは、現実が異なるにもかかわらずある確率集合を仮定することによって生じる「驚き」または追加コストを測定する厳密な方法を提供します。実際には、このダイバージェンスを最小化することでデータ伝送を最適化し、予測モデルが真のデータ生成プロセスに可能な限り近づくことを保証します。

Avoid these traps

Common Mistakes

• p と q を入れ替えること（値が変わります）。
• KLを距離指標と仮定すること(対称ではありません)。

One free problem

Practice Problem

コインの表が出る真の確率がp = 0.5であることが知られています。研究者がこのコインを推定確率q = 0.2でモデル化した場合、結果として生じるKLダイバージェンスをnatsで計算してください。

Hint: p/q項と(1-p)/(1-q)項の両方に自然対数を使用して、値を式に代入してください。

The full worked solution stays in the interactive walkthrough.

Keep going

Related Formulas

References

Sources

1. Elements of Information Theory by Thomas M. Cover and Joy A. Thomas
2. Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
3. Wikipedia: Kullback-Leibler divergence
4. Cover and Thomas, Elements of Information Theory, 2nd ed.
5. Wikipedia: Bernoulli distribution
6. IUPAC Gold Book: relative entropy
7. Cover and Thomas Elements of Information Theory