Data & Computingデータ分析A-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

エントロピー(シャノン) Calculator

情報・不確実性の平均レベル。

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

エントロピー(シャノン)について、主要な入力値と式の関係を整理し、計算結果の意味を解釈するための説明です。条件、単位、前提を確認しながら使うことで、結果を比較、判断、見積もり、リスク確認に結びつけやすくなります。必要に応じて値を変え、結果の変化も確認してください。

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: エントロピー(シャノン)は、与えられた値から必要な結果を求めたいときに使います。入力の単位、範囲、前提条件を確認してから代入し、計算結果を現実の条件や問題文の目的と照らし合わせてください。

Why it matters: エントロピー(シャノン)の結果は、数値を比較し、傾向、制約、リスク、設計上の判断を説明するために役立ちます。答えを単独の数値として扱わず、条件が変わったときの意味や妥当性も確認できます。

Avoid these traps

Common Mistakes

  • log2ではなく自然対数を使うこと。
  • p項とq項の両方を忘れること。

One free problem

Practice Problem

次の条件を使って、エントロピー(シャノン)を求めてください。必要な値を式に代入し、単位と桁数を確認して答えてください。 条件: 0.5。

Hint: エントロピー(シャノン)の式に既知の値を代入し、単位、符号、分母と分子の対応を確認しながら計算してください。問題文で与えられた条件を先に整理すると解きやすくなります。

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003