Data & ComputingBilgi TeorisiA-Level
AQAIBAbiturAPBachilleratoCambridgeCISCEEdexcel

Entropi (Shannon) Calculator

Ortalama bilgi/belirsizlik düzeyi.

Use the free calculatorCheck the variablesOpen the advanced solver
Open Advanced Calculator
This is the free calculator preview. Advanced walkthroughs stay in the app.
Result
Ready
Entropy (Bits)

Formula first

Overview

Shannon entropisi, bir rastgele değişkenin olası sonuçlarında bulunan ortalama belirsizlik, sürpriz veya bilgi düzeyini ölçer. Bir mesajı temsil etmek için gereken minimum ortalama bit sayısını tanımlayarak veri sıkıştırma için teorik temel sağlar.

Symbols

Variables

H = Entropy (Bits), p = Probability (p)

Entropy (Bits)
bits
Probability (p)
Variable

Apply it well

When To Use

When to use: Kayıpsız veri sıkıştırmanın sınırlarını belirlemek veya ayrık bir olasılık dağılımının öngörülemezliğini ölçmek için bu formülü kullanın. Olası sonuçlar kümesi sonlu ve olasılıkları bağımsız ve bilindiğinde en etkilidir.

Why it matters: Modern dijital iletişimlerin (ZIP dosyalarından akış videoya kadar) verimliliğini sağlayan bilgi teorisinin temel ölçütüdür. Verilerin istatistiksel yapısını belirleyerek, depolama ve iletim bant genişliğinin optimizasyonuna olanak tanır.

Avoid these traps

Common Mistakes

  • log2 yerine doğal log kullanmak.
  • Hem p hem de q terimlerini unutmak.

One free problem

Practice Problem

Adil bir madeni paranın, her biri 0.5 olasılıkla tura ve yazı olmak üzere iki sonucu vardır. Tek bir yazı tura atışının Shannon entropisini hesaplayın.

Hint: Sonuçlar eşit derecede olası olduğunda (ikili için p = 0.5), entropi maksimum değerindedir.

The full worked solution stays in the interactive walkthrough.

References

Sources

  1. Shannon, C. E. (1948). A Mathematical Theory of Communication.
  2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory.
  3. Wikipedia: Shannon entropy
  4. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423.
  5. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley.
  6. Claude E. Shannon, 'A Mathematical Theory of Communication', Bell System Technical Journal, 1948
  7. Thomas M. Cover and Joy A. Thomas, 'Elements of Information Theory', 2nd ed., Wiley-Interscience, 2006
  8. David J. C. MacKay, 'Information Theory, Inference, and Learning Algorithms', Cambridge University Press, 2003