İkili Çapraz Entropi Kaybı Calculator
Sınıflandırma için kayıp fonksiyonu.
Formula first
Overview
İkili Çapraz Entropi Kaybı veya Log Kaybı, iki olasılık dağılımı arasındaki farkı nicel olarak belirler: gerçek ikili etiketler ve tahmin edilen olasılıklar. Güvenilir ancak yanlış tahminlere ağır bir logaritmik ceza uygulayarak, gradyan inişi gibi optimizasyon algoritmalarını model doğruluğunu iyileştirmeye yönlendirir.
Symbols
Variables
y = True Label (0/1), p = Predicted Prob, L = Loss
Apply it well
When To Use
When to use: Bu fonksiyon, çıktının 0 ile 1 arasında tek bir olasılık değeri olduğu ikili sınıflandırma görevleri için özel olarak tasarlanmıştır. Çıkış katmanında sigmoid aktivasyon fonksiyonu kullanan lojistik regresyon ve sinir ağları için amaç fonksiyonu olarak en yaygın şekilde kullanılır.
Why it matters: Basit sınıflandırma hatasından farklı olarak, bu kayıp fonksiyonu türevlenebilirdir, bu da derin öğrenmede geri yayılım için elzemdir. Modelin 'güvenle yanlış' olmaktan ziyade 'belirsizce yanlış' olduğu için daha ağır cezalandırılmasını sağlayarak daha sağlam olasılıksal tahminlere yol açar.
Avoid these traps
Common Mistakes
- 10 tabanlı logaritma kullanmak (doğal logaritma kullanın).
- p=0 veya p=1 tam olarak (sonsuzluğa neden olur).
One free problem
Practice Problem
Bir tıbbi teşhis modeli, bir hastanın belirli bir duruma sahip olma olasılığını 0.85 olarak tahmin ediyor. Hasta gerçekten bu duruma sahipse (y=1), ikili çapraz entropi kaybını hesaplayın.
Hint: Y=1 olduğu için formül L = -ln(p) olarak basitleşir.
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Deep Learning by Ian Goodfellow, Yoshua Bengio, and Aaron Courville
- Deep Learning (Goodfellow, Bengio, Courville)
- Pattern Recognition and Machine Learning (Bishop)
- Goodfellow, Bengio, and Courville Deep Learning
- Bishop Pattern Recognition and Machine Learning
- Standard curriculum — Machine Learning