बाइनरी क्रॉस-एन्ट्रॉपी Calculator
बाइनरी वर्गीकरण के लिए हानि फ़ंक्शन।
Formula first
Overview
बाइनरी क्रॉस-एन्ट्रॉपी दो संभाव्यता वितरणों के बीच विचलन को मापता है, आमतौर पर बाइनरी वर्गीकरण कार्य में वास्तविक लेबल और अनुमानित संभावनाओं के बीच। यह एक हानि मान की गणना करता है जो वास्तविक वर्ग मान से विचलन करने पर भविष्यवाणियों को घातीय रूप से दंडित करता है।
Symbols
Variables
L = Loss, y = Actual Label (0/1), p = Predicted Prob
Apply it well
When To Use
When to use: यह समीकरण बाइनरी वर्गीकरण समस्याओं के लिए मानक हानि फ़ंक्शन है जहाँ आउटपुट 0 और 1 के बीच एक एकल संभावना है। यह तंत्रिका नेटवर्क के अंतिम परत में सिग्मॉइड एक्टिवेशन फ़ंक्शन के साथ जोड़े जाने पर सबसे प्रभावी होता है।
Why it matters: यह अनुकूलन के लिए एक चिकनी, उत्तल सतह प्रदान करता है, जिससे ग्रेडिएंट डिसेंट मॉडल भार को प्रभावी ढंग से अपडेट कर पाता है। आत्मविश्वासपूर्ण लेकिन गलत भविष्यवाणियों को भारी दंडित करके, यह मॉडल को वर्गों के बीच अधिक विशिष्ट सीमाएँ सीखने के लिए मजबूर करता है।
Avoid these traps
Common Mistakes
- p=0 या p=1 का सीधे उपयोग करना।
- (1-y) पद भूल जाना।
One free problem
Practice Problem
एक मशीन लर्निंग मॉडल एक लेनदेन को धोखाधड़ी (y = 1) के रूप में पहचानता है। मॉडल की धोखाधड़ी की अनुमानित संभावना 0.85 है। इस विशिष्ट भविष्यवाणी के लिए बाइनरी क्रॉस-एन्ट्रॉपी हानि की गणना करें।
Hint: जब y = 1, सूत्र L = -ln(p) तक सरल हो जाता है।
The full worked solution stays in the interactive walkthrough.
References
Sources
- Wikipedia: Cross-entropy
- Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press.
- Deep Learning (Ian Goodfellow, Yoshua Bengio, and Aaron Courville)
- Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Chapter 6, Section 6.2.2.2)
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. (Chapter 4, Section 4.3.4)
- Standard curriculum — Machine Learning (Classification Losses)