Peta Matematika untuk AI
Modul 15GeneralProbabilitas & InformasiBebas diakses tanpa akun
Teori Informasi: Entropy dan Cross-Entropy
MulaiLangkah 1 dari 14
Pemancing berpikir
Berhenti sebentar sebelum menghitung.
Konsep informasi Shannon, Entropy, Kullback-Leibler (KL) Divergence, dan fungsi kerugian Cross-Entropy untuk klasifikasi AI.
Sebelum menghitung, prediksi: bagian mana dari teori informasi: entropy dan cross-entropy yang tetap dan bagian mana yang berubah? Jelaskan alasanmu dengan satu representasi visual.
Bekal sebelum mulai
Kalau salah satu terasa samar, buka dulu modulnya:
Pertanyaan esensial
Bagaimana teori informasi: entropy dan cross-entropy dapat dipahami, direpresentasikan, dan diperiksa tanpa hanya menghafal langkah?