Modul 20GeneralMatematika Deep LearningBebas diakses tanpa akun

Matematika di Balik Transformer dan Self-Attention

MulaiLangkah 1 dari 14

Pemancing berpikir

Berhenti sebentar sebelum menghitung.

Komputasi operasi Q, K, V (Query, Key, Value) dan fungsi Softmax berbobot pada arsitektur Attention modern (seperti GPT).

Sebelum menghitung, prediksi: bagian mana dari matematika di balik transformer dan self-attention yang tetap dan bagian mana yang berubah? Jelaskan alasanmu dengan satu representasi visual.

Bekal sebelum mulai

Kalau salah satu terasa samar, buka dulu modulnya:

Singular Value Decomposition (SVD) dalam AI
Kalkulus Backpropagation Lanjut

Pertanyaan esensial

Bagaimana matematika di balik transformer dan self-attention dapat dipahami, direpresentasikan, dan diperiksa tanpa hanya menghafal langkah?