A1 inti jalur tiny GPT

Attention & blok Transformer

Scaled dot-product attention, causal mask, multi-head attention, positional encoding, lalu dirakit menjadi blok Transformer (attention + MLP + residual + LayerNorm).

URUTAN BELAJAR

skor QKᵀ & scaling
softmax per baris
causal mask
multi-head
positional encoding
blok Transformer

HASIL YANG DISIMPAN

Masked multi-head attention yang lolos tes 'token masa depan tidak bocor'.

CEK PEMAHAMAN

Kenapa dibagi √d? Apa yang terjadi pada softmax tanpa scaling?

Soal

Scaled dot-product attention sedang
Causal mask sedang
Multi-head attention sulit
Satu blok transformer sulit

Sebelumnya

T1 · Teks & embedding

Membuka

V2 · Vision Transformer G2 · Tiny GPT: rakit, latih, generate B1 · BERT & fine-tuning encoder