Satu blok transformer

Gabungkan semua yang sudah kamu bangun menjadi satu blok transformer pre-LN gaya GPT:

\begin{aligned} x &\leftarrow x + \text{MHA}(\text{LN}(x)) \\ x &\leftarrow x + \text{ReLU}(\text{LN}(x)\,W_1)\,W_2 \end{aligned}

LN: LayerNorm di axis terakhir tanpa parameter ( $\gamma = 1$ , $\beta = 0$ , eps = 1e-5).
MHA: causal multi-head attention seperti soal sebelumnya.
MLP tanpa bias. Biasanya F = 4D.

Dua langkah, berulang

Setiap blok transformer melakukan dua hal:

Attention: token-token berkomunikasi, karena setiap token mengumpulkan informasi dari token sebelumnya.
MLP: setiap token berpikir sendiri, karena fungsi yang sama diterapkan ke setiap posisi secara terpisah.

GPT menumpuk $L$ blok seperti ini (GPT-2 kecil: $L = 12$ , $D = 768$ , $H = 12$ ).

Residual stream

Perhatikan x = x + .... Setiap sub-layer tidak mengganti x, tapi menambahkan sesuatu ke dalamnya. Akibatnya, gradien punya “jalan tol” langsung dari loss ke layer paling awal tanpa melewati perkalian yang bisa mengecilkannya. Tanpa residual, jaringan sedalam ini nyaris tidak bisa dilatih.

Pre-LN vs post-LN

Transformer asli (2017) menormalkan setelah penjumlahan: x = LN(x + f(x)). GPT-2 dan hampir semua model modern menormalkan sebelum sub-layer: x = x + f(LN(x)). Pre-LN menjaga residual stream tetap bersih dan jauh lebih stabil untuk jaringan yang dalam.

Penjelasan

Yang diminta. Satu blok GPT pre-LN: attention dengan residual, lalu MLP dengan residual.

Langkah di kode:

Dua fungsi pembantu dari soal sebelumnya: layer_norm (tanpa γ/β) dan mha (causal multi-head attention).
x = x + mha(layer_norm(x), ...): normalisasi dulu, jalankan attention, lalu tambahkan hasilnya ke x asli. Ini langkah komunikasi antar-token.
x = x + np.maximum(layer_norm(x) @ W1, 0) @ W2: normalisasi x yang baru, lalu MLP D → F → D dengan ReLU, lalu tambahkan lagi. Ini langkah komputasi per token.

Kenapa residual (x + ...). Setiap sub-layer hanya perlu mempelajari koreksi kecil terhadap x, bukan membangun ulang seluruh representasi. Selain itu, gradien bisa mengalir langsung lewat penjumlahan ke layer awal tanpa dilemahkan.

Kenapa pre-LN. LN dipasang di jalur cabang, bukan di jalur utama. Residual stream x tetap tidak dinormalkan, sehingga jaringan yang dalam lebih stabil dilatih.

Kesalahan umum: x = mha(layer_norm(x)) tanpa x + (residual hilang); x = layer_norm(x + mha(x)) (itu post-LN, hasilnya berbeda); memakai layer_norm(x) dari sebelum langkah 2 di langkah 3.

Yang dikembalikan: array (T, D), bentuk yang sama dengan input. Karena itu blok bisa ditumpuk sebanyak apa pun.