Gradien ReLU

Saat forward, sebuah layer menghitung out = relu(x). Saat backward, kamu menerima grad_out = dL/d(out). Kembalikan dL/dx, dengan konvensi turunan di x = 0 bernilai 0.

x = [1, -1, 2], grad_out = [1, 1, 1]  →  [1, 0, 1]

Aturan rantai per elemen

ReLU bekerja per elemen, jadi gradiennya juga per elemen:

\frac{\partial L}{\partial x_i} = \frac{\partial L}{\partial \text{out}_i}\cdot \mathbb{1}[x_i > 0]

ReLU berfungsi seperti gerbang: gradien lewat utuh di posisi yang aktif, dan diblokir total di posisi yang mati.

Dead ReLU

Kalau sebuah neuron selalu menerima input negatif, gradiennya selalu 0 dan bobotnya tidak pernah berubah lagi. Penyebab umumnya learning rate terlalu besar atau bias awal yang buruk. Varian seperti Leaky ReLU atau GELU memberi sedikit gradien di sisi negatif.

Pola backward

Semua layer di framework punya pola yang sama: backward(grad_out) → grad_in. Setiap layer cukup tahu turunan lokalnya sendiri, lalu aturan rantai menyambung semuanya.

Penjelasan

Yang diminta. Saat backward, sebuah layer menerima grad_out = $\partial L / \partial \text{out}$ dan harus mengembalikan $\partial L / \partial x$ .

Aturan rantai per elemen. $\text{out}_i = \max(0, x_i)$ , jadi

\frac{\partial \text{out}_i}{\partial x_i} = \begin{cases} 1 & x_i > 0 \\ 0 & x_i \le 0 \end{cases} \qquad\Rightarrow\qquad \frac{\partial L}{\partial x_i} = \text{grad\_out}_i \cdot [x_i > 0]

Langkah di kode: satu baris, grad_out * (x > 0). x > 0 menghasilkan array boolean; dikalikan dengan angka, True dianggap 1 dan False dianggap 0. Itulah “gerbang” ReLU.

Kenapa pakai x, bukan output? Kita butuh tahu neuron mana yang aktif saat forward. Menyimpan x (atau mask x > 0) saat forward adalah pola standar: setiap layer menyimpan apa yang nanti dibutuhkan backward-nya.

Di titik 0. ReLU tidak punya turunan tepat di 0. Konvensi yang dipakai PyTorch adalah 0, dan x > 0 sudah memberi 0 di titik itu.

Yang dikembalikan: array berbentuk sama dengan x.

ReLU(1)	= 1.0000	turunan = 1.0000	Murah dan tidak jenuh untuk x > 0. Untuk x < 0 gradiennya 0 → risiko "dead ReLU".
GELU(1)	= 0.8412	turunan = 1.0830	Versi "halus" ReLU yang dipakai GPT dan BERT. Sedikit negatif di sekitar x ≈ −0.75.