Gradient descent satu dimensi

Minimalkan $f(x) = a\,(x - b)^2$ dengan gradient descent: mulai dari x0, lakukan steps langkah dengan learning rate lr, lalu kembalikan x terakhir.

a=1, b=3, x0=0, lr=0.1, steps=1   →  0.6      // f'(0) = -6, x = 0 - 0.1·(-6)
a=1, b=3, x0=0, lr=0.1, steps=50  →  ≈ 3

Ide dasar

Gradien menunjuk ke arah kenaikan tercepat. Supaya turun, bergeraklah ke arah sebaliknya:

x_{t+1} = x_t - \eta\, f'(x_t)

$\eta$ (learning rate) mengatur besar langkah.

Learning rate

Untuk $f(x) = a(x-b)^2$ , satu langkah memberi $x_{t+1} - b = (1 - 2a\eta)(x_t - b)$ . Artinya:

$0 < 2a\eta < 1$ : mendekat dengan mulus.
$1 < 2a\eta < 2$ : melompat bolak-balik melewati minimum, tapi tetap konvergen.
$2a\eta > 2$ : divergen, karena jaraknya makin jauh setiap langkah. Coba case lr = 1.1 di atas.

Di jaringan saraf sungguhan tidak ada rumus sesederhana ini, tapi intuisinya sama: kalau loss meledak menjadi nan, coba kecilkan learning rate dulu.

Penjelasan

Yang diminta. Ulangi update gradient descent sebanyak steps kali pada $f(x) = a(x-b)^2$ , lalu kembalikan x terakhir.

Turunannya. Dengan aturan rantai, $f'(x) = 2a(x - b)$ . Tandanya menunjukkan arah naik: jika $x > b$ , turunannya positif, jadi kita harus mengurangi $x$ . Itulah kenapa update-nya minus gradien:

x \leftarrow x - \eta \cdot 2a(x - b)

Langkah di kode:

x = x0.
Di setiap langkah: grad = 2 * a * (x - b), lalu x = x - lr * grad.
Setelah loop selesai, return x.

Cek manual. a=1, b=3, x0=0, lr=0.1: gradien di 0 adalah $2(0-3) = -6$ , jadi $x = 0 - 0.1 \cdot (-6) = 0.6$ . Itu case pertama.

Kenapa case lr = 1.1 meledak. Setiap langkah mengalikan jarak ke minimum dengan $(1 - 2a\eta) = -1.2$ . Tandanya berganti (melompati minimum) dan besarnya bertambah 20% setiap langkah. Setelah 10 langkah, $1.2^{10} \approx 6.19$ .

Yang dikembalikan: satu float, posisi x terakhir.