Melatih regresi linear dengan gradient descent

Latih model $\hat{y} = Xw + b$ dengan full-batch gradient descent pada loss MSE. Mulai dari w = 0 dan b = 0, lakukan tepat steps langkah dengan learning rate lr, lalu kembalikan np.append(w, b).

X = [[1],[2],[3]], y = [2,4,6], lr = 0.1, steps = 1  →  [1.8667, 0.8]
X = [[0],[1],[2],[3]], y = [1,3,5,7], lr = 0.05, steps = 2000  →  ≈ [2, 1]

Gradien MSE terhadap bobot

Dengan $e = Xw + b - y$ dan $L = \frac{1}{N}\lVert e\rVert^2$ :

\frac{\partial L}{\partial w} = \frac{2}{N} X^\top e, \qquad \frac{\partial L}{\partial b} = \frac{2}{N}\sum_i e_i

Bentuk $X^\top e$ selalu cocok: (d, N) @ (N,) → (d,), sama dengan bentuk w. Gradien suatu parameter selalu berbentuk sama dengan parameter itu. Ini cara cepat mengecek rumusmu.

Satu langkah training

Forward: hitung prediksi dan galat.
Backward: hitung gradien.
Update: param -= lr * grad.

Di PyTorch (dan minitorch), langkah 2 dikerjakan loss.backward() dan langkah 3 oleh optimizer.step(). Tapi isinya persis seperti yang kamu tulis di sini.

Solusi tertutup

Regresi linear juga punya solusi langsung $w = (X^\top X)^{-1}X^\top y$ . Kita tetap memakai GD karena GD bisa dipakai untuk model apa pun, termasuk yang tidak punya solusi tertutup.

Penjelasan

Yang diminta. Latih w dan b dari nol dengan tepat steps langkah GD full-batch, lalu kembalikan [w..., b].

Gradiennya. Misalkan galat $e = Xw + b - y$ berbentuk (N,) dan $L = \frac{1}{N}\sum e_i^2$ :

$\partial L / \partial w = \frac{2}{N} X^\top e$ . Bentuknya (d, N) @ (N,) → (d,), sama dengan w. Setiap komponen $w_j$ menerima jumlah galat dikali fitur ke-j.
$\partial L / \partial b = \frac{2}{N}\sum_i e_i$ . Bias memengaruhi setiap prediksi dengan bobot 1.

Langkah di kode (satu iterasi):

Forward: err = X @ w + b - y.
Backward + update: w -= lr * (2/N) * (X.T @ err) dan b -= lr * (2/N) * err.sum().

Keduanya memakai err yang sama, yang dihitung sebelum update apa pun. Kalau w di-update dulu lalu err dihitung ulang untuk b, hasilnya berbeda dari GD yang sebenarnya.

Cek satu langkah. X = [[1],[2],[3]], y = [2,4,6], mulai dari 0: err = [-2,-4,-6], $\nabla w = \frac{2}{3}(-2-8-18) = -18.67$ , $\nabla b = \frac{2}{3}(-12) = -8$ . Dengan lr = 0.1, w = 1.867 dan b = 0.8.

Yang dikembalikan: np.append(w, b), array (d + 1,).