MSE dan gradiennya

Kembalikan list [loss, grad] dengan

L = \frac{1}{N}\sum_{i=1}^{N} (\hat{y}_i - y_i)^2, \qquad \text{grad}_i = \frac{\partial L}{\partial \hat{y}_i}

pred = [2, 0], y = [0, 0]  →  [2.0, [2.0, 0.0]]

MSE

Mean squared error adalah loss standar untuk regresi. Kuadrat membuat galat besar dihukum jauh lebih berat daripada galat kecil, sehingga MSE sensitif terhadap outlier. Kalau itu masalah, gunakan MAE atau Huber loss.

Gradiennya

\frac{\partial L}{\partial \hat{y}_i} = \frac{2}{N}(\hat{y}_i - y_i)

Perhatikan faktor $1/N$ : karena loss dirata-rata, gradien per contoh mengecil saat batch membesar. Itulah kenapa learning rate tidak perlu diubah ketika ukuran batch berubah, selama loss dirata-rata (bukan dijumlah).

Bandingkan dengan cross-entropy + softmax yang gradiennya $p - y$ . Keduanya berbentuk “prediksi − target”. Ini bukan kebetulan: keduanya adalah pasangan loss dan output yang “kanonis”.

Penjelasan

Yang diminta. [loss, grad], dengan loss rata-rata kuadrat galat dan grad turunannya terhadap setiap prediksi.

Turunannya. $L = \frac{1}{N}\sum_k (\hat y_k - y_k)^2$ . Saat menurunkan terhadap satu $\hat y_i$ , hanya suku $k = i$ yang bergantung padanya:

\frac{\partial L}{\partial \hat y_i} = \frac{1}{N}\cdot 2(\hat y_i - y_i)

Faktor 2 datang dari pangkat, dan $1/N$ datang dari rata-rata.

Langkah di kode:

diff = pred - y.
loss = (diff ** 2).mean().
grad = 2 * diff / n, dengan n = diff.size.

Cek. pred = [2, 0], y = [0, 0]: diff = [2, 0], loss $= (4 + 0)/2 = 2$ , grad $= [2 \cdot 2/2,\ 0] = [2, 0]$ .

Yang dikembalikan: list [float, array (N,)].

Kesalahan umum: lupa faktor $1/N$ (gradiennya jadi N kali terlalu besar, dan learning rate yang “pas” akan bergantung pada ukuran batch); lupa faktor 2.