Regresi linear: prediksi dan loss

Model regresi linear memprediksi $\hat{y} = Xw + b$ . Untuk data X (N baris, d fitur), target y, bobot w, dan bias b, kembalikan [pred, loss] dengan loss adalah MSE. Tulis tanpa loop.

X = [[1], [2], [3]], y = [2, 4, 6], w = [2], b = 0  →  [[2, 4, 6], 0.0]

Model linear

Setiap prediksi adalah dot product antara fitur dan bobot, ditambah bias:

\hat{y}_i = w_1 x_{i1} + \dots + w_d x_{id} + b = x_i \cdot w + b

Ditulis untuk satu batch sekaligus: $\hat{y} = Xw + b$ . Bentuknya (N, d) @ (d,) → (N,).

Kenapa mulai dari sini

Regresi linear adalah jaringan saraf paling kecil: satu layer Linear tanpa aktivasi. Siklus yang akan kamu ulangi sampai tiny GPT sudah lengkap di sini: forward → loss → gradien → update.

Penjelasan

Yang diminta. Prediksi model linear untuk semua baris sekaligus, ditambah loss MSE-nya.

Ide kunci. Prediksi satu contoh adalah dot product fitur dan bobot ditambah bias: $\hat y_i = x_i \cdot w + b$ . Untuk semua contoh sekaligus, itu perkalian matriks-vektor:

\hat y = Xw + b \qquad (N, d) @ (d,) \to (N,)

b adalah skalar, jadi otomatis ditambahkan ke setiap elemen (broadcasting).

Langkah di kode:

pred = X @ w + b.
loss = ((pred - y) ** 2).mean(), diubah ke float.
return [pred, loss].

Cek. X = [[1],[2],[3]], w = [2], b = 0 memberi prediksi [2, 4, 6], sama persis dengan y, jadi loss 0.

Yang dikembalikan: list [array (N,), float].