N1 inti jalur tiny GPT
Neuron, backprop & MLP
Dari satu neuron ke multilayer perceptron, dengan backpropagation yang ditulis sendiri memakai chain rule. Diperiksa dengan gradient checking.
URUTAN BELAJAR
- satu neuron (forward + backward)
- backprop 2 layer
- MLP dari nol
- gradient checking
- inisialisasi bobot
HASIL YANG DISIMPAN
MLP NumPy yang lolos gradient check dan bisa overfit dataset kecil.
CEK PEMAHAMAN
Jelaskan kenapa gradien bias adalah jumlah gradien output di sepanjang batch.