O1 inti jalur tiny GPT
Gradien, aktivasi & loss
Inti dari 'belajar': prediksi → loss → turunan → update parameter. Di sini kamu menurunkan dan menguji gradien, membuat softmax yang stabil secara numerik, dan memahami cross-entropy.
URUTAN BELAJAR
- turunan & finite difference
- gradient descent
- sigmoid / ReLU / tanh / GELU
- MSE
- softmax stabil & cross-entropy
HASIL YANG DISIMPAN
Visualisasi langkah gradient descent dan softmax yang tidak overflow untuk input besar.
CEK PEMAHAMAN
Hitung satu update parameter dengan tangan, lalu cocokkan gradien analitik dengan finite difference.