b belajar.myudak
N2 inti jalur tiny GPT

minitorch & training loop

Pindah dari backprop manual ke autograd. Memakai minitorch (API mirip PyTorch): tensor, modul, optimizer, normalisasi, dan training loop yang bisa didiagnosis.

URUTAN BELAJAR

  1. tensor & autograd
  2. nn.Module & Linear
  3. LayerNorm / RMSNorm
  4. optimizer (SGD, Adam)
  5. training loop & overfit satu batch
  6. diagnosis (dead ReLU, loss curve)

HASIL YANG DISIMPAN

Classifier kecil yang dilatih dengan training loop sendiri, lengkap dengan kurva loss.

CEK PEMAHAMAN

Kenapa harus zero_grad() di tiap langkah? Apa yang terjadi kalau lupa?

Soal

Sebelumnya

N1 · Neuron, backprop & MLP

Membuka

S1 · RNN, LSTM & GRUV1 · CNN, pooling & ResNetT1 · Teks & embeddingR3 · RL: policy gradient (REINFORCE)X2 · Capstone classifier / sekuens