b belajar.myudak
G2 proyek jalur tiny GPT

Tiny GPT: rakit, latih, generate

Merakit GPT decoder-only kecil di minitorch, melatihnya langsung di browser pada korpus bahasa Indonesia, lalu menghasilkan teks.

URUTAN BELAJAR

  1. rakit model
  2. overfit satu batch
  3. latih + kurva loss train/val
  4. sampling dengan temperature

HASIL YANG DISIMPAN

Model kecil yang loss validasinya turun dan bisa menghasilkan teks.

CEK PEMAHAMAN

Bandingkan loss dengan baseline 'tebak acak' (ln ukuran vocab). Seberapa jauh di bawahnya?

PROYEK TERPANDU Proyek: tiny GPT di browser → Rakit GPT decoder-only dengan minitorch, latih pada korpus kecil berbahasa Indonesia sambil melihat kurva loss, lalu biarkan model menulis.

Soal

Soal untuk topik ini menyusul.

Sebelumnya

A1 · Attention & blok TransformerG1 · Tokenizer & dataset next-token

Membuka

G3 · KV-cache & grouped-query attention