G1 inti jalur tiny GPT
Tokenizer & dataset next-token
Membuat pasangan (input, target) yang bergeser satu token, membagi train/validation sebelum membuat window, dan BPE sebagai tokenizer subword.
URUTAN BELAJAR
- window input/target
- split train/val dulu
- batching
- BPE: hitung pasangan & merge
HASIL YANG DISIMPAN
Data loader next-token yang menghasilkan batch (B, T).
CEK PEMAHAMAN
Kenapa split harus dilakukan sebelum membuat window yang saling tumpang tindih?