T1 inti jalur tiny GPT
Teks & embedding
Mengubah teks menjadi angka: vocabulary, tokenisasi karakter, embedding, dan cosine similarity untuk mencari kata/teks yang mirip.
URUTAN BELAJAR
- vocabulary
- encode / decode
- embedding lookup
- cosine similarity & pencarian
- bag-of-words (opsional)
HASIL YANG DISIMPAN
Tokenizer karakter dan tabel embedding yang bisa dicari kemiripannya.
CEK PEMAHAMAN
Apa beda token id dan embedding? Kenapa id tidak boleh dipakai langsung sebagai angka?