F1 inti jalur tiny GPT
Aljabar linear untuk implementasi
Vektor dan matriks adalah bahasa model: prediksi linear adalah dot product, layer adalah perkalian matriks, dan attention adalah QKᵀ. Invers dan eigenvalue dipelajari saat dibutuhkan (regresi closed-form, PCA).
URUTAN BELAJAR
- dot product
- transpose & matmul
- norm & cosine similarity
- normalisasi
- invers (opsional)
- eigenvalue (opsional)
HASIL YANG DISIMPAN
Implementasi operasi vektor dengan contoh 2D dan tes dimensi.
CEK PEMAHAMAN
Jelaskan kenapa dot product mengukur 'searah atau tidak', dan tulis shape QKᵀ untuk Q (T×d) dan K (T×d).
Soal
Soal untuk topik ini menyusul.