G3 cabang
KV-cache & grouped-query attention
Optimasi inference: simpan K dan V dari token sebelumnya, dan berbagi head K/V di GQA. Harus menghasilkan logit yang sama dengan versi tanpa cache.
URUTAN BELAJAR
- KV-cache
- verifikasi logit sama
- grouped-query attention
HASIL YANG DISIMPAN
Perbandingan kecepatan dan kecocokan logit cached vs uncached.
CEK PEMAHAMAN
Kenapa kompleksitas per token turun dari O(T²) ke O(T) dengan KV-cache?
Soal
Soal untuk topik ini menyusul.
Membuka
Ujung jalur.