B1 cabang
BERT & fine-tuning encoder
Encoder dua arah: segment embedding, masked language modeling, pooler, dan fine-tuning.
URUTAN BELAJAR
- segment embedding
- masked LM
- pooler
- fine-tuning head
HASIL YANG DISIMPAN
Simulasi masking 15% token dan head klasifikasi.
CEK PEMAHAMAN
Kenapa BERT bisa melihat token di kanan tapi GPT tidak?
Soal
Soal untuk topik ini menyusul.
Sebelumnya
Membuka
Ujung jalur.