Language model bigram dan smoothing
Hitung peluang token berikutnya dan tangani pasangan yang belum pernah muncul.
dasar #NLP
Yang akan kamu pahami
Bangun probabilitas bigram dari hitungan dan jelaskan peran smoothing.
Konsep inti
Model bigram memperkirakan token berikutnya dari token sebelumnya. Estimasi frekuensi membagi hitungan pasangan dengan total pasangan yang diawali konteks. Add-one smoothing menambah satu ke semua kandidat dalam kosakata yang sudah ditetapkan.
Coba langkahnya
Setelah token “baca” muncul “buku” 3 kali, “berita” 1 kali, dan “jurnal” 0 kali.
| Hitungan asli | Tambah satu | Hitungan baru | P(token) | |
|---|---|---|---|---|
| buku | 3 | · | · | · |
| berita | 1 | · | · | · |
| jurnal | 0 | · | · | 0/4 |
| Total | 4 | · | · | · |