UTS Pengolahan Bahasa Alami 2025

1. Pipeline klasifikasi DISC

Tetapkan unit prediksi pengguna, bukan posting, dan dapatkan label DISC yang berasal dari asesmen valid dan persetujuan pengguna; tulisan saja bukan ground truth kepribadian. Bersihkan data pribadi, deduplikasi, dan gabungkan maksimal sepuluh posting per pengguna. Bagi pengguna ke train/validasi/test terstratifikasi agar posting pengguna sama tidak bocor. Praproses teks Indonesia secara konsisten, pertahankan negasi dan emoji yang relevan, dan fit vocabulary/IDF hanya pada train. Latih baseline TF-IDF + klasifikasi linear lalu bandingkan model lain, tune pada validasi dan laporkan macro-F1, confusion matrix serta performa per kelas di test. Audit ketimpangan, drift, privasi dan validitas label; prediksi tidak boleh diasumsikan sebagai diagnosis psikologis.

2. CNN dan TF-IDF

Untuk teks yang disusun sebagai urutan token dengan setiap token direpresentasikan vektor, gunakan konvolusi 1D sepanjang sumbu urutan; filter mencakup dimensi fitur dan jendela beberapa token untuk menangkap n-gram lokal, lalu pooling dan klasifikasi. TF-IDF dokumen biasa berupa satu vektor bag-of-words tidak mempertahankan urutan dan indeks vocabulary bukan urutan linguistik: konvolusi berdekatan pada vektor itu tidak otomatis menangkap frasa. Perlu representasi berurutan atau model linear pada TF-IDF dokumen.

3. Minimum edit distance

Dengan Levenshtein standar (insert, delete, substitusi biaya 1), comupter → computer memerlukan dua substitusi pada posisi 4–5, dan comupter → commuter juga dua substitusi. Keduanya memiliki MED=2, sehingga MED saja tidak menentukan koreksi unik; gunakan frekuensi atau konteks sebagai tie-break. Jika transposisi karakter bersebelahan diperbolehkan dengan biaya 1 (Damerau-Levenshtein), up→pu menjadikan computer berjarak 1, sedangkan commuter tetap 2.

4. Leksikon sentimen

Negasi membalik makna: “tidak bagus” bisa disalahbaca positif jika bagus dihitung sendiri. Sarkasme/konteks juga sulit: “Hebat, antre lagi tiga jam!” mengandung kata positif untuk pengalaman negatif. Masalah lain termasuk kata baru/slang dan polisemi: “panas” dalam “mesin panas” berbeda dari “isu panas”. Perlu penanganan konteks dan evaluasi domain, bukan sekadar menjumlah skor kamus.

5. LDA

Sebagai proses generatif, untuk tiap dokumen ambil campuran topik $\theta$ dari Dirichlet; untuk setiap token pilih topik $z$ dari $\theta$ dan kata dari distribusi kata topik $\phi_z$. Contoh dokumen dengan campuran olahraga dan politik menghasilkan kata dari dua distribusi tersebut. Sebagai inferensi, kata-kata dokumen diamati dan kita memperkirakan distribusi topik, campuran dokumen, dan penugasan topik, misalnya dengan Gibbs sampling atau variational inference; dokumen berisi “gol, tim, pertandingan” dapat diberi proporsi tinggi pada topik olahraga. Label topik merupakan interpretasi manusia, bukan jaminan isi benar.

6. Word2Vec

BoW menghasilkan vektor sparse berdimensi vocabulary dan umumnya tidak menangkap kemiripan semantik. Word2Vec menghasilkan vektor padat yang belajar dari konteks sehingga kata berkonteks mirip dapat berdekatan; ia tetap memiliki satu vektor statis per kata dan dapat mewarisi bias korpus.

CBOW memprediksi kata tengah dari konteks, misalnya [kebijakan, sangat, __, rakyat] → membantu; Skip-Gram memprediksi kata konteks dari kata tengah membantu → kebijakan/sangat/rakyat. Contoh dipakai hanya untuk ilustrasi representasi, bukan penilaian sentimen tokoh tertentu. Keduanya dilatih pada jendela konteks, kemudian embedding dapat dipakai sebagai fitur model sentimen.