Bandit: eksplorasi vs eksploitasi
Masalahnya
Ada 8 mesin slot. Setiap tarikan memberi hadiah acak di sekitar rata-rata yang tidak kamu ketahui. Kamu punya 500 tarikan. Tarik terus mesin yang sejauh ini tampak paling bagus (eksploitasi), atau coba mesin lain yang mungkin lebih bagus (eksplorasi)?
Ini adalah RL dalam bentuk paling murni: tidak ada keadaan, hanya aksi dan reward.
Cara membaca 3D
- Tinggi kolom = perkiraan agen untuk rata-rata mesin itu, .
- Garis putih = rata-rata sebenarnya (yang disembunyikan dari agen).
- Kolom jingga = mesin yang ditarik pada langkah ini, dengan hadiahnya di atasnya. Kolom hijau = mesin terbaik.
Pilih episode serakah, ε-greedy, dan UCB di timeline untuk membandingkan.
Tiga strategi
- Serakah: selalu tarik . Jika tarikan pertama mesin terbaik kebetulan sial, ia tidak pernah dicoba lagi.
- ε-greedy: dengan peluang tarik mesin acak, selain itu serakah.
- UCB: tarik . Mesin yang jarang dicoba mendapat bonus “belum pasti”, jadi eksplorasinya terarah, tidak acak.
Perkiraan diperbarui sebagai rata-rata berjalan: .
Coba
- Tekan Latih, lalu lihat grafik
% lengan terbaikuntuk tiap strategi. - Ubah
epsilonmenjadi0.3. Apakah lebih baik atau lebih buruk dalam jangka panjang? Kenapa? - Ubah
cdi UCB menjadi0.5dan5. - Ganti
seed=18diBandit(...)dengan angka lain. Apakah strategi serakah kadang beruntung?