GridWorld: Q-learning
Masalahnya
Agen mulai di petak S (cokelat) dan harus mencapai G (hijau, +1) tanpa jatuh ke lubang H (biru tua, −1). Setiap langkah memberi −0,01, jadi jalan yang lebih pendek lebih baik.
Q-learning
Agen menyimpan tabel : perkiraan total reward jika di petak mengambil aksi , lalu bermain optimal. Setelah setiap langkah :
Bagian dalam kurung siku adalah TD error: selisih antara perkiraan lama dan target yang sedikit lebih tahu (reward nyata ditambah perkiraan masa depan). Agen tidak perlu menunggu episode selesai untuk belajar.
Cara membaca 3D
- Panah putih di setiap petak = aksi terbaik menurut saat ini (kebijakan serakah).
- Warna petak = . Hijau terang berarti petak itu “dekat” ke tujuan.
- Bola jingga = jalur agen pada episode yang dipilih.
Geser pemilih episode dari episode 25 ke 400: nilai menyebar mundur dari G ke S seperti tinta.
Coba
- Set
slip=0.2(lantai licin): agen kadang tergelincir ke samping. Lihat panah menjauh dari tepi lubang. - Ganti
map="labirin". Berapa episode sampai panahnya benar? - Muat preset Peta tebing, jalankan dengan
sarsa=Truelalusarsa=False. Q-learning memilih jalur di tepi jurang (optimal jika tanpa eksplorasi), sedangkan SARSA memilih jalur yang lebih jauh dari jurang karena ia memperhitungkan langkah acaknya sendiri.