Bola di pelat: reward shaping & keterlambatan
Masalahnya
Pelat 40 × 40 cm bisa dimiringkan pada dua sumbu. Bola menggelinding ke arah yang lebih rendah. Bawa bola ke lingkaran merah dan tahan di sana selama 8 detik, tanpa menjatuhkannya dari tepi.
Kenapa sulit: keterlambatan
Aksi agen bukan “kemiringan”, tetapi “miringkan lebih jauh / diam / kembali”. Pelat berputar dengan kecepatan terbatas, lalu bola butuh waktu untuk berakselerasi. Jadi efek sebuah aksi baru terasa beberapa langkah kemudian. Agen yang hanya bereaksi pada posisi bola akan overcorrect: bola melewati target, berbalik, melewati lagi.
Agen yang baik belajar mengerem lebih awal: memiringkan pelat ke arah sebaliknya saat bola masih bergerak cepat menuju target. Lihat ini di debugger: geser timeline ke saat bola mendekati target, dan bandingkan kec. x dengan aksi yang dipilih.
Reward shaping
Reward bawaan terdiri dari dua suku:
dekat: 1 di target, 0 di tepi pelat. Memberi sinyal di setiap langkah, bukan hanya saat sukses. Ini reward shaping: menuntun agen dengan petunjuk yang padat.jatuh: −20 sekali saat bola jatuh.
Coba
- Latih dengan reward bawaan. Bandingkan episode awal dan akhir sebagai bayangan.
- Muat Reward bocor: bola tenang. Agen dihadiahi jika bola diam, di mana pun. Di mana bola akhirnya berhenti? Apakah itu yang kamu inginkan?
- Hapus suku
"jatuh". Apakah agen masih peduli bola tidak jatuh? (Petunjuk: apa yang terjadi pada rewarddekatsetelah episode berakhir?)