Pendulum: ayun ke atas dengan aksi kontinu
Masalahnya
Sebuah batang dengan beban di ujungnya tergantung pada motor. Motor hanya bisa memberi torsi ±2 N·m, tidak cukup untuk mengangkat beban secara langsung. Agen harus mengayun bolak-balik untuk mengumpulkan energi, lalu menahan beban tegak di atas.
Aksi kontinu
Di cart-pole aksinya kiri atau kanan. Di sini aksinya angka di (dikali 2 N·m). Kebijakan mengeluarkan rata-rata dari distribusi normal, dengan simpangan baku yang ikut dipelajari:
Di debugger, μ(torsi) adalah rata-rata yang dipilih kebijakan pada detik itu.
Reward
Bawaannya adalah penalti untuk jarak dari posisi tegak, kecepatan, dan torsi. Semuanya negatif, tetapi berbeda dengan cart-pole, episode pendulum tidak pernah berakhir lebih cepat: selalu 200 langkah. Jadi tidak ada “jalan pintas” untuk mengakhiri penalti; satu-satunya cara memperkecilnya adalah berdiri tegak secepat mungkin.
Coba
- Latih dan perhatikan episode awal (berputar acak), tengah (mulai mengayun), dan akhir (naik lalu diam di atas). Bandingkan dengan bayangan.
- Hapus suku
"kecepatan"direward.py. Apakah agen masih bisa diam di atas, atau terus berputar? - Naikkan bobot
"torsi"menjadi-0.1. Agen menjadi “hemat energi”: apakah masih bisa naik?