b belajar.myudak
R5 cabang

RL: kontrol kontinu & robot

Aksi kontinu (torsi, gaya, sudut) memakai kebijakan Gaussian. Desain reward menjadi pekerjaan utama: reward shaping, penalti energi, dan bahaya reward hacking. Dibandingkan dengan pengendali klasik (PID).

URUTAN BELAJAR

  1. kebijakan Gaussian
  2. log-prob & entropi Gaussian
  3. reward shaping
  4. reward hacking
  5. PID sebagai baseline
  6. delay & overcorrection

HASIL YANG DISIMPAN

Pendulum yang terayun ke atas dan pelat yang menjaga bola di target, plus contoh reward bocor yang dieksploitasi agen.

CEK PEMAHAMAN

Beri satu contoh reward yang terlihat benar tetapi membuat agen melakukan hal yang tidak diinginkan.

RL LAB 3D Pendulum: ayun ke atas dengan aksi kontinu → Motor terlalu lemah untuk langsung mengangkat beban. Agen harus menemukan sendiri strategi mengayun, lalu menahannya di atas. RL LAB 3D Bola di pelat: reward shaping & keterlambatan → Miringkan pelat untuk menggulirkan bola ke titik merah. Aksi baru terasa beberapa langkah kemudian, dan reward yang salah sedikit menghasilkan perilaku yang aneh. RL LAB 3D Robot ping-pong: lengan 6 sendi → Robot lengan sungguhan (CAD dari ProtoTwin) harus terus memantulkan bola ping-pong. Atur sendinya dengan tangan, kalahkan pengendali inverse-kinematics, lalu latih PPO.

Soal

Sebelumnya

R4 · RL: actor-critic & PPO

Membuka

Ujung jalur.