Reinforcement learning
RL Lab
Tulis reward dan agen dalam Python, latih langsung di browser, lalu putar ulang episodenya dalam 3D. Geser timeline ke detik mana pun
untuk melihat apa yang dilihat agen, aksi yang dipilihnya, dan dari baris reward mana nilainya datang. Semua berjalan lokal: fisika
ditulis dengan NumPy (minirl), jaringan sarafnya memakai minitorch.
- R1 MDP, return & bandit
- R2 TD & Q-learning
- R3 policy gradient (REINFORCE)
- R4 actor-critic & PPO
- R5 kontrol kontinu & robot
- Lihat di roadmap ML →
Lab 3D
0/6 target tercapaiLab 1R1 · MDP, return & banditBandit: eksplorasi vs eksploitasiDelapan mesin slot dengan hadiah rata-rata tersembunyi. Bandingkan strategi serakah, ε-greedy, dan UCB.Target: UCB memilih lengan terbaik ≥ 80% waktuLab 2R2 · TD & Q-learningGridWorld: Q-learningAgen mencari jalan ke tujuan di danau berlubang. Lihat tabel Q terisi dan panah kebijakan muncul episode demi episode.Target: return rata-rata ≥ 0,8Lab 3R4 · actor-critic & PPOCart-pole: PID vs REINFORCE vs PPOSeimbangkan tiang di atas kereta pada rel 1,3 m. Bandingkan pengendali buatan tangan dengan agen yang belajar sendiri, lalu coba reward yang 'bocor'.Target: rata-rata ≥ 450 langkah tegak (9 detik)Lab 4R5 · kontrol kontinu & robotPendulum: ayun ke atas dengan aksi kontinuMotor terlalu lemah untuk langsung mengangkat beban. Agen harus menemukan sendiri strategi mengayun, lalu menahannya di atas.Target: ≥ 90% episode berakhir tegakLab 5R5 · kontrol kontinu & robotBola di pelat: reward shaping & keterlambatanMiringkan pelat untuk menggulirkan bola ke titik merah. Aksi baru terasa beberapa langkah kemudian, dan reward yang salah sedikit menghasilkan perilaku yang aneh.Target: ≥ 30% episode berakhir dengan bola di targetLab 6R5 · kontrol kontinu & robotRobot ping-pong: lengan 6 sendiRobot lengan sungguhan (CAD dari ProtoTwin) harus terus memantulkan bola ping-pong. Atur sendinya dengan tangan, kalahkan pengendali inverse-kinematics, lalu latih PPO.Target: ≥ 50% episode: 15 detik penuh dengan ≥ 10 pukulan
Soal
0/17 selesai- Return berdiskonR1mudah
- Memilih aksi ε-greedyR1mudah
- Upper confidence bound (UCB)R1sedang
- Perkiraan nilai bandit secara inkrementalR1mudah
- Satu langkah value iterationR2sedang
- TD(0): belajar dari setiap langkahR2mudah
- Update Q-learningR2mudah
- Target SARSA vs Q-learningR2mudah
- Return-to-go untuk banyak episodeR3sedang
- Loss REINFORCE dengan baselineR3sedang
- Gradien log π terhadap logitsR3sedang
- Generalized advantage estimation (GAE)R4sulit
- Loss PPO yang dipotongR4sedang
- Entropi kebijakan kategorikalR4mudah
- Log-probabilitas kebijakan GaussianR5sedang
- Pengendali PID diskretR5mudah
- Reward shaping berbasis potensialR5sedang
Model 3D cart-pole berasal dari ProtoTwin RLExamples (MIT, © 2025
SPARSESET LTD), diubah ke format web oleh scripts/import-prototwin.mjs. Fisika dan algoritmanya ditulis ulang untuk browser.