R4 cabang

RL: actor-critic & PPO

Actor-critic menambahkan jaringan nilai V(s) sebagai pembanding; GAE menyeimbangkan bias dan varians advantage. PPO membatasi perubahan kebijakan per update dengan rasio yang dipotong: stabil dan dipakai di mana-mana, termasuk RLHF.

URUTAN BELAJAR

critic V(s)
advantage & GAE
rasio π_baru / π_lama
clipped surrogate (PPO)
bonus entropi

HASIL YANG DISIMPAN

PPO yang menyeimbangkan cart-pole di browser, dengan debugger reward per langkah.

CEK PEMAHAMAN

Apa yang terjadi pada loss PPO saat rasio > 1 + ε dan advantage positif? Kenapa itu menstabilkan training?

RL LAB 3D Cart-pole: PID vs REINFORCE vs PPO → Seimbangkan tiang di atas kereta pada rel 1,3 m. Bandingkan pengendali buatan tangan dengan agen yang belajar sendiri, lalu coba reward yang 'bocor'.

Soal

Generalized advantage estimation (GAE) sulit
Loss PPO yang dipotong sedang
Entropi kebijakan kategorikal mudah

Sebelumnya

R3 · RL: policy gradient (REINFORCE)

Membuka

R5 · RL: kontrol kontinu & robot