R2 cabang

RL: TD & Q-learning

Belajar dari setiap langkah tanpa menunggu episode selesai: temporal-difference. Q-learning mengisi tabel Q(s, a) dan menurunkan kebijakan terbaik darinya; SARSA versi on-policy yang lebih hati-hati.

URUTAN BELAJAR

persamaan Bellman
value iteration
TD(0)
Q-learning (off-policy)
SARSA (on-policy)

HASIL YANG DISIMPAN

Tabel Q yang menyelesaikan GridWorld, dan perbandingan jalur Q-learning vs SARSA di peta tebing.

CEK PEMAHAMAN

Tulis update Q-learning dan jelaskan beda target Q-learning dengan SARSA.

RL LAB 3D GridWorld: Q-learning → Agen mencari jalan ke tujuan di danau berlubang. Lihat tabel Q terisi dan panah kebijakan muncul episode demi episode.

Soal

Satu langkah value iteration sedang
TD(0): belajar dari setiap langkah mudah
Update Q-learning mudah
Target SARSA vs Q-learning mudah

Sebelumnya

R1 · RL: MDP, return & bandit

Membuka

R3 · RL: policy gradient (REINFORCE)