Target SARSA vs Q-learning

Agen berada di transisi $(s, a, r, s')$ dan sudah memilih aksi berikutnya $a'$ di $s'$ (mungkin aksi acak karena eksplorasi). Kembalikan [target_SARSA, target_Q]:

\text{SARSA: } r + \gamma Q(s', a') \qquad \text{Q-learning: } r + \gamma \max_{a''} Q(s', a'')

Jika done, keduanya $r$ .

On-policy vs off-policy

Bedanya hanya satu suku, tetapi efeknya besar:

SARSA (State, Action, Reward, State, Action) memakai aksi yang benar-benar diambil. Ia belajar nilai kebijakan yang sedang dijalankan, termasuk eksplorasinya. Jika eksplorasi kadang membuat agen jatuh ke jurang, SARSA ikut “takut” pada tepi jurang.
Q-learning memakai aksi terbaik. Ia belajar nilai kebijakan optimal, seolah-olah agen tidak akan pernah salah langkah.

Di peta tebing (lab GridWorld, preset “Peta tebing”), Q-learning memilih jalur tepat di tepi jurang (paling pendek), sedangkan SARSA memilih jalur yang lebih jauh dari jurang (lebih aman selama masih bereksplorasi).

Penjelasan

Yang diminta. List dua angka [sarsa, q].

Langkah di kode: jika done, kembalikan [r, r]. Selain itu, sarsa = r + gamma * Q[s2][a2] dan q = r + gamma * max(Q[s2]).

Cek case 1 vs 2. $Q[1] = [1, 5]$ . Jika agen memilih aksi 0 (eksplorasi), target SARSA $= 0.9$ sedangkan target Q tetap $4.5$ . Jika agen memilih aksi terbaik (1), keduanya sama: $4.5$ .

Yang dikembalikan: list dua float.