Generalized advantage estimation (GAE)

Hitung advantage dengan GAE untuk satu rollout:

\delta_t = r_t + \gamma V(s_{t+1})(1-d_t) - V(s_t), \qquad A_t = \delta_t + \gamma\lambda(1-d_t)A_{t+1}

$V(s_T)$ untuk langkah setelah rollout adalah last_value. Jika dones[t], tidak ada bootstrap dan rantainya terputus.

rewards=[1,1], values=[0,0], tidak ada done, last_value=0, γ=1:
λ = 1 → [2, 1]  (Monte-Carlo)      λ = 0 → [1, 1]  (TD satu langkah)

Advantage

Advantage $A(s, a)$ menjawab: “seberapa lebih baik aksi ini dibanding yang biasanya terjadi di state ini?”. Positif berarti naikkan peluangnya, negatif berarti turunkan.

λ: tombol bias–varians

$\lambda = 0$ : $A_t = \delta_t$ . Hanya satu langkah reward nyata, sisanya perkiraan $V$ . Varians kecil, tetapi bias jika $V$ masih salah.
$\lambda = 1$ : $A_t = G_t - V(s_t)$ . Seluruh return nyata. Tidak bias, tetapi sangat berisik.
$\lambda \approx 0.95$ (default PPO): kompromi yang bekerja baik hampir di mana-mana.

Fungsi gae di minirl/agents.py adalah versi vektor dari soal ini: sama persis, hanya untuk banyak env sekaligus.

Penjelasan

Yang diminta. Array advantage (T,).

Langkah di kode (dari belakang, next_value = last_value, next_adv = 0):

not_done = 1 - dones[t].
delta = r[t] + gamma * next_value * not_done - values[t]: TD error satu langkah.
next_adv = delta + gamma * lam * not_done * next_adv: tambahkan advantage langkah berikutnya, didiskon $\gamma\lambda$ , kecuali episode berakhir.
Simpan, lalu next_value = values[t].

Case 1: episode berakhir. last_value = 9 diabaikan karena done, jadi $A = 1 - 0.5 = 0.5$ .

Case 2 vs 3. Dengan $\lambda = 1$ hasilnya $[2, 1]$ , yaitu return penuh dikurangi $V$ . Dengan $\lambda = 0$ hasilnya $[1, 1]$ : setiap langkah hanya melihat reward-nya sendiri ditambah $V$ berikutnya (yang di sini 0).

Yang dikembalikan: array (T,).