Return berdiskon

Agen menerima reward $r_0, r_1, \dots, r_{T-1}$ dalam satu episode. Untuk setiap langkah $t$ , hitung return berdiskon, yaitu jumlah reward dari $t$ sampai akhir, dengan reward yang lebih jauh dikalikan $\gamma$ berulang kali:

G_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \dots

rewards = [1, 1, 1], γ = 0.9  →  [2.71, 1.9, 1.0]

Kenapa didiskon

Agen RL memaksimalkan return, bukan reward sesaat. Faktor diskon $\gamma \in [0, 1]$ menentukan seberapa jauh ke depan agen peduli:

$\gamma = 0$ : hanya reward langkah ini (rabun jauh).
$\gamma = 0.99$ : reward 100 langkah lagi masih bernilai $0.99^{100} \approx 0.37$ .
$\gamma = 1$ : semua reward sama penting; hanya aman untuk episode yang pasti berakhir.

Patokan kasar: agen “melihat” sekitar $1/(1-\gamma)$ langkah ke depan. Untuk cart-pole dengan $\gamma = 0.99$ , sekitar 100 langkah (2 detik).

Rekursi

$G_t = r_t + \gamma G_{t+1}$ . Rumus sederhana ini adalah benih dari semua metode RL: TD-learning, Q-learning, dan GAE semuanya memakai versi “perkiraan” dari $G_{t+1}$ .

Penjelasan

Yang diminta. List yang sepanjang rewards, berisi $G_t$ untuk setiap posisi.

Kenapa dari belakang. Menghitung tiap $G_t$ langsung dengan pangkat butuh $O(T^2)$ . Karena $G_t = r_t + \gamma G_{t+1}$ , cukup mulai dari ujung: $G_{T-1} = r_{T-1}$ , lalu mundur satu per satu dalam $O(T)$ .

Langkah di kode: g = 0. Untuk t dari T-1 turun ke 0: g = rewards[t] + gamma * g, simpan ke out[t].

Cek case 1. $G_2 = 1$ , $G_1 = 1 + 0.9 \cdot 1 = 1.9$ , $G_0 = 1 + 0.9 \cdot 1.9 = 2.71$ .

Yang dikembalikan: list float sepanjang rewards (kosong jika episode kosong).