TD(0): belajar dari setiap langkah

Terapkan update TD(0) untuk setiap transisi [s, r, s2, done] secara berurutan:

V(s) \leftarrow V(s) + \alpha\bigl[\underbrace{r + \gamma V(s')}_{\text{target}} - V(s)\bigr]

Jika done, targetnya cukup $r$ . Kembalikan V setelah semua transisi.

V = [0, 0], transisi [0, 1, 1, done], α = 0.5  →  [0.5, 0]

Bootstrapping

Metode Monte-Carlo menunggu episode selesai untuk tahu return sebenarnya $G_t$ . TD tidak menunggu: ia memakai perkiraannya sendiri untuk masa depan, $V(s')$ , sebagai pengganti. Ini disebut bootstrapping.

Kelebihan: belajar setiap langkah, bisa untuk tugas yang tidak pernah berakhir, dan variansnya jauh lebih kecil.
Kekurangan: targetnya bias selama $V$ masih salah. Tetapi biasnya mengecil seiring $V$ membaik.

Selisih $\delta = r + \gamma V(s') - V(s)$ disebut TD error. Inilah sinyal belajar inti di Q-learning, actor-critic, dan GAE di PPO. (Menariknya, neuron dopamin di otak memberi sinyal yang mirip TD error.)

Penjelasan

Yang diminta. List V setelah semua update.

Langkah di kode: salin V (supaya input tidak berubah). Untuk setiap transisi: target = r jika done, selain itu r + gamma * V[s2]. Lalu V[s] += alpha * (target - V[s]).

Cek case 2. Transisi pertama [0, 0, 1, 0]: target $0 + V(1) = 0$ , jadi $V(0)$ tetap 0. Kedua [1, 1, 2, done]: $V(1) = 0 + 0.5(1 - 0) = 0.5$ . Ketiga, sekali lagi dari state 0: target sekarang $V(1) = 0.5$ , jadi $V(0) = 0.25$ . Nilai merambat mundur satu langkah setiap kali jalur yang sama dilalui.

Yang dikembalikan: list float.