Loss REINFORCE dengan baseline

Hitung loss REINFORCE dengan baseline rata-rata return:

L = -\frac{1}{N}\sum_t \log\pi(a_t|s_t)\,\bigl(G_t - b\bigr), \qquad b = \frac1N\sum_t G_t

logp dan returns berbentuk (N,). Kembalikan satu angka.

Teorema policy gradient

Gradien return yang diharapkan terhadap parameter kebijakan $\theta$ :

\nabla_\theta J = \mathbb{E}\Bigl[\nabla_\theta \log \pi_\theta(a|s)\; G\Bigr]

Artinya: naikkan log-probabilitas aksi sebanding dengan seberapa bagus hasilnya. Di kode, kita meminimalkan $-\log\pi \cdot G$ dengan autograd, dan gradiennya otomatis sama dengan rumus di atas.

Kenapa baseline

Jika semua return positif (misalnya cart-pole: +1 per langkah), semua aksi didorong naik, hanya kecepatannya berbeda. Gradiennya sangat berisik. Mengurangi baseline $b$ membuat aksi yang lebih buruk dari rata-rata diturunkan. Hasilnya tetap tidak bias (karena $\mathbb{E}[\nabla \log\pi \cdot b] = 0$ ), tetapi variansnya jauh lebih kecil.

Baseline terbaik bergantung pada state: $b = V(s)$ . Itulah langkah menuju actor-critic.

Penjelasan

Yang diminta. Satu float.

Langkah di kode: advantage = returns - returns.mean(), lalu -(logp * advantage).mean().

Case 2: semua return sama. Advantage semuanya 0, jadi loss 0: tidak ada aksi yang lebih baik dari yang lain, sehingga tidak ada yang perlu diubah. Tanpa baseline, semua aksi akan didorong naik.

Cek case 1. Rata-rata return 5, advantage $[5, -5]$ . Loss $= -\frac{(-0.1)(5) + (-2)(-5)}{2} = -4.75$ . Saat diminimalkan, peluang aksi pertama (return 10) naik dan peluang aksi kedua turun.

Yang dikembalikan: float.