Log-probabilitas kebijakan Gaussian

Kebijakan untuk aksi kontinu (misalnya torsi motor) mengeluarkan rata-rata $\mu(s)$ , dengan simpangan baku $\sigma = e^{\text{log\_std}}$ yang dipelajari. Hitung log-probabilitas aksi $a$ di bawah distribusi normal yang dimensinya independen:

\log \pi(a|s) = \sum_{d} \left[-\frac{(a_d - \mu_d)^2}{2\sigma_d^2} - \log\sigma_d - \frac12\log 2\pi\right]

a = 0, μ = 0, log σ = 0  →  −½ log 2π ≈ −0.919

Dari kategorikal ke kontinu

Dengan aksi diskret, $\pi(a|s)$ adalah satu angka dari softmax. Dengan aksi kontinu, ada tak terhingga aksi, jadi kebijakan adalah kepadatan peluang. Nilainya bisa lebih dari 1, sehingga log-nya bisa positif (lihat case dengan $\sigma$ kecil).

Policy gradient dan PPO tidak berubah sama sekali. Mereka hanya butuh $\log\pi(a|s)$ dan gradiennya. Gradien terhadap $\mu$ adalah $(a-\mu)/\sigma^2$ : rata-rata ditarik ke arah aksi yang ber-advantage positif.

Kenapa log_std yang dipelajari

$\sigma$ harus positif. Mempelajari $\log\sigma$ (bebas di $\mathbb{R}$ ) lalu meng-exponensialkannya adalah trik standar. $\sigma$ besar berarti eksplorasi lebar. Seiring training, $\sigma$ biasanya mengecil saat agen yakin. Di lab Pendulum, entropi Gaussian $\sum_d(\log\sigma_d + \frac12\log 2\pi e)$ ikut turun.

Penjelasan

Yang diminta. Array (N,).

Langkah di kode: std = exp(log_std), z = (a - mu) / std, lalu per dimensi -0.5*z**2 - log_std - 0.5*log(2π), dijumlahkan di axis terakhir.

Cek case 1 dan 2. Di pusat ( $a = \mu$ ): $-0.919$ . Satu $\sigma$ dari pusat: $-0.919 - 0.5 = -1.419$ .

Case $\sigma$ kecil. log_std = -2 berarti $\sigma \approx 0.135$ . Aksi tepat di $\mu$ mendapat log-prob positif ( $\approx 1.08$ ), karena kepadatan yang sempit bisa melebihi 1. Aksi yang jauh dari $\mu$ mendapat log-prob sangat negatif.

Yang dikembalikan: array (N,).