Gradien log π terhadap logits

Untuk kebijakan kategorikal $\pi = \text{softmax}(z)$ , hitung gradien log-probabilitas aksi yang diambil terhadap logits:

\frac{\partial \log\pi(a)}{\partial z} \in \mathbb{R}^K

z = [0, 0], a = 0  →  [0.5, -0.5]

Hasilnya harus stabil untuk logits besar.

Arah yang didorong policy gradient

\log\pi(a) = z_a - \log\sum_j e^{z_j} \quad\Rightarrow\quad \frac{\partial\log\pi(a)}{\partial z_k} = \mathbb{1}[k=a] - \pi_k

Dikalikan advantage $A$ , update REINFORCE/PPO pada logits adalah $A\,(\text{onehot}(a) - \pi)$ :

Logit aksi yang diambil naik sebesar $A(1 - \pi_a)$ .
Logit aksi lain turun sebanding peluangnya.
Jika $\pi_a \approx 1$ , gradiennya hampir nol: tidak ada lagi yang perlu dipelajari dari aksi yang sudah pasti.

Bentuk “onehot − softmax” ini sama persis dengan gradien cross-entropy terhadap logits, tetapi dengan tanda terbalik. Policy gradient pada dasarnya adalah klasifikasi yang dibobot advantage.

Penjelasan

Yang diminta. Vektor (K,).

Langkah di kode: softmax stabil (kurangi max), buat one-hot untuk a, lalu kembalikan onehot - p.

Cek case 2. $\text{softmax}([1, 2, 3]) = [0.090, 0.245, 0.665]$ . Untuk $a = 2$ : $[-0.090, -0.245, 0.335]$ . Jumlah komponennya selalu 0, karena peluang total tetap 1: menaikkan satu aksi berarti menurunkan yang lain.

Case logits besar. [100, 0, 0] dengan $a = 0$ : $\pi_0 \approx 1$ , jadi gradiennya $\approx 0$ . Tanpa pengurangan max, exp(100) sudah sangat besar dan rawan overflow.

Yang dikembalikan: array (K,).