Cross-entropy dari logits

Untuk batch berisi N contoh dan C kelas, logits[i] adalah skor mentah contoh ke-i, dan targets[i] adalah kelas yang benar. Kembalikan rata-rata cross-entropy:

L = \frac{1}{N}\sum_{i} -\log \text{softmax}(z_i)_{y_i}

Hasilnya harus berhingga walau logits bernilai ±1000.

logits = [[0, 0]], targets = [0]          →  0.6931   // log 2: tebakan 50/50
logits = [[2, 1, 0.1]], targets = [0]     →  0.4170

Intuisi

Cross-entropy menghukum model berdasarkan seberapa kecil probabilitas yang diberikan ke jawaban yang benar. Jika $p = 1$ , loss-nya 0. Jika $p = 0.5$ , loss-nya $\log 2 \approx 0.69$ . Jika $p \to 0$ , loss-nya $\to \infty$ . Model yang yakin tapi salah dihukum sangat berat.

Sebagai patokan, untuk $C$ kelas tebakan acak memberi loss $\log C$ . Untuk model bahasa karakter dengan 65 karakter, loss awal sekitar $\log 65 \approx 4.17$ . Kalau loss awalmu jauh dari angka ini, ada yang salah dengan inisialisasi.

Kenapa langsung dari logits

-\log \text{softmax}(z)_y = \log\sum_j e^{z_j} - z_y

Menghitung softmax dulu lalu log bisa menghasilkan log(0) = -inf. Bentuk log-sum-exp di atas stabil. Inilah alasan nn.CrossEntropyLoss di PyTorch menerima logits, bukan probabilitas.

Gradiennya indah

\frac{\partial L_i}{\partial z_i} = \text{softmax}(z_i) - \text{onehot}(y_i)

Gradien ini adalah “prediksi dikurangi kebenaran”, sama seperti regresi linear.

Penjelasan

Yang diminta. Rata-rata $-\log p_{\text{benar}}$ untuk batch logits (N, C) dengan label targets (N,). Hasilnya satu angka.

Ide kunci: jangan hitung softmax lalu log. Tulis langsung:

-\log \text{softmax}(z)_y = -\Bigl(z_y - \log \sum_j e^{z_j}\Bigr) = \underbrace{\log \sum_j e^{z_j}}_{\text{log-sum-exp}} - z_y

Bagian log-sum-exp dihitung stabil dengan trik maksimum: $\log\sum_j e^{z_j} = m + \log\sum_j e^{z_j - m}$ .

Langkah di kode:

m = logits.max(axis=1, keepdims=True) berbentuk (N, 1).
lse = m[:, 0] + np.log(np.exp(logits - m).sum(axis=1)) berbentuk (N,).
picked = logits[np.arange(N), targets]. Ini fancy indexing: baris ke-i, kolom targets[i], sehingga terambil logit kelas yang benar untuk setiap contoh.
(lse - picked).mean(), diubah ke float.

Cek. Logits [0, 0]: kedua kelas 50/50, loss $= \log 2 \approx 0.693$ . Case [[1000, 0], [0, 1000]] dengan target [0, 0]: contoh pertama benar dan sangat yakin (loss ≈ 0), contoh kedua salah dan sangat yakin (loss ≈ 1000), sehingga rata-ratanya 500.

Yang dikembalikan: satu float.