Inisialisasi bobot

Kembalikan simpangan baku untuk inisialisasi normal bobot sebuah layer dengan fan_in input dan fan_out output:

mode	std	cocok untuk
`"xavier"`	$\sqrt{2/(\text{fan\_in}+\text{fan\_out})}$	tanh, sigmoid
`"kaiming"`	$\sqrt{2/\text{fan\_in}}$	ReLU
`"lecun"`	$\sqrt{1/\text{fan\_in}}$	linear, SELU

init_std(100, 100, "xavier")  →  0.1

Masalahnya

Satu neuron menjumlahkan fan_in suku $w_i x_i$ . Jika $w$ dan $x$ independen dengan rata-rata 0:

\text{Var}(z) = \text{fan\_in}\cdot\text{Var}(w)\cdot\text{Var}(x)

Jika $\text{Var}(w)$ terlalu besar, varians aktivasi berlipat di setiap layer dan meledak. Jika terlalu kecil, aktivasi mengecil sampai nol. Di jaringan 50 layer, faktor 1.1 per layer sudah berarti $1.1^{50} \approx 117$ .

Solusinya

Pilih $\text{Var}(w) = 1/\text{fan\_in}$ supaya $\text{Var}(z) = \text{Var}(x)$ (LeCun). ReLU membuang separuh sinyal (bagian negatif), jadi Kaiming mengalikannya dengan 2. Xavier merata-rata fan_in dan fan_out supaya varians terjaga di arah forward dan backward.

Di GPT

GPT-2 memakai std 0.02 untuk hampir semua bobot, lalu mengecilkan proyeksi residual dengan faktor $1/\sqrt{2L}$ . Tanpa itu, penjumlahan $L$ blok residual akan membuat varians tumbuh sebanding dengan kedalaman.

Penjelasan

Yang diminta. Simpangan baku inisialisasi untuk tiga skema, dari fan_in dan fan_out.

Asal rumusnya. Satu neuron menjumlahkan fan_in suku $w_i x_i$ . Jika semuanya independen dengan rata-rata 0, varians jumlahnya adalah jumlah variansnya:

\text{Var}(z) = \text{fan\_in}\cdot\text{Var}(w)\cdot\text{Var}(x)

Supaya sinyal tidak membesar atau mengecil dari layer ke layer, kita ingin $\text{Var}(z) = \text{Var}(x)$ :

LeCun: $\text{Var}(w) = 1/\text{fan\_in}$ , jadi std = sqrt(1 / fan_in).
Kaiming (He): ReLU membuang separuh sinyal, jadi variansnya digandakan: std = sqrt(2 / fan_in).
Xavier (Glorot): menjaga varians di arah forward (fan_in) dan backward (fan_out), sehingga memakai rata-rata keduanya: std = sqrt(2 / (fan_in + fan_out)).

Langkah di kode: tiga if yang mengembalikan rumus masing-masing, plus raise ValueError untuk mode yang tidak dikenal.

Cek. Xavier (100, 100): $\sqrt{2/200} = 0.1$ . Kaiming 512: $\sqrt{2/512} = 0.0625$ .

Yang dikembalikan: satu float.