Neuron tiruan & Perceptron

Dari neuron McCulloch–Pitts ke perceptron yang bisa belajar, aturan update bobot, dan batasan linear separability.

Jaringan syaraf tiruan terinspirasi dari neuron biologis: menerima banyak sinyal masuk, menjumlahkannya dengan bobot tertentu, lalu “menembak” (fire) jika totalnya melewati ambang.

McCulloch–Pitts neuron (1943)

Input dan output biner. Neuron aktif jika jumlah input berbobot $\ge \theta$ (threshold). Bobot dan threshold ditentukan manual, belum ada proses belajar. Contoh: AND dua input memakai bobot 1, 1 dan $\theta = 2$ .

Perceptron (Rosenblatt, 1958)

Perceptron menambahkan kemampuan belajar dari contoh:

y = \operatorname{sign}\left(\sum_i w_i x_i + b\right)

Jika sebuah contoh $(\mathbf{x}, t)$ salah diklasifikasi, perbarui bobot:

w_i \leftarrow w_i + \eta \, t \, x_i \qquad b \leftarrow b + \eta \, t

dengan $\eta$ = learning rate, $t \in \lbrace -1, +1 \rbrace$ = target. Secara geometris, $\sum w_i x_i + b = 0$ adalah sebuah garis (di 2D) atau hyperplane (dimensi lebih tinggi) yang memisahkan dua kelas.

Coba:

Preset AND lalu “Latih sampai konvergen”. Garis berputar sampai hanya pojok kanan atas yang +1.
Preset XOR. Tidak ada satu garis lurus pun yang bisa memisahkan, sehingga pelatihan tidak pernah selesai.
Klik untuk menambah titik sendiri dan lihat garisnya beradaptasi.

Contoh satu update

Pakai input (1, 0), target +1, bobot awal (0,2; −0,4), bias −0,3, dan laju belajar 0,5. Aktivasi awal 0,2 − 0,3 = −0,1 menghasilkan kelas −1. Karena salah, bobot pertama naik ke 0,7, bobot kedua tetap −0,4 karena inputnya nol, dan bias naik ke 0,2. Pada contoh yang sama, aktivasi baru 0,9 menghasilkan +1.

Saat mengerjakan soal, samakan konvensi label dan aktivasi di nol dengan naskah sebelum mulai mencatat epoch.

Implementasi

Hebb net

Aturan belajar Hebb (“neurons that fire together, wire together”) memperbarui bobot untuk setiap contoh: $w_i \leftarrow w_i + x_i t$ , tanpa memeriksa apakah prediksinya salah. Sederhana, tapi tidak selalu menemukan pemisah meskipun datanya separable. Perceptron memperbaiki ini dengan hanya meng-update saat terjadi kesalahan.