Perceptron

Created onDibuat padaMarch 3, 20263 Maret 2026

Last updated onTerakhir diperbaruiApril 5, 20265 April 2026

11 min read11 menit baca

IDperceptrondata-science

ContributorsKontributor

Razi Rachman Widyadhana - @zirachw

IntroductionPendahuluan A Simplified Brain Cell Definisi Formal Neuron Perceptron Perceptron untuk m-of-n Functions Contoh: AND Perceptron Algoritma Pembelajaran Perceptron Perceptron Training Rule (PTR)Contoh PTR Gradient Descent (Delta Rule)Fungsi Aktivasi Linear Batch Gradient Descent (BGD)Contoh BGD Stochastic Gradient Descent (SGD)Contoh SGD Batch vs Stochastic Gradient Descent Mini-batch SGD Perceptron: Kesimpulan

Perceptron adalah model neural network paling sederhana, terinspirasi dari cara kerja sel saraf biologis (biological neuron).

#Link to this headingA Simplified Brain Cell

Neuron biologis: dendrites menerima sinyal → cell body mengintegrasikan → axon mengirim output

McCulloch dan Pitts mendeskripsikan sebuah simple logic gate dengan binary outputs:

Banyak sinyal tiba di dendrites
Diintegrasikan dalam cell body
Jika sinyal akumulasi melebihi threshold tertentu, sinyal output dihasilkan melalui axon

#Link to this headingDefinisi Formal Neuron

Formal neuron: input x → weighted sum → activation function → output

Dalam konteks binary classification:

Input: real-valued $x = (x_1, x_2, \ldots, x_m)$
Weight vector: $w = (w_0, w_1, w_2, \ldots, w_m)$ , di mana $w_i$ merepresentasikan kontribusi input $x_i$
Bias/threshold: $w_0$ (atau $b$ )
Net input: $z = w_0 + w_1 x_1 + w_2 x_2 + \ldots + w_m x_m = \mathbf{w}^T \cdot \mathbf{x}$
Output: $1$ jika net input melebihi threshold tertentu

#Link to this headingPerceptron

Perceptron: hyperplane decision surface dalam ruang n-dimensi

Perceptron merepresentasikan hyperplane decision surface dalam ruang $n$ -dimensi dari instances.

$o(\mathbf{x}) = \text{sign}(\mathbf{w}^T \cdot \mathbf{x}) = \text{sign}(w_0 + w_1 x_1 + w_2 x_2 + \ldots + w_d x_d)$

Linear model untuk linearly separable dataset
Simple neural network berbasis satu unit
Learning output: $\mathbf{w} \in \mathbb{R}^{d+1}$
Hypothesis space: $H = \{ \mathbf{w} \mid \mathbf{w} \in \mathbb{R}^{d+1} \}$

#Link to this headingPerceptron untuk m-of-n Functions

m-of-n functions: setidaknya $m$ dari $n$ input harus bernilai true.

Fungsi	$m$	Contoh
AND	$m = n$	`sign(x1 + x2 - 1)`
OR	$m = 1$	`sign(2x1 + 2x2 - 1)`

Cara merepresentasikan m-of-n function:

Set semua input weights ke nilai yang sama (e.g., $0.5$ )
Set threshold $w_0$ yang sesuai

#Link to this headingContoh: AND Perceptron

AND Perceptron: hyperplane 0.5x1 + 0.5x2 = 0.8 memisahkan kelas +1 dan -1

Dengan $w_0 = -0.8$ , $w_1 = w_2 = 0.5$ → merepresentasikan fungsi AND:

$x_0$	$x_1$	$x_2$	$\sigma = w^T x$	$\text{sign}$
$1$	$1$	$1$	$0.2$	$+1$
$1$	$1$	$-1$	$-0.8$	$-1$
$1$	$-1$	$1$	$-0.8$	$-1$
$1$	$-1$	$-1$	$-1.8$	$-1$

#Link to this headingAlgoritma Pembelajaran Perceptron

Tiga algoritma pembelajaran: PTR (sign), BGD (linear), SGD (linear)

Terdapat tiga algoritma pembelajaran utama:

Algoritma	Fungsi Aktivasi	Update Bobot	Konvergensi
Perceptron Training Rule (PTR)	Sign	Saat misclassified	Hanya jika linearly separable
Batch Gradient Descent (BGD)	Linear	Setelah semua examples	Best-fit approximation
Stochastic Gradient Descent (SGD)	Linear	Setelah setiap example	Best-fit approximation

#Link to this headingPerceptron Training Rule (PTR)

PTR pseudocode: update bobot hanya saat prediksi salah, konvergen jika linearly separable

Menggunakan fungsi aktivasi sign. Update bobot hanya saat terjadi misclassification:

Initialize each w_k to 0 or small random value
Repeat:
    E = 0
    For each example <x_i, y_i>:
        o_i = sign(w^T * x_i)
        if o_i == y_i: do nothing
        else:
            w_j = w_j + η(y_i - o_i) * x_ij   ← untuk setiap weight
            E = E + (y_i - o_i)
Until all training examples correctly classified
Return w

#Link to this headingContoh PTR

PTR: per-row update bobot saat misclassification

Dataset: $\eta = 0.1$ , fungsi aktivasi SIGN

$x_1$	$x_2$	$x_3$	$y$
$1$	$0$	$1$	$-1$
$0$	$-1$	$-1$	$+1$
$-1$	$-0.5$	$-1$	$+1$

Inisialisasi: $w = [0, 0, 0, 0]$

Epoch 1:

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$w_0$	$w_2$	$w_3$	$\sigma$	$o_i$	$E$
1	1	1	0	1	$-1$	0	0	0	0	$-1$	0
1	1	0	$-1$	$-1$	$+1$	0	0	0	0	$-1$	2
1	1	$-1$	$-0.5$	$-1$	$+1$	0.2	−0.2	−0.2	0.5	$+1$	2

Setelah Epoch 1: $w = [0.2, 0, -0.2, -0.2]$

Epoch 2:

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$\sigma$	$o_i$
2	1	1	0	1	$-1$	0	$-1$
2	1	0	$-1$	$-1$	$+1$	0.6	$+1$
2	1	$-1$	$-0.5$	$-1$	$+1$	0.5	$+1$

Terminate - Semua prediksi benar. $w = [0.2, 0, -0.2, -0.2]$

#Link to this headingGradient Descent (Delta Rule)

Gradient Descent: mencari minimum error di landscape hipotesis menggunakan gradient

Jika data tidak linearly separable, PTR gagal konvergen. Delta Rule (gradient descent) konvergen menuju best-fit approximation terlepas apakah data linearly separable atau tidak.

Searching strategy menggunakan gradient dari error landscape untuk menemukan minimum error:

$w \leftarrow w - \eta \nabla E(w)$

#Link to this headingFungsi Aktivasi Linear

Pada delta rule, output menggunakan fungsi aktivasi linear (unthresholded):

$o = \mathbf{w}^T \cdot \mathbf{x} = w_0 + w_1 x_1 + \ldots + w_d x_d$

Error menggunakan squared error:

$E = \sum_i \frac{(y_i - o_i)^2}{2}$

Delta Rule: thresholded output untuk prediksi, unthresholded untuk weight update

#Link to this headingBatch Gradient Descent (BGD)

Menghitung akumulasi weight updates setelah memproses semua training examples, baru kemudian update bobot.

Initialize each w_k to 0 or small random value
Until termination condition is met:
    Initialize Δw_k = 0 for all k; E = 0
    For each example <x_i, y_i>:
        o_i = w^T * x_i   (linear activation)
        For each weight w_k:
            Δw_k = Δw_k + η(y_i - o_i) * x_ik
        E = E + (y_i - o_i)² / 2
    For each weight w_k:
        w_k = w_k + Δw_k
Return w

#Link to this headingContoh BGD

BGD: akumulasi Δw per epoch, update bobot setelah semua data

Dataset: $\eta = 0.3$ , fungsi aktivasi LINEAR, error threshold $= 0.01$

$x_1$	$x_2$	$x_3$	$y$
$1$	$0$	$1$	$-1$
$0$	$-1$	$-1$	$+1$
$-1$	$-0.5$	$-1$	$+1$

Inisialisasi: $w = [0, 0, 0, 0]$

Epoch 1 - Akumulasi $\Delta w$ :

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$\Delta w_0$	$\Delta w_1$	$\Delta w_2$	$\Delta w_3$	$E$
1	1	1	0	1	$-1$	$-0.30$	$-0.30$	$0$	$-0.30$	0.500
1	1	0	$-1$	$-1$	$+1$	$0$	$-0.30$	$-0.30$	$-0.60$	1.000
1	1	$-1$	$-0.5$	$-1$	$+1$	$0.30$	$-0.60$	$-0.45$	$-0.90$	1.500

Update: $w = [0.30, -0.60, -0.45, -0.90]$

Epoch 2:

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$\sigma$	$\Delta w_0$	$\Delta w_1$	$\Delta w_2$	$\Delta w_3$	$E$
2	1	1	0	1	$-1$	$-1.20$	$0.06$	$0.06$	$0$	$0.06$	0.020
2	1	0	$-1$	$-1$	$+1$	$1.65$	$-0.14$	$0.06$	$0.20$	$0.26$	0.231
2	1	$-1$	$-0.5$	$-1$	$+1$	$2.03$	$-0.44$	$0.37$	$0.35$	$0.56$	0.757

Update: $w = [0.30 - 0.14, -0.60 - 0.23, -0.45 - 0.10, -0.90 - 0.34] = [-0.14, -0.23, -0.10, -0.34]$

Proses berlanjut hingga $E < 0.01$ .

#Link to this headingStochastic Gradient Descent (SGD)

Berbeda dengan BGD, SGD langsung update bobot setelah setiap training example, tidak menunggu semua data diproses.

Initialize each w_k to 0 or small random value
Until termination condition is met:
    E = 0
    For each example <x_i, y_i>:
        o_i = w^T * x_i   (linear activation)
        For each weight w_k:
            w_k = w_k + η(y_i - o_i) * x_ik   ← langsung update
        E = E + (y_i - o_i)² / 2
Return w

#Link to this headingContoh SGD

SGD: update bobot langsung setelah setiap training example

Dataset sama: $\eta = 0.3$ , fungsi aktivasi LINEAR, error threshold $= 0.01$

Epoch 1:

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$w_0$	$w_1$	$w_2$	$w_3$	$\sigma$	$E$
1	1	1	0	1	$-1$	0	0	0	0	0	0.500
1	1	0	$-1$	$-1$	$+1$	$-0.30$	$-0.30$	$0$	$-0.30$	0	1.000
1	1	$-1$	$-0.5$	$-1$	$+1$	$0$	$-0.30$	$-0.30$	$-0.60$	$1.05$	1.001

Setelah Epoch 1: $w = [-0.01, -0.29, -0.29, -0.59]$

Epoch 2:

iter	$x_0$	$x_1$	$x_2$	$x_3$	$y$	$\sigma$	$E$
2	1	1	0	1	$-1$	$-0.89$	0.007
2	1	0	$-1$	$-1$	$+1$	$0.86$	0.016
2	1	$-1$	$-0.5$	$-1$	$+1$	$1.14$	0.026

Setelah Epoch 2: $w = [-0.05, -0.28, -0.31, -0.62]$

Proses berlanjut hingga epoch 4 di mana $E < 0.01$ → terminate.

#Link to this headingBatch vs Stochastic Gradient Descent

Mini-batch SGD: dari true SGD (batch=1) hingga Batch GD (batch=|data|)

Keduanya menggunakan fungsi aktivasi linear dan konvergen menuju best-fit approximation.

Aspek	Batch GD	Stochastic GD
Update bobot	Setelah semua examples	Setelah setiap example
Konvergensi	Smooth, stabil	Lebih noisy, bisa keluar dari local minima
Kecepatan per epoch	Lebih lambat	Lebih cepat

#Link to this headingMini-batch SGD

Parameter	Penjelasan
Epoch	Iterasi untuk semua training data atau semua mini-batch
Batch size = 1	True SGD (incremental)
Batch size = \|data\|	Batch GD
1 < batch size < \|data\|	Mini-batch SGD
Step	Pemrosesan satu mini-batch diakhiri dengan update bobot

#Link to this headingPerceptron: Kesimpulan

Perceptron Training Rule:

Linear classifier, tidak dapat membuat non-linear boundaries
Update bobot berdasarkan error pada thresholded perceptron output
Tidak konvergen jika kelas tidak linearly separable
Banyak solusi "optimal" dalam 0/1 loss, sebagian besar tidak optimal untuk generalisasi

Gradient Descent (Delta Rule):

Update bobot berdasarkan error pada unthresholded linear combination of inputs
Konvergen secara asimtotik menuju minimum hypothesis, terlepas dari linear separability
Batch / Incremental weight update

Ensemble Methods

Feed Forward Neural Network

Backlinks

IF3270 - Machine Learning