Reinforcement Learning

Created onDibuat padaMay 6, 20266 Mei 2026

Last updated onTerakhir diperbaruiMay 6, 20266 Mei 2026

11 min read11 menit baca

IDreinforcement-learningSARSAQ-learningDQNdata-science

ContributorsKontributor

Razi Rachman Widyadhana - @zirachw

Reinforcement Learning atau RL adalah paradigma pembelajaran mesin untuk masalah pengambilan keputusan. Agen belajar dari interaksi dengan lingkungan, menerima reward, dan berusaha memilih aksi yang memaksimalkan akumulasi reward jangka panjang.

#Link to this headingPosisi RL dalam Machine Learning

Pembelajaran terawasi memakai pasangan data $(x,y)$ , sedangkan pembelajaran tak terawasi mencari struktur dari data tanpa label. RL berbeda karena data pelatihannya muncul dari interaksi. Agen memilih aksi, lingkungan merespons, lalu agen menerima observasi baru dan reward.

Cabang machine learning dengan reinforcement learning sebagai paradigma pengambilan keputusan

RL cocok ketika jawaban benar tidak tersedia secara langsung. Dalam banyak persoalan, tidak ada label optimal untuk setiap keadaan. Yang tersedia hanya sinyal keberhasilan setelah aksi dilakukan, bahkan kadang reward baru muncul jauh setelah keputusan awal.

Contohnya adalah robot berjalan, permainan strategi, pengendalian kendaraan, alokasi sumber daya, dan agen yang belajar melalui simulasi.

#Link to this headingKarakteristik RL

RL memiliki beberapa karakteristik yang membedakannya dari pembelajaran terawasi.

Tidak ada supervisi langsung dalam bentuk label benar untuk setiap aksi.
Umpan balik diberikan sebagai reward signal.
Umpan balik dapat tertunda.
Waktu penting karena aksi sekarang dapat memengaruhi keadaan dan reward di masa depan.
Agen harus menyeimbangkan eksplorasi dan eksploitasi.

Karakteristik reinforcement learning dibandingkan paradigma machine learning lain

Inti RL bukan hanya memilih aksi yang memberi reward terbesar saat ini, tetapi memilih aksi yang memberi nilai terbaik dalam jangka panjang.

#Link to this headingAgen dan Lingkungan

RL dimodelkan sebagai interaksi antara agen dan lingkungan.

Loop interaksi agent environment observation action reward

Pada setiap langkah waktu $t$ , agen menerima observasi $O_t$ dan reward $R_t$ . Berdasarkan informasi tersebut, agen memilih aksi $A_t$ . Lingkungan menerima aksi itu, lalu menghasilkan observasi berikutnya $O_{t+1}$ dan reward berikutnya $R_{t+1}$ .

Komponen utama agen meliputi state, policy, value function, dan kadang model dari lingkungan.

Komponen	Makna
State	Representasi kondisi yang dipakai agen untuk mengambil keputusan
Action	Pilihan tindakan yang dapat dilakukan agen
Reward	Sinyal evaluasi dari lingkungan setelah aksi dilakukan
Policy	Aturan pemilihan aksi berdasarkan state
Value function	Estimasi nilai jangka panjang dari state atau pasangan state-action
Model	Perkiraan dinamika lingkungan, jika agen memilikinya

#Link to this headingReward dan Value

Reward adalah sinyal langsung dari lingkungan. Value adalah estimasi manfaat jangka panjang. Keduanya tidak sama. Reward dapat kecil atau negatif saat ini, tetapi aksi tersebut tetap bisa baik jika membuka peluang reward besar di masa depan.

Contoh klasiknya adalah investasi. Keputusan yang mengurangi uang hari ini dapat memberi nilai tinggi jika keuntungan masa depan besar. Dalam permainan, mengorbankan satu langkah dapat membuka peluang menang beberapa langkah kemudian.

#Link to this headingPolicy

Policy adalah pemetaan dari state ke aksi. Policy sering dilambangkan dengan $\pi$ .

Policy deterministik memilih satu aksi untuk setiap state.

a = \pi(s)

Policy stokastik memberi distribusi peluang atas aksi.

\pi(a \mid s) = P(A_t = a \mid S_t = s)

Pada contoh maze, panah di setiap sel dapat dibaca sebagai policy. Ketika agen berada di sel tersebut, panah menunjukkan aksi yang dipilih.

Contoh maze dengan panah policy pada setiap state

#Link to this headingValue Function

Value function mengukur seberapa baik suatu state dalam jangka panjang. Untuk policy $\pi$ , state value ditulis sebagai berikut.

v_\pi(s) = \mathbb{E}_\pi[G_t \mid S_t = s]

Di sini $G_t$ adalah return, yaitu total reward terdiskonto dari waktu $t$ .

G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2R_{t+3} + \ldots

atau dalam bentuk penjumlahan berikut.

G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}

Nilai $\gamma$ adalah discount factor dengan rentang $0 \leq \gamma \leq 1$ . Jika $\gamma$ kecil, agen lebih mementingkan reward dekat. Jika $\gamma$ besar, agen lebih memperhitungkan reward jauh.

Maze dengan value function yang memberi nilai pada setiap state

#Link to this headingAction-Value Function

Selain nilai state, RL juga memakai nilai pasangan state dan aksi. Nilai ini disebut action-value function atau Q-function.

q_\pi(s,a) = \mathbb{E}_\pi[G_t \mid S_t = s, A_t = a]

Jika $q_\pi(s,a)$ diketahui, agen dapat membandingkan aksi yang mungkin dilakukan pada state yang sama. Aksi dengan nilai $q$ lebih tinggi lebih menjanjikan secara jangka panjang.

Hubungan antara state value dan action value adalah sebagai berikut.

v_\pi(s) = \sum_a \pi(a \mid s)q_\pi(s,a)

Untuk policy optimal, nilai state optimal dapat diperoleh dari action value optimal.

v_*(s) = \max_a q_*(s,a)

Policy optimal dapat ditemukan dengan memilih aksi yang memaksimalkan $q_*(s,a)$ .

\pi_*(s) = \arg\max_a q_*(s,a)

#Link to this headingModel

Model dalam RL adalah representasi dinamika lingkungan. Model dapat memberi tahu state berikutnya dan reward yang mungkin terjadi ketika agen melakukan aksi tertentu.

Secara probabilistik, model sering ditulis sebagai berikut.

p(r,s' \mid s,a)

Artinya, dari state $s$ dan aksi $a$ , lingkungan dapat berpindah ke state $s'$ dan menghasilkan reward $r$ dengan peluang tertentu.

Jika model diketahui, agen dapat melakukan perencanaan. Jika model tidak diketahui, agen belajar langsung dari sampel interaksi.

Contoh model lingkungan pada maze yang menunjukkan transisi dan reward

#Link to this headingEksplorasi dan Eksploitasi

Eksploitasi berarti memilih aksi yang saat ini dipercaya paling baik. Eksplorasi berarti mencoba aksi lain untuk memperoleh informasi baru.

Keduanya perlu seimbang. Jika agen hanya mengeksploitasi, agen dapat terjebak pada pilihan yang tampak baik tetapi bukan yang terbaik. Jika agen terlalu banyak mengeksplorasi, agen membuang banyak kesempatan untuk memperoleh reward tinggi.

Contoh sederhana adalah memilih restoran. Eksploitasi berarti pergi ke restoran favorit. Eksplorasi berarti mencoba restoran baru yang mungkin lebih baik.

Salah satu strategi umum adalah $\epsilon$ -greedy. Dengan peluang $1-\epsilon$ , agen memilih aksi terbaik saat ini. Dengan peluang $\epsilon$ , agen memilih aksi acak.

#Link to this headingKategori Agen RL

Agen RL dapat dikategorikan berdasarkan komponen yang dipelajari.

Kategori	Komponen utama	Penjelasan
Value based	Value function	Policy bersifat implisit melalui aksi bernilai tertinggi
Policy based	Policy	Agen langsung belajar fungsi pemilihan aksi
Actor critic	Policy dan value function	Actor memilih aksi, critic menilai aksi
Model free	Policy atau value function tanpa model lingkungan	Belajar langsung dari interaksi
Model based	Model lingkungan, kadang bersama policy atau value	Memakai model untuk merencanakan aksi

Taksonomi agen reinforcement learning value based policy based actor critic model free dan model based

Materi kuliah ini berfokus pada model-free RL, khususnya Temporal Difference Learning melalui SARSA dan Q-learning.

#Link to this headingMarkov Decision Process

Reinforcement Learning sering diformalkan sebagai Markov Decision Process atau MDP. Sebuah MDP terdiri atas state, aksi, probabilitas transisi, reward, dan discount factor.

Properti Markov menyatakan bahwa masa depan hanya bergantung pada state saat ini dan aksi saat ini, bukan seluruh sejarah sebelumnya.

P(S_{t+1}, R_{t+1} \mid S_t, A_t)

Dengan MDP, persoalan RL menjadi persoalan mencari policy yang memaksimalkan expected return.

Formalizing RL interface sebagai Markov Decision Process

#Link to this headingReturn dan Bellman Equation

Return dari waktu $t$ adalah total reward terdiskonto.

G_t = R_{t+1} + \gamma G_{t+1}

Persamaan ini menunjukkan struktur rekursif. Nilai sekarang bergantung pada reward berikutnya dan nilai masa depan.

Untuk state value, bentuknya adalah sebagai berikut.

v_\pi(s) = \mathbb{E}_\pi[R_{t+1} + \gamma v_\pi(S_{t+1}) \mid S_t = s]

Untuk action value, bentuknya adalah sebagai berikut.

q_\pi(s,a) = \mathbb{E}_\pi[R_{t+1} + \gamma q_\pi(S_{t+1},A_{t+1}) \mid S_t = s, A_t = a]

Return state value action value dan hubungan Bellman

#Link to this headingTemporal Difference Learning

Temporal Difference Learning atau TD Learning belajar dari sampel parsial. Berbeda dengan Monte Carlo, TD tidak perlu menunggu episode selesai untuk melakukan pembaruan.

Ide dasarnya adalah bootstrapping. Estimasi saat ini diperbarui menggunakan reward yang baru diamati dan estimasi nilai state berikutnya.

Untuk value function, bentuk update-nya adalah sebagai berikut.

V(S_t) \leftarrow V(S_t) + \alpha[R_{t+1} + \gamma V(S_{t+1}) - V(S_t)]

Bagian dalam kurung disebut TD error.

\delta_t = R_{t+1} + \gamma V(S_{t+1}) - V(S_t)

Pada TD control, pembelajaran diterapkan pada $q(s,a)$ . Dua algoritma yang dibahas adalah SARSA dan Q-learning.

#Link to this headingSARSA

SARSA adalah algoritma TD control on-policy. Nama SARSA berasal dari lima kejadian yang dipakai dalam update.

(S_t, A_t, R_{t+1}, S_{t+1}, A_{t+1})

Karena memakai $A_{t+1}$ yang benar-benar dipilih oleh policy saat ini, SARSA belajar tentang policy yang sedang dijalankan.

Formula update SARSA adalah sebagai berikut.

Q(S_t,A_t) \leftarrow Q(S_t,A_t) + \alpha[R_{t+1} + \gamma Q(S_{t+1},A_{t+1}) - Q(S_t,A_t)]

Pseudocode tabular SARSA on policy TD control

#Link to this headingContoh SARSA

Misalkan $\alpha = 0.5$ dan $\gamma = 0.9$ . Semua nilai awal $Q$ adalah 0. Terdapat tiga episode pada GridWorld.

Episode	Urutan state
1	$(1,1)$ , lalu $(1,2)$ , lalu $(2,2)$ , lalu $(3,2)$
2	$(1,1)$ , lalu $(2,1)$ , lalu $(3,1)$
3	$(1,1)$ , lalu $(2,1)$ , lalu $(2,2)$ , lalu $(3,2)$

Pada episode 1, dua perpindahan pertama memiliki reward 0 dan nilai berikutnya masih 0, sehingga nilai Q tetap 0. Pada perpindahan dari $(2,2)$ ke terminal $(3,2)$ , reward adalah 10.

Q([(2,2)], \text{right}) = 0 + 0.5(10 + 0.9(0) - 0) = 5

Pada episode 2, perpindahan dari $(2,1)$ ke terminal buruk $(3,1)$ memiliki reward $-10$ .

Q([(2,1)], \text{right}) = 0 + 0.5(-10 + 0.9(0) - 0) = -5

Pada episode 3, nilai $Q([(2,2)], \text{right})$ yang sudah bernilai 5 ikut memengaruhi update sebelumnya.

Q([(2,1)], \text{up}) = 0 + 0.5(0 + 0.9(5) - 0) = 2.25

Kemudian nilai menuju terminal baik diperbarui lagi.

Q([(2,2)], \text{right}) = 5 + 0.5(10 + 0.9(0) - 5) = 7.5

Nilai Q dan optimal policy hasil contoh SARSA setelah tiga episode

#Link to this headingQ-Learning

Q-learning adalah algoritma TD control off-policy. Agen dapat mengikuti policy eksploratif saat mengumpulkan pengalaman, tetapi update-nya belajar menuju policy greedy optimal.

Perbedaan utama dari SARSA terletak pada target update. SARSA memakai aksi berikutnya yang benar-benar dipilih. Q-learning memakai aksi terbaik yang mungkin pada state berikutnya.

Formula update Q-learning adalah sebagai berikut.

Q(S_t,A_t) \leftarrow Q(S_t,A_t) + \alpha[R_{t+1} + \gamma \max_a Q(S_{t+1},a) - Q(S_t,A_t)]

Q learning off policy update memakai maksimum Q pada state berikutnya

Karena memakai $\max_a Q(S_{t+1},a)$ , Q-learning cenderung lebih optimistis dibanding SARSA. SARSA memperhitungkan aksi yang benar-benar akan diambil oleh policy eksploratif, sedangkan Q-learning memperkirakan seolah agen akan memilih aksi terbaik pada langkah berikutnya.

#Link to this headingSARSA dan Q-Learning

Aspek	SARSA	Q-learning
Jenis	On-policy	Off-policy
Target update	$R + \gamma Q(S',A')$	$R + \gamma \max_a Q(S',a)$
Aksi berikutnya	Aksi yang benar-benar dipilih	Aksi bernilai maksimum
Efek eksplorasi	Masuk ke proses belajar	Tidak langsung masuk ke target optimal
Kecenderungan	Lebih hati-hati	Lebih greedy terhadap nilai optimal

#Link to this headingDeep Q-Network

Tabular Q-learning menyimpan nilai $Q(s,a)$ dalam tabel. Cara ini tidak cukup ketika state sangat banyak atau kontinu, misalnya citra permainan. Deep Q-Network atau DQN mengganti tabel Q dengan neural network.

Deep Q Network mengganti tabel Q dengan neural network yang menghasilkan Q value semua aksi

DQN menerima fitur state sebagai input dan menghasilkan vektor Q-value untuk semua aksi.

q_w(x_s, \cdot) = \begin{bmatrix} Q(s,a_1) \\ Q(s,a_2) \\ \vdots \\ Q(s,a_m) \end{bmatrix}

Pemilihan aksi dapat dilakukan dengan memilih nilai terbesar.

a = \arg\max_a q_w(x_s,a)

#Link to this headingReplay Memory

DQN memakai replay memory karena sampel dari episode berurutan tidak bersifat IID. Jika model dilatih langsung dari urutan terbaru, pembaruan bobot dapat terlalu berkorelasi dan tidak stabil.

Replay memory menyimpan transisi dalam bentuk berikut.

(x_s, a, r, x_{s'}, \text{done})

Kemudian mini-batch diambil secara acak dari buffer memori untuk menghitung loss dan memperbarui parameter jaringan. Dengan cara ini, distribusi data pelatihan lebih stabil dan pengalaman lama tetap dapat dipakai kembali.

Replay memory pada DQN menyimpan transisi dan mengambil mini batch acak

#Link to this headingTarget Value untuk DQN

DQN memperlakukan pembelajaran Q-value sebagai persoalan regresi. Untuk setiap transisi, model melakukan dua forward pass.

Forward pass pada state saat ini $x_s$ untuk memperoleh $q_w(x_s,\cdot)$ .
Forward pass pada state berikutnya $x_{s'}$ untuk memperoleh $q_w(x_{s'},\cdot)$ .

Target untuk aksi yang dipilih $a$ adalah sebagai berikut.

y = r + \gamma \max_{a'} q_w(x_{s'},a')

Jika transisi sudah terminal, bagian nilai masa depan dihilangkan.

y = r

Loss dihitung hanya pada komponen aksi yang dipilih. Komponen aksi lain tetap mengikuti prediksi lama agar pembaruan tidak mengubah target seluruh aksi sekaligus.

Target value DQN dihitung dari reward dan maksimum Q pada next state

#Link to this headingRingkasan

Reinforcement Learning mempelajari keputusan dari interaksi. Agen tidak diberi jawaban benar untuk setiap state, tetapi belajar dari reward dan konsekuensi jangka panjang. Policy menentukan aksi, value function menilai masa depan, dan tradeoff eksplorasi serta eksploitasi menentukan kualitas pengalaman yang dikumpulkan.

TD Learning memungkinkan pembelajaran tanpa menunggu episode selesai. SARSA belajar secara on-policy dari aksi yang benar-benar diambil, sedangkan Q-learning belajar secara off-policy menggunakan aksi terbaik pada state berikutnya. DQN memperluas Q-learning dengan neural network, replay memory, dan target value berbasis bootstrapping.

Attention and Transformer

1st Quiz 2025/2026

Backlinks

IF3270 - Machine Learning