Attention Exercises

Created onDibuat padaJune 8, 20268 Juni 2026

Last updated onTerakhir diperbaruiJune 8, 20268 Juni 2026

12 min read12 menit baca

IDattentionencoder-decoderRNNTransformerdeep-learning

ContributorsKontributor

Razi Rachman Widyadhana - @zirachw

IntroductionPendahuluan Latihan a.b.c.d.e.f.g.h.

Latihan Attention untuk persiapan UAS IF3270 Pembelajaran Mesin, khususnya bagian encoder-decoder with attention.

#Link to this headingLatihan

Diberikan model encoder-decoder with attention dengan spesifikasi berikut.

Komponen	Nilai
Dimensi input encoder ( $x$ )	2
Jumlah hidden neuron encoder	2
Panjang sekuens encoder	3
Dimensi input decoder (token sebelumnya)	3
Jumlah hidden neuron decoder	2
Jumlah output token (ukuran kosakata)	3
Attention hidden unit (Bahdanau)	2

Encoder menggunakan RNN satu hidden layer dengan fungsi aktivasi linear dan bobot berikut.

W_{xh} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \quad W_{hh} = \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}, \quad b_{xh} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}, \quad h_0 = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

Sekuens input yang diberikan adalah sebagai berikut.

x_1 = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \quad x_2 = \begin{bmatrix} 0 \\ 2 \end{bmatrix}, \quad x_3 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

Pada suatu timestep decoder tertentu, state decoder sebelumnya adalah sebagai berikut.

s_{t-1} = \begin{bmatrix} 1 \\ 1 \end{bmatrix}

Bahdanau attention menggunakan bobot berikut.

W_a = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \quad U_a = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}, \quad v_a = \begin{bmatrix} 1 \\ 0 \end{bmatrix}, \quad b_a = \begin{bmatrix} 0 \\ 0 \end{bmatrix}

Output layer menggunakan bobot berikut.

W_y = \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 1 \end{bmatrix}, \quad b_y = \begin{bmatrix} 0 \\ 0 \\ 0 \end{bmatrix}

#Link to this headinga.

Gambarkan arsitektur unfolded encoder-decoder with attention berdasarkan spesifikasi di atas. Tunjukkan encoder 3 timestep, mekanisme attention, dan decoder.

#Link to this headingb.

Hitung hidden state encoder $h_1$ , $h_2$ , dan $h_3$ dari sekuens input $x_1$ , $x_2$ , $x_3$ menggunakan formula berikut.

h_j = W_{xh} x_j + W_{hh} h_{j-1} + b_{xh}

#Link to this headingc.

Hitung skor attention $e_j$ , bobot attention $\alpha_j$ , dan context vector $c_t$ menggunakan Luong dot attention dengan formula berikut.

e_j = s_{t-1}^T h_j, \qquad \alpha_j = \frac{\exp(e_j)}{\displaystyle\sum_{k=1}^{3} \exp(e_k)}, \qquad c_t = \sum_{j=1}^{3} \alpha_j h_j

Gunakan pembulatan tiga angka di belakang koma.

#Link to this headingd.

Hitung skor attention $e_j$ , bobot attention $\alpha_j$ , dan context vector $c_t$ menggunakan Bahdanau attention dengan formula berikut.

e_j = v_a^T \tanh(W_a s_{t-1} + U_a h_j + b_a)

Gunakan nilai $\tanh(1) = 0.762$ , $\tanh(2) = 0.964$ , $\tanh(3) = 0.995$ . Gunakan pembulatan tiga angka di belakang koma.

Bandingkan mekanisme Luong dot dan Bahdanau attention berdasarkan hasil sub-soal c dan d. Jelaskan perbedaan cara menghitung skor, jumlah parameter, dan distribusi bobot yang dihasilkan pada contoh ini.

#Link to this headingf.

Gunakan $c_t$ dari Bahdanau attention (sub-soal d). Hitung logits $z$ , probabilitas softmax, dan token prediksi menggunakan formula berikut.

z = W_y c_t + b_y, \qquad p_i = \frac{\exp(z_i)}{\displaystyle\sum_{k=1}^{3} \exp(z_k)}

Gunakan pembulatan tiga angka di belakang koma.

#Link to this headingg.

Hitung total jumlah parameter model berdasarkan spesifikasi yang diberikan. Asumsikan Bahdanau attention, decoder state dihitung dari token sebelumnya, hidden state decoder sebelumnya, dan context vector, serta output layer menggunakan gabungan $s_t$ dan $c_t$ .

#Link to this headingh.

Tentukan apakah pernyataan berikut benar atau salah.

Attention membuat model selalu memilih satu token input saja untuk setiap token output.
Pada attention, bobot $\alpha_{tj}$ biasanya dijumlahkan menjadi 1 untuk setiap $t$ .
Pada encoder-decoder with attention, context vector dapat berbeda untuk setiap timestep decoder.
Transformer menghilangkan recurrence dan memakai self-attention.
Positional encoding diperlukan karena self-attention tidak memiliki urutan token secara bawaan.

LSTM Exercises

Reinforcement Learning Exercises

Backlinks

IF3270 - Machine Learning