LSTM Exercises

Latihan Long Short-Term Memory (LSTM) dari kuis IF3270 Pembelajaran Mesin, April 2026.

#Link to this headingSoal 1

Permasalahan pada arsitektur RNN sebagai berikut, kecuali:

a. long-term dependency problem

b. parameter sharing

c. short-term memory pada forward propagation

d. vanishing gradient pada backward propagation

#Link to this headingSoal 2

Persoalan vanishing gradient pada RNN artinya nilai gradient yang diperoleh semakin lama semakin sangat kecil sehingga nilai tersebut akan banyak berkontribusi pada proses learning (update weight).

Benar atau Salah?

#Link to this headingSoal 3

Perhatikan beberapa pernyataan berikut.

1. LSTM mengandung modul recurrent yang berisi empat gate/state
2. RNN tidak menggunakan forget gate
3. LSTM tidak menggunakan hidden state dari time-step sebelumnya
4. Banyaknya parameter akan sama untuk struktur topologi RNN dan LSTM yang sama

Perbedaan/persamaan LSTM dengan RNN yang benar adalah:

a. 1, 2, 3, 4

b. 1, 2, 3

c. 1, 2

d. 1

#Link to this headingSoal 4

Perhatikan beberapa pernyataan berikut.

1. Cell state berfungsi menentukan nilai hidden state yang akan dikeluarkan
2. Forget gate berfungsi sebagai ingatan untuk jaringan
3. Input gate berfungsi menentukan informasi yang relevan dengan meng-update nilai cell state
4. Output gate berfungsi menentukan informasi yang akan diingat atau dibuang

Pernyataan yang benar tentang bagian dari LSTM adalah:

a. 1

b. 3

c. 1, 2

d. 1, 2, 3

#Link to this headingSoal 5

Untuk LSTM tersebut, nilai dari forget gate pada time step ke-1 adalah:

a. 0.948

b. 0.908

c. 0.824

d. 0.543

#Link to this headingSoal 6

Untuk LSTM yang sama (gambar pada Soal 5), nilai dari cell state yang dihasilkan pada time step ke-1 adalah:

a. 0.603

b. 0.78

c. 0.826

d. 0.948

#Link to this headingSoal 7

Untuk LSTM yang sama (gambar pada Soal 5), nilai output gate yang dihasilkan pada time step ke-2 adalah:

a. 0.93

b. 0.924

c. 0.912

d. 0.889

#Link to this headingSoal 8

Untuk LSTM yang sama (gambar pada Soal 5), nilai hidden state yang dihasilkan pada time step ke-2 adalah:

a. 0.603

b. 0.836

c. 0.912

d. 0.93

#Link to this headingSoal 9

Total parameter yang harus dipelajari untuk LSTM tersebut adalah:

a. 22

b. 47

c. 143

d. 604

#Link to this headingSoal 10

Jika terdapat 10 time step, maka total parameter yang harus dipelajari untuk LSTM tersebut adalah:

a. 328

b. 286

c. 164

d. 143

#Link to this headingSoal 11

Perhatikan beberapa pernyataan berikut.

1. Algoritma backpropagation pada LSTM adalah Backpropagation Through Time
2. Proses update weight dilakukan pada matriks $U$ dan $W$ saja
3. Weight hasil update adalah weight lama dikurangi dengan $d\text{Weight}$
4. Pada fase backward pass dilakukan perhitungan dgates dan dx untuk setiap $t$, delta-out untuk setiap $t-1$, $dU$, $dW$, dan $db$

Pernyataan yang tepat terkait LSTM tersebut adalah:

a. 1

b. 1, 3

c. 1, 4

d. 1, 2, 3, 4

#Link to this headingSoal 12

Pada tahap backward pass di LSTM tersebut, diketahui nilai dgates pada $t_2$ adalah $[0.006,\ {-0.005},\ {-0.019},\ {-0.05}]^T$. Nilai $d\text{out}_1$ adalah:

a. $0.035$

b. $-0.05$

c. $-0.028$

d. $0.006$

#Link to this headingSoal 13

Pada tahap backward pass di LSTM tersebut (gambar pada Soal 12), diketahui nilai dgates pada $t_1$ dan $t_2$ adalah $[-0.0017,\ 0,\ 0.0018,\ {-0.0018}]^T$ dan $[0.006,\ {-0.005},\ {-0.019},\ {-0.05}]^T$. Nilai $dU$ adalah:

$\text{A: } \begin{bmatrix} 0.00515 & 0.0069 \\ -0.005 & -0.01 \\ -0.0181 & -0.0326 \\ -0.0509 & -0.1054 \end{bmatrix} \qquad \text{B: } \begin{bmatrix} 0.0013 & 0.0069 \\ -0.0025 & -0.01 \\ -0.0077 & -0.0326 \\ -0.0268 & -0.1054 \end{bmatrix}$

#Link to this headingSoal 14

Pada tahap backward pass di LSTM tersebut (gambar pada Soal 12), diketahui nilai dgates pada $t_1$ dan $t_2$ adalah $[-0.0017,\ 0,\ 0.0018,\ {-0.0018}]^T$ dan $[0.006,\ {-0.005},\ {-0.019},\ {-0.05}]^T$, dan learning rate $\eta = 0.1$. Nilai $b$ hasil update adalah:

a. $[0.299,\ 0.700,\ 0.351,\ 0.403]^T$

b. $[0.399,\ 0.550,\ 0.251,\ 0.505]^T$

#Link to this headingSoal 15

Pernyataan yang benar terkait Truncated BPTT adalah:

a. Truncated BPTT dikembangkan untuk mengurangi kompleksitas komputasi pada saat update parameter.

b. Truncated BPTT membagi forward pass dan backward pass menjadi bagian yang lebih kecil.

c. Kekurangan BPTT adalah faktor dependensi sekuens yang dipelajari tidak sepanjang (sebanyak) di Full BPTT.

d. Semua pernyataan benar.

e. Semua pernyataan salah.