2nd Quiz 2024/2025

Kuis 2 IF3270 Pembelajaran Mesin, Semester II 2024-2025.

#Link to this headingBagian I: CNN

#Link to this headingSoal 1 [Nilai: 15]

Lakukanlah forward propagation untuk mendapatkan feature map dari suatu layer konvolusi jika diberikan data input (x) berukuran $6 \times 6 \times 2$ pada suatu layer konvolusi yang memiliki 2 kernel berukuran $2 \times 2$. Stride yang digunakan 2, dan tanpa menggunakan padding. Tahap detector dengan ReLU, dan tahap pooling dengan fungsi maksimum dengan kernel berukuran $2 \times 2$, tanpa padding, dan stride 1.

Berikanlah secara eksplisit feature map per tahap dari layer konvolusi tersebut. Berikan juga detail perhitungan setiap nilai feature map-nya.

Data input $x$ - Channel 1:

Data input $x$ - Channel 2:

Kernel 1 (bias = 0.25):

Ch1: $\begin{bmatrix} 1 & -1 \\ -1 & 0 \end{bmatrix}$ $\quad$ Ch2: $\begin{bmatrix} -1 & 0 \\ 0 & 1 \end{bmatrix}$

Kernel 2 (bias = 0.75):

Ch1: $\begin{bmatrix} -1 & 1 \\ 1 & -1 \end{bmatrix}$ $\quad$ Ch2: $\begin{bmatrix} 0 & 0 \\ 0 & -1 \end{bmatrix}$

#Link to this headingSoal 2 [Nilai: 10]

Diberikan encoder dari image captioning berupa model CNN dengan arsitektur berikut (complex layer terminology):

• Input layer berukuran $100 \times 100 \times 2$
• Satu layer konvolusi dengan 7 kernel berukuran $6 \times 6$, dengan padding = 1 dan pergeseran 2 sel, tahap detector dengan ReLU, serta tahap max pooling dengan kernel berukuran $5 \times 5$, tanpa padding, dan pergeseran 2 sel.

#Link to this headinga. [Nilai: 5] Ukuran Feature Map

Tentukanlah ukuran feature map yang dihasilkan dari layer konvolusi dengan mengisi tabel berikut ini. Detail perhitungan wajib diisi.

#Link to this headingb. [Nilai: 5] Output Shape dan Trainable Parameters

Tentukanlah output shape (ukuran feature map) dan jumlah bobot (trainable parameter) dari image encoder tersebut (shared parameter = True).

#Link to this headingBagian II: RNN

#Link to this headingSoal 1 [Nilai: 9]

Terdapat arsitektur Neural Network dengan spesifikasi berikut:

• 4 fitur input
• 3 hidden layer + 1 output layer
• Hidden layer 1: Simple RNN, 3 neuron, 10 timesteps
• Hidden layer 2: Simple RNN, 4 neuron, 10 timesteps
• Hidden layer 3: Dense, 5 neuron
• Output layer: 2 neuron

a. Gambarkan arsitektur tersebut dalam folded network, lengkap dengan bias.

b. Hitung banyaknya parameter yang perlu dipelajari, lengkap dengan rincian angka.

#Link to this headingSoal 2 [Nilai: 9]

Pembelajaran yang memanfaatkan RNN akan digunakan untuk menentukan apakah sebuah kalimat termasuk ujaran kebencian atau bukan. Arsitektur many-to-one menerima input 2 fitur, hidden layer berupa Simple RNN 5 neuron, timestep 3, output layer 1 neuron.

a. Gambarkan arsitektur dalam unfolded network, lengkap dengan bias.

b. Hitung banyaknya parameter yang perlu dipelajari.

#Link to this headingSoal 3 [Nilai: 18]

Gunakan spesifikasi berikut untuk arsitektur many-to-many (equal input-output) dengan 1 Simple RNN hidden layer (2 neuron) dan 1 output layer (1 neuron):

• Semua bobot input → hidden = 0.1, semua bias hidden = 0.1
• Semua bobot hidden$(t-1)$ → hidden$(t)$ = 0.2
• Semua bobot hidden → output = 0.3, bias output = 0.3
• $h_0 = [0, 0]$, aktivasi hidden = tanh, aktivasi output = sigmoid

Tentukan:

1. Nilai neuron pertama di hidden layer untuk $t = 1$
2. Nilai neuron pertama di hidden layer untuk $t = 2$
3. Nilai output layer di $t = 2$

#Link to this headingSoal 4 [Nilai: 4]

Tentukan apakah pernyataan berikut Benar atau Salah. Jika salah, tuliskan bagian yang salah dan pernyataan yang seharusnya.

a. Banyaknya parameter yang dipelajari pada neural network yang memanfaatkan layer Simple RNN bergantung pada banyaknya timestep yang didefinisikan.

b. Pada model encoder-decoder, yang menjadi masukan (input) pada decoder adalah nilai output layer dari hidden layer timestep terakhir bagian encoder, dengan fungsi aktivasi tertentu.

c. Hidden layer yang menggunakan RNN dengan fungsi aktivasi tanh memiliki nilai turunan dalam rentang 0 hingga 1 sehingga jika timestep yang digunakan sangat panjang, tidak akan mempengaruhi nilai gradien ketika pembelajaran untuk updating bobot dilakukan.

d. RNN sesuai untuk data dengan urutan data penting sehingga bobot dari satu timestep ke timestep berikutnya berbeda dan perlu dipelajari.

#Link to this headingBagian III: LSTM

#Link to this headingSoal 1–8 [Nilai: 16]

Tentukan apakah pernyataan 1–8 berikut Benar atau Salah.

1. Vanishing gradient problem terjadi ketika nilai gradien menjadi sangat kecil sehingga tidak dapat memperbarui bobot jaringan dengan efektif.
2. Dalam LSTM, vanishing gradient problem dihilangkan sepenuhnya dan tidak mungkin terjadi.
3. Fungsi aktivasi tanh sering menjadi penyebab utama vanishing gradient problem karena rentang output-nya terbatas.
4. LSTM menggunakan fungsi aktivasi ReLU pada cell state untuk mencegah vanishing gradient.
5. Forget gate berfungsi untuk menambahkan informasi baru ke dalam cell state.
6. Output gate mengontrol informasi apa yang akan dikeluarkan dari unit LSTM ke langkah waktu berikutnya.
7. Cell state pada LSTM memungkinkan informasi mengalir tanpa banyak perubahan dari waktu ke waktu.
8. Semua gate dalam LSTM bekerja secara independen dan tidak memengaruhi satu sama lain.

#Link to this headingSoal 9 [Nilai: 4]

Diketahui sebuah model LSTM dengan 2 layer berikut:

• Input size = 5, Hidden size (LSTM) = 10, Output size (Dense) = 2
• Masing-masing layer memiliki bias.

Berapa total jumlah parameter dari model tersebut?

#Link to this headingSoal 10 [Nilai: 15]

Diketahui LSTM dengan input matriks $A$ dan bobot awal $U, W, V$, dan bias. Hidden layer menggunakan fungsi aktivasi tanh, output layer menggunakan sigmoid. Lakukan forward propagation, tuliskan nilai output dari 2 time step.