Pertemuan 11
Machine Learning
Dan Artificial Intelligence
Recurrent Neural Network
16 November 2021
Problem
Misalnya kita melakukan analisis sentimen pada ulasan ini:
“Tidak ada yang membuat saya senang, tertawa, dan bahagia dalam film ini.”
Sebuah model ann biasa mungkin akan menyimpulkan bahwa kalimat di atas
adalah ulasan positif, karena ada banyak kata-kata positif di kalimat di atas
(“senang”, “tertawa”, “bahagia”). Padahal jauh di depan ada kata “tidak”.
Model pada ann biasa tidak mempunyai “memori”; setiap sampel akan
diproses secara sama tanpa memperhatikan sampel-sampel sebelumnya.
2
Data Sekuensial
Data sekuensial (sequence data) mempunyai karakteristik di mana
sampel diproses dengan suatu urutan (misalnya waktu), dan suatu
sampel dalam urutan mempunyai hubungan erat satu dengan yang lain.
Contoh-contoh data sekuensial dan aplikasinya misalnya:
- rangkaian kata-kata dalam penerjemahan bahasa
- sinyal audio dalam pengenalan suara
- rangkaian kata-kata dalam klasifikasi sentimen
- rangkaian gambar-gambar (frame) pada pengenalan aktivitas video
3
RNN
Recurrent neural network (RNN) adalah jenis arsitektur jaringan saraf
tiruan yang pemrosesannya dipanggil berulang-ulang untuk
memproses input yang biasanya adalah data sekuensial.
4
RNN
Misalnya kita membuat RNN untuk menerjemahkan bahasa Indonesia ke
bahasa Inggris
- t = langkah waktu (time
step).
- Pemrosean input oleh
RNN adalah kata demi
kata
- RNN memberikan output
kata demi kata
- Dalam tiap pemrosesan,
RNN akan menyimpan
5
state internal yaitu St
RNN
Semua kotak itu mencerminkan satu modul RNN yang sama Inilah
sebabnya kenapa arsitektur ini disebut RNN. Kata recurrent (berulang)
dalam RNN timbul karena RNN melakukan perhitungan yang sama
secara berulang-ulang atas input yang kita berikan.
6
Banyak ke Banyak
Jenis RNN Ex:
- translasi bahasa
- pengenalan suara
Satu ke Banyak
Ex: Banyak ke Satu
- sintesa musik Ex:
- sintesa esai - deteksi sentimen7
- nilai ulasan film
Mekanisme RNN
8
Input dan Output
Kata “anggrek” adalah kata ke-134 dalam kosa kata
(vocabulary) yang besarnya 8,000 kata. Maka hot vector untuk
merepresentasikan kata “anggrek” sebagai xt adalah:
Output pada tiap langkah waktu (ŷt) berupa vektor juga.
Dalam aplikasi translasi bahasa, output adalah probabilitas
dari masing-masing kata dalam kosa kata untuk menjadi ŷt:
9
Forward Propagation
Untuk setiap langkah waktu t, pertama kita
kalkulasi state st dari input (xt) dan state
sebelumnya (st-1),
Dari st kemudian dikalkulasi output ŷt
10
Dimensi
Ketika mendesain RNN, kita harus menentukan ada berapa unit dalam
hidden layer kita untuk menyimpan state. Misalkan kita set 100 unit.
Dengan 8000 kata dalam kosa kata, maka dimensi-dimensi dari input,
output, dan parameter-parameter adalah:
11
Loss Function
Untuk tiap sampel di tiap langkah waktu, fungsi loss-nya didefinisikan sebagai:
Simbol Tx menyatakan jumlah sampel dalam input, sehingga kalkulasi di atas
pada dasarnya adalah menjumlahkan kesalahan prediksi dari tiap sampel
untuk tiap sampel dalam input.
Tujuan dari training adalah untuk menemukan parameter U, V, dan W sehingga
nilai loss di atas mencapai minimum
12
Backpropagation Through Time
Dalam SGD, kita mengiterasi seluruh sampel dan dalam tiap iterasi
parameter U, V, dan W digeser sedikit ke suatu arah yang mengecilkan
loss. Arah untuk masing-masing parameter ditentukan oleh gradiennya.
Karena parameter U, V, dan W mengandung kalkulasi dari langkah waktu
langkah waktu sebelumnya, maka untuk mengalkulasi gradien pada
langkah waktu t, kita harus menghitung turunannya pada langkah waktu
t-1, t-2, t-3, dan seterusnya sampai titik awal (t=1)
*ini tidak perlu dipikirkan karena akan ditangani framework
13
Kasus: Simple Machine Translation en -
fr
Vocab english :
[Link]
mall_vocab_en
Vocab france :
[Link]
14
mall_vocab_fr
Code Time
Contoh code RNN dapat diakses di
[Link]
DZ2DwN5L13pfRBi-rcT2?usp=sharing
15
Tugas
16
Tidak ada tugas yang dikumpulkan!!!
“Eksplorasi lebih terkait RNN,
LSTM dan GRU”
17
THANKS
Do you have any questions?
CREDITS: This presentation template was created by
Slidesgo, including icons by Flaticon, and
infographics & images by Freepik
Please keep this slide for attribution
18