Recurrent Neural
Network (RNN)
(AI)
Table of contents
01 Apa itu RNN?
02 Arsitektur RNN
03 Contoh RNN Dalam Memprediksi Teks
04 Kelebihan dan Kelemahan RNN
01
Apa itu Recurrent Neural
Network?
(AI)
(RNN) = Recurrent Neural Network
Sebuah jaringan saraf rekuren (RNN) adalah
jenis jaringan saraf buatan yang menggunakan
data urutan atau data time series. Algoritma
deep learning ini umumnya digunakan untuk
masalah ordinal atau temporal, seperti
terjemahan bahasa, pemrosesan bahasa alami
(natural language processing/NLP),
pengenalan suara, dan caption gambar.
Implementasi RNN
Mesin Penjermahan
Sentiment Analysis
Image Captioning
Meprediksi Harga sesuai Data
Memprediksi Cuaca
Tipe Recurrent Neural Network
● One to Many : Tipe dari RNN yang dapat menghasilkan beberap output atas satu
input. Tipe ini banyak diaplikasikan pada caption gambar.
Tipe Recurrent Neural Network
● Many to One : adalah jenis many to one yang dapat menerima banyak input
untuk menghasilkan satu output saja. Jenis ini paling sering digunakan untuk
menentukan sentiment analisis berdasarkan emosi negative, netral, atau positif.
● Many to Many: Type terakhir yang dapat menerima banyak input dengan
beberapa opsi output yang ditentukan berdasarkan urutan. Jenis ini banyak
digunakan dalam mesin Penerjemahan.
Fungsi Aktivasi
● Funsgi Sigmoid : Fungsi sigmoid umumnya digunakan dalam RNN. Ini
memiliki rentang antara 0 dan 1, yang membuatnya berguna untuk tugas
klasifikasi biner. σ(x) = 1 / (1 + e^(-x))
● Hyperbolic Tangent (Tanh) Function: Fungsi tanh juga biasa digunakan di RNN. Ini
memiliki rentang antara -1 dan 1, yang membuatnya berguna untuk tugas
klasifikasi non-linear.
tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x))
● Rectified Linear Unit (Relu) Function: Fungsi tanh juga biasa digunakan di RNN. Ini
memiliki rentang antara -1 dan 1, yang membuatnya berguna untuk tugas
klasifikasi non-linear.
ReLU(x) = max(0, x)
Fungsi Aktivasi
● Leaky Relu Function: Fungsi Leaky ReLU mirip dengan fungsi ReLU, tetapi
memperkenalkan kemiringan kecil ke nilai negatif, yang membantu
mencegah "neuron mati" dalam model.
Leaky ReLU(x) = max(0.01x, x)
● Softmax Function: Fungsi softmax sering digunakan pada lapisan keluaran
RNN untuk tugas klasifikasi multi-kelas. Itu mengubah output jaringan
menjadi distribusi probabilitas atas kelas yang mungkin.
softmax(x) = e^x / ∑(e^x)
02
Arsitektur RNN
(AI)
Types of artificial intelligence
RNN bekerja berdasarkan prinsip
menyimpan keluaran dari lapisan
tertentu dan mengumpankannya
kembali ke masukan untuk
memprediksi keluaran dari lapisan
tersebut.
Di sebelah ini adalah bagaimana
dapat mengonversi Jaringan Neural
Feed-Forward menjadi Jaringan
Neural Berulang:
Ada beberapa hal yang perlu diperhatikan, yaitu:
Hidden state, st, sebagai memori dari network (jaringan). st merekam informasi yang terjadi pada time step
sebelumnya. Output step, ot, dihitung hanya berdasarkan setiap waktu t di dalam memori. Namun pada
praktiknya, seringkali st tidak dapat menangkap informasi dari time step yang terlalu banyak dilalui.
Tidak seperti deep neural network biasa yang menggunakan parameter berbeda setiap layer-nya, RNN justru
membagi sama rata parameter (U, V, W di atas) di semua langkahnya. Hal ini berarti semua menjalankan
tugas yang sama di setiap step-nya.
Pada diagram di atas memiliki output pada setiap time step-nya, tetapi bergantung pada tugas yang tidak
diperlukan. Misalnya, ketika memprediksi sentimen pada sebuah kalimat kita mungkin hanya perlu melihat
output akhirnya saja, tidak perlu melihat sentimen setiap katanya. Demikian pula, kita tidak memerlukan
input pada setiap time step-nya. Namun perlu diingat kembali bahwa fitur utama dari RNN adalah hidden
layer, yang menangkap informasi dari setiap sekuens.
Jenis Jenis Arsitektur RNN
(a) Bidirectional recurrent neural networks (BRNN)
Ini adalah jenis arsitektur jaringan RNN yang dapat memasukkan data masa depan untuk
meningkatkan akurasi prediksi.
(b) Long short-term memory (LSTM)
adalah arsitektur RNN populer yang diperkenalkan oleh Sepp Hochreiter dan Juergen
Schmidhuber sebagai solusi untuk masalah gradient yang menghilang.
. (c) Gated recurrent units (GRUs)
Varian RNN ini mirip dengan LSTM karena juga bekerja untuk menangani masalah
memori jangka pendek pada model RNN.
03
Contoh RNN Dalam
Memprediksi Teks
(AI)
Keterangan Notasi
● x = input
● h = hidden
● Y = output
● xh = input to hidden
● hh = hidden to hidden
● Hy = hidden to output
Pseudocode
Prediksi Teks
Asumsi bahwa prediksi
teks terakhir dari
kalimat “saya belajar
matematika di ….”.
Proses prediksinya
melalui “Embbeding”
setiap kata menjadi
feature-vector seperti
saya =
0.12 0.37 0.5 …
Dari process
melalui RNN
dengan baik maka
akan prediksi kata
rumah. Namun,
output dari
feature vector
dapat di konversi
Kembali ke
teks/kata.
Pseudocode
04
Kelebihan dan
Kelemahan RNN
(AI)
Kelebihan dari RNN
(+) Algoritme RNN dimodelkan untuk menyimpan setiap bagian data secara berurutan,
yang sangat berguna untuk tugas peramalan deret waktu.
(+) RNN dapat digunakan di lapisan konvolusi untuk memperluas piksel tetangga saat
melakukan pengenalan gambar.
(+) RNN dapat memproses input dengan panjang berapa pun. Meskipun ukuran
inputnya lebih besar, ukuran model RNN tidak bertambah.
(+) RNN dapat menggunakan memori internal untuk memproses sekuens input arbitrer
yang tidak ditemukan di jaringan saraf feedforward.
Kekurangan dari RNN
(-) Karena sifatnya yang berulang, proses perhitungan
menjadi lambat.
(-) Melatih model RNN bisa menjadi tugas yang sulit.
(-) Tidak dapat menangani urutan yang sangat panjang
dengan tanh atau relu sebagai fungsi aktivasi.
Terima Kasih!
Pertanyaan?