Neural Network
Gibtha Fitri Laxmi
Example of Neural Network
How are Neural Networks Used
+Network architecture,
+Methods of setting the weights, and
+Activation function
1. Architectures
+Neurons arranged in a layer there are three types of layer : input
layer, hindden layer, and output layer.
+net architecture : the arrangement of neurons into a layers and
the connection patterns within and between layers
+Neural nets are classified as single layer and multiple layer
neurons in a layer have the same activasi function.
+in the input layer : fungsi aktivasinya adalah fungsi indentitas,
sehingga output dari input neuron = nilai signal input
Example :
Setting the weights
+dengan pengarahan : dilakukan dengan menyajikan secara berurut
pola-pola (vektor) latihan-masukan bersama dengan vektor target-
keluaran yang berkaitan.
+tanpa-pengarahan : jaringan akan membuat beberapa unit
kelompok.
+vektor masukan akan dikelompokan akan diperoleh vektor baru
sebagai pewakil kelompoknya.
+bobot selalu diperbaharui sehigga vektor yang mirip akan
sekelompok. ada juga jaringan dengan bobot tetap.
Activation functions
+neuron pada unit yang sama akan mempunyai fungsi aktivasi
yang sama
+ada beberapa fungsi aktivasi :
+fungsi identitas
+fungsi tangga biner
+fungsi sigmoid
+fungsi sigmoud bipolar
Example :
Feedforward vs Backpropagation
Proses aliran data dari input ke output dalam jaringan Algoritma untuk melatih jaringan saraf dengan
saraf. memperbarui bobot berdasarkan kesalahan (error) antara
keluaran prediksi dan keluaran yang diharapkan.
Cara Kerja :
Cara Kerja:
+ Data input diberikan ke lapisan pertama (input layer).
+ Hitung error antara output aktual dan target
+ Data ini diproses melalui bobot dan fungsi aktivasi di menggunakan fungsi loss.
setiap lapisan (hidden layer).
+ Distribusikan (propagate) error ini ke belakang melalui
+ Hasil akhirnya dihasilkan di lapisan terakhir (output jaringan, dari output layer ke hidden layers hingga input
layer). layer.
Tujuan: Menghasilkan keluaran (prediksi) berdasarkan + Perbarui bobot menggunakan algoritma optimisasi
input yang diberikan. (misalnya, Gradient Descent) untuk meminimalkan error.
Sifat: Proses ini hanya bergerak maju (tidak ada Tujuan: Melatih jaringan agar dapat menghasilkan prediksi
pembaruan bobot). yang lebih akurat.
Aplikasi: Digunakan saat jaringan saraf sedang diuji atau Sifat: Proses ini melibatkan gerakan bolak-balik (error
diimplementasikan untuk memberikan prediksi/output. mundur untuk update bobot).
Aplikasi: Digunakan selama proses pelatihan jaringan saraf.
Feedforward digunakan dalam pelatihan untuk menghitung output awal dan error, sementara backpropagation
menggunakan error tersebut untuk memperbarui bobot, sehingga feedforward diikuti oleh backpropagation dalam
setiap iterasi pelatihan jaringan.
Example Feedforward
Backpropagation
Fungsi Aktivasi
fungsi diharapkan memenuhi seperti pendekatan batas nilai maksimum dan minimum secara
asimtot.
+Sigmoid Biner [0,1]
+Sigmoid Bipolar [-1, 1]
+
Langkah-langkah
Langkah 0 : Inisialisasi nilai bobot dengan nilai acak yang kecil.
Langkah 1 :Selama kondisi berhenti masih tidak terpenuhi, laksanakan
langkah 2 sampai 9.
Langkah 2 : Untuk tiap pasangan pelatihan, kerjakan langkah 3 sampai 8.
Feedforward :
Langkah 3 : Untuk tiap unit input (Xi, i=1,...,n) menerima sinyal input xi dan
menyebarkan sinyal itu keseluruh unit pada lapis atasnya (lapis tersembunyi)
Langkah 4 : Untuk tiap unit tersembunyi (Zj, j=1,...,p) dihitung nilai input
dengan menggunakan nilai bobotnya :
Langkah-Langkah (2)
Langkah 5 : Untuk tiap unit output (Yk, k=1,..,m) dihitung nilai
input dengan menggunakan nilai bobot-nya :
Perhitungan nilai kesalahan :
+ Langkah 6 : Untuk tiap unit output (Yk, k=1,..,m) menerima pola target yang
bersesuaian dengan pola input, dan kemudian dihitung informasi kesalahan :
+ Kemudian dihitung koreksi nilai bobot yang kemudian akan digunakan untuk
memperbaharui nilai bobot wjk. :
+ Hitung koreksi nilai bias yang kemudian akan digunakan untuk memperbaharui
nilai w0k :
+ dan kemudian nilai 𝛿k dikirim ke unit pada lapis sebelumnya.
Perhitungan nilai kesalahan :
Memperbaharui nilai bobot dan bias :
+Langkah 8 : Tiap nilai bias dan bobot ( j=0,...,p) pada unit output
(Yk, k=1,...,m) diperbaharui :
+Langkah 9 : Menguji apakah kondisi berhenti sudah terpenuhi.
Kondisi berhenti ini terpenuhi jika nilai kesalahan yang
dihasilkan lebih kecil dari nilai kesalahan referensi.
Pembaharuan Bobot
+Untuk pembaharuan nilai bobot terdapat tambahan metode yang
dapat digunakan yaitu dengan menggunakan momentum yang
didasarkan pada kombinasi antara gradien sekarang dengan gradien
yang lalu.
+Guna : jika terdapat beberapa data pelatihan yang sangat berbeda
dari mayoritas data pelatihan yang lain.
+Untuk menggunakan momentum ini, nilai bobot dari satu atau lebih
lapis sebelumnya harus disimpan.
+Persamaan pembaharuan nilai bobot dengan menggunakan
momentum ialah :
Homework