Seminar Tesis

SYARIFAH DIANA PERMAI (1311 201 202)

Dosen Pembimbing :
Dr. Brodjol Sutijo Suprih Ulama, [Link]
Prof. Drs. Nur Iriawan, [Link], Ph.D
 Latar Belakang
Nirwana, et al (2013)

IPCC (2007)
Mintarsih (1993)

BMKG Juanda (Rakyat Merdeka Online, 2011)

• Dilanda kenaikan suhu

ekstrem, sehingga
Suhu Global menjadi kota terpanas
0.74 ± 0.18 oC di Indonesia
• radiasi balik dari
matahari yang tidak
bisa keluar
Purnomo dan Rizal (2000)
1
Seminar Tesis Bayesian Neural Network
 Neural Network
Zhang ,et al (2001)
• Non linier
Anders dan Korn (1996)
• Pemilihan input dan Lagrange Multiplier Test
hidden

• Doan dan Liong (2004) Bayesian Learning

Sering terjadi overfitting
• Mencegah Overfitting
• Penggunaan distribusi
Early Pendekatan prior yang tepat
Stopping Bayesian
(Neal, 1996)

2
Seminar Tesis Bayesian Neural Network
 Penelitian sebelumnya

• Zhang, et al (2001) melakukan simulasi dan dianalisis

dengan NN

NN • Lucio, et al (2007) yang meneliti kasus curah hujan di Rio

Grande do Sul, Brazil
• Machmudin dan Ulama (2012) dengan membandingkan
antara metode ARIMA dan Artificial Neural Network (ANN)

• Mackay (1995) menerapkan metode Bayesian pada model

Neural Network untuk analisis beban energi
BNN • Zhang, et al (2011) dengan menggunakan metode
Bayesian Neural Network untuk memprediksi debit air
sungai harian

3
Seminar Tesis Bayesian Neural Network
 Perumusan Masalah Tujuan Penelitian

1. Memodelkan dan meramalkan

1. Bagaimana pemodelan dan temperatur di Surabaya
peramalan temperatur di Surabaya menggunakan Artificial Neural
menggunakan Artificial Neural Network.
Network.
2. Memodelkan dan meramalkan
2. Bagaimana pemodelan dan temperatur di Surabaya
peramalan temperatur di Surabaya menggunakan pendekatan
menggunakan pendekatan Bayesian pada model Artificial
Bayesian untuk model Artificial Neural Network.
Neural Network.

4
Seminar Tesis Bayesian Neural Network
 Manfaat Penelitian

• Untuk mengembangkan wawasan statistika khususnya

pendekatan Bayesian pada metode Neural Network.
• Memberikan masukan kepada BMKG dalam
memodelkan dan meramalkan temperatur di Surabaya.

Batasan Penelitian

• Mempertimbangkan pengaruh temperatur antar stasiun

dan tanpa mempertimbangkan variabel lain yang
mempengaruhi temperatur.
• Fungsi aktivasi dari input ke hidden adalah logistik sigmoid
dan dari hidden unit ke output unit menggunakan fungsi
aktivasi linier.

5
Seminar Tesis Bayesian Neural Network
 Artificial Neural Network
(Fausett, 1994)
x1
w1
y
f
w2

x2

Input unit Output unit

Fungsi Aktivasi

Fungsi Linier Fungsi Step Fungsi Sigmoid Fungsi Sigmoid

Activation
Biner Biner Bipolar
Activation

Net Input
Net Input
θ

g(a) = a

6
Seminar Tesis Bayesian Neural Network
 1 1

w0j b0k

x1 s1

. .
. .
. .

xp sH
bjk
wij
Input unit Hidden unit Output unit

Backpropagation

(Bishop, 1995)
Levenberg Marquardt

7
Seminar Tesis Bayesian Neural Network
 Bayesian Neural Network
1 1

w0j b0k

x1 s1
w ∼ Np (µw , τw)
. .
. .
. .

xp sH
bjk
b ∼ Np (µb , τb)
wij
Input unit Hidden unit Output unit

Multilayer Perceptrons

(Zhang, et al, 2011) White (1989)

8
Seminar Tesis Bayesian Neural Network
 Integrasi
distribusi posterior

w b Marginal posterior

MCMC

Integrasi secara
Directed Acyclic Graph untuk Prior Neural Network
numerik

Muller dan Insua (1998)

(Iriawan, et al, 2010)

9
Seminar Tesis Bayesian Neural Network
 Sumber Data dan Variabel Penelitian

• Data sekunder dari Badan Meteorologi, Klimatologi dan

Geofisika (BMKG) Perak & Juanda Surabaya
• Variabel Penelitian : Temperatur Kota Surabaya tahun
2001-2012
Struktur Data
Tahun Bulan Perak Juanda
Januari
Februari
Perak 2001
... In sample
Desember
... ...
Januari

Juanda 2012
Februari Out of
... sample
Desember

10
Seminar Tesis Bayesian Neural Network
 Metode Analisis
1. Eksplorasi data
a. Uji deteksi non linier  White Test
b. Membuat plot MPACF
c. Penentuan input optimum  Lagrange Multiplier Test
2. Pemodelan ANN
a. Menetukan arsitektur FFNN
b. Menetapkan epoh maksimum dan target error
c. Estimasi parameter pada model ANN dengan update
parameter menggunakan backpropagation dengan algoritma
Levenberg Marquardt.
d. Menghitung output
e. Menghitung kriteria pemilihan model terbaik
f. Melakukan peramalan temperatur untuk data out of sample

11
Seminar Tesis Bayesian Neural Network
 3. Pemodelan ANN dengan pendekatan Bayesian
a. Pemeriksaan distribusi data temperatur
b. Menentukan arsitektur FFNN
c. Memilih distribusi prior yang sesuai
d. Menentukan likelihood
e. Estimasi parameter dengan generate sample berdasarkan
joint posterior secara full conditional menggunakan MCMC
f. Menghitung output
g. Menghitung kriteria pemilihan model terbaik
h. Melakukan peramalan temperatur untuk data out of sample

12
Seminar Tesis Bayesian Neural Network
 HASIL DAN PEMBAHASAN
Minimu Maximu
Variable Mean Median StDev Skewness
m m
Perak 28.932 28.900 0.856 27.000 31.300 0.54
Juanda 27.992 28.050 1.233 23.600 30.300 -0.67

Boxplot of Perak; Juanda Time Series Plot of Perak; Juanda

32 32 Variable
31,3 31,3 Perak
31 31 Juanda

30 30

29 29

28 28

Data
Data

27
27
26
26
25
25
24
24
23,6 23,6
23
23 Month Jan Jan Jan Jan Jan Jan Jan Jan Jan Jan
Perak Juanda Year 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010

13
Seminar Tesis Bayesian Neural Network
tabel
sebesar 5.99146.

Deteksi Non linier

Scatterplot of Perak vs Juanda

31

30

Perak
29

28

27

23 24 25 26 27 28 29 30 31
Juanda
= 5.99146
Y X p-value Kesimpulan

Y1 t-1 2.5187 0.2838 Linier

Y1 t
Y2 t-1 14.9914 0.0005555 Non linier
Y1 t-1 0.3462 0.841 Linier
Y2 t
Y2 t-1 6.2587 0.04375 Non linier

14
Seminar Tesis Bayesian Neural Network
 Pemilihan Input ANN
Name/Lag 1 2 3 4 5 6 7 8 9 10
Perak +- -- -. .. .. .. -. .. .. ..
Juanda .+ -. .+ .. .. .. -. .. .- ..

Model Variabel Input Respon Residual R2 nR2

1 Y2 t-1 e1 t 0.9990
Y1 t-2 Y 1 t , Y2 t 0.998913
Y1 t-7 0.998686
2 Y2 t-1 , Y1 t-2 e1 t 0.2868 67.6930
Y2 t-1 , Y1 t-2 Y 1 t , Y2 t e2 t 0.9996
3 Y1 t-1 , Y2 t-1 , Y1 t-2 e2 t 0.8045 189.8732
Y1 t-1 , Y2 t-1 , Y1 t-2 Y 1 t , Y2 t e3 t 0.999999890
4 Y1 t-1 , Y2 t-1 , Y1 t-2, Y2 t-2 e3 t 0.6892 162.6480
Y1 t-1 , Y2 t-1 , Y1 t-2, Y2 t-2 Y 1 t , Y2 t e4 t 0.999999897
5 Y1 t-1 , Y2 t-1 , Y1 t-2, Y2 t-2, Y1 t-3 e4 t 0.00007495 0.017538
6 Y1 t-1 , Y2 t-1 , Y1 t-2, Y2 t-2, Y2 t-3 e4 t 0.00003216 0.007525
7 Y1 t-1 , Y2 t-1 , Y1 t-2, Y2 t-2, Y1 t-7 e4 t 0.00002736 0.006182

15
Seminar Tesis Bayesian Neural Network
 Pemodelan ANN
Jumlah Kriteria In sample Kriteria Out of sample
neuron
hidden AIC SBC RMSE MAPE

1 31.5271 131 0.8691 3

2 -21.2832 156.0406 0.6836 1.8308

3 13.4456 268.3486 0.8328 2.1716

4 56.7177 389.1998 0.739 1.8415

5 128.8543 538.9157 0.6679 1.8519

6 183.3361 670.9766 0.6888 1.8862

7 212.7331 777.9528 0.7339 1.9672

8 325.5165 968.3153 0.8604 2.2251

9 354.6526 1075 0.7744 1.9928

10 517.657 1315.6 0.7236 2.1442

16
Seminar Tesis Bayesian Neural Network
 1 1.6096
1

-0.6375
0.5477
Y1 t-1 -0.0248

-0.802 1.0048
-1.0243
-2.9509
Y2 t-1
-0.2050
-0.0545

-0.8402
0.5906
Y1 t-2
0.1792 1.9069

-0.7857
0.4477
Y2 t-2

Input unit Hidden unit Output unit

17
Seminar Tesis Bayesian Neural Network
 Pemeriksaan Distribusi
H0 : Data temperatur berdistribusi Normal
H1 : Data temperatur tidak berdistribusi Normal

Critical
Statistik P-Value Rank
Value
Perak 0.09109 0.25642 26 0.12397
Juanda 0.06203 0.72123 8 0.12397

18
Seminar Tesis Bayesian Neural Network
 Bayesian Neural Network
• hyperparameter pada prior
• w ~ Np(µw , τw)
µw berdistribusi Normal Multivariate
τw berdistribusi Wishart
• b ~ Np(µb , τb)
µb berdistribusi Normal Multivariate
τb berdistribusi Wishart

19
Seminar Tesis Bayesian Neural Network
 Y1 t-1
-0.0727
-0.295
37.27

-0.0187
Y2 t-1 37.53

2.836

-0.1753
0.0197
Y1 t-2
-2.825 -1.716

0.0278

1.182
Y2 t-2

Input unit Hidden unit Output unit

20
Seminar Tesis Bayesian Neural Network
 node mean sd 2.5% 97.5%
sigma 0.6958 0.07986 0.5672 0.8707
b[1,1] 37.27 2.123 33.37 41.52 Kriteria In sample
b[1,2] 37.53 2.276 33.09 42.08
AIC = -101.74
b[2,1] -0.1753 15.6 -11.53 14.83
b[2,2] -1.716 13.95 -9.932 14.17 SBC = -68.49
w[1,1] -0.07272 0.01618 -0.1109 -0.04766
w[1,2] -0.295 1.291 -1.141 4.03 Kriteria Out of sample
w[2,1] -0.01873 0.0222 -0.07401 0.01799
w[2,2] 2.836 0.8669 0.6919 3.673
RMSE = 0.6947
w[3,1] 0.01971 0.02143 -0.02019 0.06361 MAPE = 2.47.
w[3,2] -2.825 2.127 -3.961 4.616
w[4,1] 0.02778 0.01292 0.001411 0.05607
w[4,2] 1.182 1.253 0.4298 4.575

21
Seminar Tesis Bayesian Neural Network
 KESIMPULAN DAN SARAN
1. Input yang optimum dari LM Test yaitu Y1 t-1, Y2 t-1, Y1 t-2 dan Y2 t-2.
Analisis Artificial Neural Network diperoleh AIC sebesar -21.2832
dan SBC sebesar 156.0406. Sedangkan kriteria out of sample
diperoleh RMSE sebesar 0.6836 dan MAPE sebesar 1.8308.

2. Hasil analisis Bayesian untuk ANN pada data temperatur dengan

empat input, dua hidden dan dua output diperoleh nilai kriteria in
sample AIC dan SBC sebesar -101.74 dan -68.49 dan kriteria out
of sample RMSE dan MAPE sebesar 0.6947 dan 2.47.

Pada analisis ANN dengan Pendekatan Bayesian dapat dicoba

menggunakan prior lain yang mungkin bisa memperoleh prediksi yang
lebih baik.

22
Seminar Tesis Bayesian Neural Network
 Daftar Pustaka
Anders, U., Korn, O. 1996. Model Selection in Neural Network. ZEW Discussion Papers, No. 96-21.
Bishop, C. M. 1995. Neural Network for Pattern Recognition. Clarendon Press Oxford : UK.
Box, G. E. P., Tiao, G. C. 1992. Bayesian Inference in Statistical Analysis. John Willey And Sons, Inc : New York.
Brooks, C. 1996. Testing for Non-Linearity in Daily Sterling Axchange Rate. Applied Financial Economics, 6, 307-317.
Carlin, B. P. 1992. A SimpleMonte Carlo Approach to Bayesian Graduation. Transactions of the Society of Actuaries
XLIV, pp. 55–76.
Casella, G., George, I. E. 1992. Explaning The Gibbs Sampler. Journal of The American Statistical Association. Vol.46
No.3, pp.167-174.
Dewanti, F., D. 2012. Pengaruh Suhu Terhadap Tanaman. E-Learning Ekologi Tanaman Universitas Pembangunan
Nasional Veteran Jawa Timur. [[Link]
Doan, C. D., Liong, S. Y. 2004. Generalization For Multilayer Neural Network Bayesian Regularization or Early
Stopping. Asia Pasific Association of Hydrology and Water Resources : The 2nd APHW Conference.
Fausett, L. 1994. Fundamentals of Neural Network: Architectures, Algorithms, and Application. Prentice-Hall, Inc :
United States of America.
Gunter, F., Fritsch, S. 2010. Neuralnet: Training of Neural Networks. The R Journal, Vol. 2/1, June 2010, pp. 30-38.
IPCC. 2007. Climate Change 2007: Synthesis Report, Contribution of Working Groups I, II, and III to the Fourth
Assessment Report of the Intergovernment Panel on Climate Change. IPCC : Geneva, Switzerland.
Iriawan, N., Astutik, S., Prasetyo, D. D. 2010. Markov Chain Monte Carlo – Based Approaches for Modeling the Spatial
Survival with Conditional Autoregressive (CAR) Fraity. International Journal of Computer Science and Network
Security, Vol.10 No.12, pp.211-216.

23
Seminar Tesis Bayesian Neural Network
 Islam, A. S. 2009. Analyzing Change of Temperature Over Bangladesh Due to Global Warming Using Historic Data.
Young Scientists of Asia Conclave, Jawaharlal Nehru Centre for Advanced Scientific Research (JNCASR) :
Jakkur, Bangalore.
Kaashoek, J. F., Van Dijk, H. K. 2002. Neural Network Pruning Applied to Real Exchange Rate Analysis. Journal of
Forecasting, Vol. 21, pp. 559-577.
Kisi, O., Uncuoglu, E. 2005. Comparison of Three Back-propagation Training Algorithms for Two Case Studies. Indian
Journal of Engineering & Materials Sciences, Vol. 12, October 2005, pp. 434-442.
Kusumadewi, S. 2004. Membangun Jaringan Syaraf Tiruan Menggunakan Matlab dan Excel Link. Graha Ilmu :
Yogyakarta.
Kvalevag, M. M. 2009. Climate Effects of Land Use Changes And Anthropogenic Impact On Surface Radiation. Series
of Dissertations Submitted to The Faculty of Mathemathics and Natural Sciences, University of Oslo, Norway.
ISSN 1501-7710.
Lee, T-H., White, H., Granger, C. W. J. 1993. Testing For Neglected Nonlinearity In Time Series Models. Journal of
Econometrics, 56 (1993) 269-290, North-Holland.
Lucio, P. S., Conde, F. C., Cavalcanti, I. F. A., Serrano, A. I., Ramos, A. M., Cardoso, A. O. 2007. Spatiotemporal
Monthly Rainfall Reconstruction Via Artificial Neural Network – Case Study: South of Brazil. Adv. Geosci, Vol.10,
pp.67-76.
Machmudin, A., Ulama, B. S. S. 2012. Peramalan Temperatur Udara di Kota Surabaya Dengan Menggunakan ARIMA
Dan Artificial Neural Network. Jurnal Sain dan Seni ITS Vol.1 No.1, pp.D118-D123.
Mintarsih, E. R. 1993. Pengaruh Suhu dan Kelembaban Udara Secara Alamiah Terhadap Jangka Hidup Nyamuk
Aedes Aegypti Betina (Penelitian Di Kotamadya Salatiga dan Semarang). Laporan Skripsi Epidemiologi dan
Penyakit Tropis Fakultas Kesehatan Masyarakat Universitas Diponegoro : Semarang.
Muller, P., Insua, D. R. 1998. Issue in Bayesian Analysis of Neural Network Models. Neural Computation, Vol.10,
pp.571-592.
Neal, R. M. 1996. Lecture Notes in Statistics: Bayesian Learning for Neural Network. Springer : New York.
Nirwana, T., Raksanagara, A., Afriandi, I. 2013. Pengaruh Curah Hujan, Temperatur dan Kelembaban Terhadap
Kejadian Penyakit DBD, ISPA dan Diare: Suatu Kajian Literatur. Pustaka Ilmiah Universitas Padjadjaran :
Bandung.

24
Seminar Tesis Bayesian Neural Network
 Purnomo, H., Rizal. 2000. Pengaruh Kelembaban, Temperatur Udara dan Beban Kerja terhadap Kondisi Faal Tubuh
Manusia. Logika, Vol.4 No.5, ISSN: 1410-2315, pp.35-47.
Rakyat Merdeka Online. 2011. Surabaya Jadi Kota Terpanas, edisi tanggal 28 November 2011 diakses 11 Februari
2013 di situs [[Link] read/2011/11/28/47096/Surabaya-Jadi-Kota-Terpanas-]
Samadi. 2006. Geografi. Yudhistira : Yogyakarta.
SAS. 2010. SAS/ETS 9.22 User’s Guide. SAS Institute, Inc : United States of America.
Scollnik, D. P. M. 2011. An Introduction To Markov Chain Monte Carlo Methods And Their Actuarial Applications.
Handbook of Markov Chain Monte Carlo Chapter 1 pp.114-165 : Chapman & Hall/CRC Handbooks of Modern
Statistical Method.
Siang, J. J. 2005. Aplikasi Jaringan Syaraf Tiruan dan Pemrograman Menggunakan Matlab. Andi Yogjakarta :
Yogjakarta.
Sivanandam, A. S., Sumathi, S., Deepa, S. N. 2006 Introduction To Neural Networks Using Matlab 6.0. McGraw Hill :
New Delhi.
Suhartono. 2007. Feed Forward Neural Network untuk Pemodelan Runtun Waktu. Disertasi Universitas Gajah Mada
Yogyakarta.
Surabaya. 2013. Geografi Kota Surabaya. Diakses 11 Februari 2013 di situs resmi pemerintah kota Surabaya
[[Link]
Wei, W. W. S. 2006. Time Series Analysis: Univariate and Multivariate Method Second Edition. Pearson Education, Inc
: United States of America.
White, H. 1989. Learning in Artificial Neural Networks: A Statistical Perspective. Neural Computation, Vol. 1, pp. 425-
464.
Yu, H., Wilamowski, B. M. 2010. Fast and Efficient and Training of Neural Networks. Proc. 3nd IEEE Human System
Interaction Conf. HSI 2010, Rzeszow, Poland, May 13-15, 2010, pp. 15-22.
Zhang, G. P, Patuwo, B. E., Hu, M. Y. 2001. A Simulation Study od Artificial Neural Networks for Nonlinear Time Series
Forecasting. Computer & Operations Research, 28, 381-396.
Zhang, X., Liang, F., Yu, B., Zong, Z. 2011. Explicity Integrating Parameter, Input, and Structure Uncertainties Into
Bayesian Neural Networks For Probabilistic Hydrologic Forecasting. Journal of Hydrology Vol.409, pp.696-709.

25
Seminar Tesis Bayesian Neural Network
 26
Seminar Tesis Bayesian Neural Network
Seminar Tesis
SYARIFAH DIANA PERMAI (1311 201 202)

Dosen Pembimbing :
Dr. Brodjol Sutijo Suprih Ulama, [Link]
Prof. Drs. Nur Iriawan, [Link], Ph.D
 Over-fitting

Over-fitting

28
Seminar Tesis Bayesian Neural Network