Bayesian Belief Network (BBN)

By Fajar Astuti Hermawati

DASAR TEORI DAN PENGERTIAN
 Independensi Bersyarat

• Dua buah kejadian A dan B dikatakan independen jika dan hanya

jika:
– P(A∩B) = P(A). P(B)
– P(A|B) = P(A)
– P(B|A) = P(B)
• Dua kejadian A dan B dikatakan independen bersyarat jika dan
hanya jika
– P(A|B,C) = P(A|C)
– P(B|A,C) = P(B|C)
– P(A∩B|C) = P(A|C).P(B|C)
 Contoh Independensi Bersyarat

• X= adalah kejadian X terlambat

• T = kejadian jalanan macet
• Y= adalah kejadian Y terlambat
• X dan Y dikatakan independen bersyarat terhadap T
 Penalaran Temporal Probabilistik

• Mekanisme penalaran temporal didasarkan pada

propagasi probabilitas dan memberikan waktu terjadinya
peristiwa atau perubahan keadaan dengan beberapa nilai
probabilitas.
 Bayesian Network

• Jaringan Bayesian (BN), juga dikenal sebagai jaringan

probabilistik, jaringan kausal atau jaringan kepercayaan,
adalah formalisme untuk mewakili ketidakpastian dengan
cara yang konsisten dengan aksioma teori probabilitas
(Pearl, 1988; Neapolitan, 1990).
 Bayesian Network

• Asumsi independen bersyarat dibuat oleh Naive bayes

classifier mungkin terlalu rapuh, khususnya untuk
masalah klasifikasi dengan atribut yang dihubungkan
dengan sesuatu.
• pendekatan BBN dapat menspesifikasi pasangan atribut
yang independen secara bersyarat.
REPRESENTASI MODEL
 Representasi Model (1)

• BBN direpresentasikan dalam bentuk Directed acyclic

graph (dag) mengencode hubungan ketergantungan
(dependen) antar himpunan variabel.
• Jaringan Bayesian (BN) adalah struktur grafis (grafik
asiklik terarah) yang terdiri dari simpul dan busur
• Tabel peluang mengasosiasikan tiap node ke node
orangtua selanjutnya.
 Representasi Model (2)

• Tiap node pada grafik merepresentasikan sebuah variabel, dan

tiap panah menyatakan hubungan dependen antara pasangan
variabel. Jika arah panah dari X ke Y , maka X adalah orangtua Y
dan Y adalah anak X. Selanjutnya jika terdapat path (jalur) dari X
ke Z, maka X adalah ancestor Z, sedang Z adalah descendant X.
Representasi Model (3)

• Perhatikan gambar diatas : tiga variabel

acak A,B , dan C dengan A dan B variabel
independen dan masing-masing memiliki
pengaruh langsung pada variabel ketiga C.
Sifat Bayesian Network (1)

• Properti 1 (independensi
bersyarat). Node pada
Bayesian network independen
secara bersyarat dengan non
descendant-nya, jika
orangtuanya diketahui.
• Contoh gambar A adalah
independen bersyarat dari B dan
D yang diberikan oleh C (orang
tua A) karena simpul B dan D
merupakan non-descendant dari
simpul A
Sifat Bayesian Network (2)
• Asumsi Independen
bersyarat yang dibuat
dengan Naive Bayes
dapat juga dinyatakan
menggunakan
Bayesian Network,
seperti pada gambar
(c), dimana y adalah
atribut target dan
{x1,x2,...,xd} adalah
himpunan atribut.
 Sifat Bayesian Network (3)

• Disamping kondisi independen bersyarat yang dikenakan

dengan topologi network, tiap node juga diasosiasikan
dengan tabel peluang.
– Jika node X tidak memiliki orangtua, maka tabel hanya berisi
peluang prior, P(x)
– jika node X hanya memiliki satu orangtua, Y , maka tabel berisi
peluang bersyarat, P(X|Y) .
– jika node X memiliki banyak orangtua {Y1,Y2,...,Yn} , maka
tabel berisi peluang bersyarat P(X|Y1,Y2,Y3,..Yn}.
Contoh Data Cuaca
Bayesian network untuk Data Cuaca
ATURAN PENALARAN
Chain Rule dalam BBN
P(A) P(B)
• P(ABCD)
A B
= P(D|ABC).P(ABC)
= P(D|C).P(ABC)
C P(C|A,B)
= P(D|C).P(C|AB).P(AB)
= P(D|C).P(C|AB).P(A).P(B)
D P(D|C)
 A

B C

• Menghitung probabilitas C, jika A dan B diketahui :

– P(C)= P(C|A).P(A) + P(C|~A).P(~A)
• Probabilitas bersyarat A karena kejadian C:
– P(A|C) = P(C|A).P(A) / P(C)
• Probabilitas bersyarat B karena C :
– P(B|C) = P(B|C,A).P(A|C) + P(B|C,~A).P(~A|C)
– P(B|C) = P(B|A). P(A|C) + P(B|~A).P(~A|C)
Contoh Bayesian Network
 Contoh
• Gambar memperlihatkan contoh Bayesian network untuk memodelkan
pasien heart disease atau masalah heartburn.
• Tiap variabel dalam diagram diasumsikan bernilai biner.
• Node orangtua untuk heart disease (HD) sesuai dengan faktor resiko yang
dapat menyebabkan penyakit, seperti Exercise (E) dan Diet (D).
• Node anak untuk heart disease bersesuaian dengan simptom penyakit,
seperti chest pain (CP) dan blood pressure (BP) tinggi.
• Sebagai contoh, diagram memperlihatkan bahwa heartburn (Hb) dapat
dihasilkan dari diet tidak sehat dan mendorong chest pain.
 Contoh
• Node dihubungkan dengan faktor resiko hanya berisi peluang
prior, di mana node untuk heart disease, heartburn dan symptom
yang bersesuaian berisi peluang kondisional.
• Contoh menghitung peluang bersyarat yg tdk terdapat pada tabel:
– P(Heart Disease = No|Exercise = No, Diet =Healthy)
– = 1 - P(Heart Disease = Yes|Exercise = No, Diet =Healthy)
– = 1 – 0.55 = 0.45.
 Contoh Inferensi :
Kasus 1 : tidak ada informasi prior
• Tanpa informasi sebelumnya, dapat ditentukan apakah seseorang memiliki
heart disease dengan menghitung peluang prior P(HD=Yes) dan P(HD=No).
Untuk menyederhanakan notasi,   Yes, No melambangkan nilai biner dari
Exercise dan   Healthy , Unhealthy  melambangkan nilai biner dari Diet.
PHD  Yes    PHD  Yes E   , D   PE   , D   
 
  PHD  Yes E   , D   PE   PD   
 

= 0.25 x 0.7 x 0.25 + 0.45 x 0.7 x 0.75 + 0.55 x 0.3 x 0.25 +

0.75 x 0.3 x 0.75
= 0.49

• Karena P(HD=no) = 1 - P(HD=yes)=0.51, orang tersebut besar kemungkinan

tidak terkena penyakit tersebut.
 Kasus 2a : tekanan darah tinggi
• Jika seseorang memiliki tekanan darah tinggi, dapat
dilakukan diagnosa penyakit hati dengan
membandingkan peluang posterior P(HD = Yes|BP=High)
dengan P(HD = No|BP=High). Untuk melakukan ini, harus
dihitung P(BP=High).
PBP  High   PBP  High HD   PHD   


= 0.85 x 0.49 + 0.2 x 0.51 = 0.5185.

• dengan   Yes, No. Oleh karena itu, peluang posterior
seseorang memiliki penyakit hati adalah :
PBP  High HD  Yes PHD  Yes 
PHD  Yes BP  High 
0.85 x0.49
  0.8033
PBP  High 0.5185
• Dengan cara yang sama, P(HD = No|BP=High) = 1 –
0.8033 = 0.1967. Oleh karena itu, ketika seseorang
memiliki tekanan darah tinggi, maka resiko terkena
penyakit hati akan meningkat.
 Kasus 2b : nyeri dada

• Jika seseorang sering mengalami nyeri dada, dapat dilakukan diagnosa penyakit
jantung dengan membandingkan peluang posterior P(HD = Yes|CP=yes) dengan
P(HD = No|CP=yes). Untuk melakukan ini, harus dihitung P(CP=yes).
PCP  yes    PCP  yes HD   PHD   


 P(CP  yes | HD  yes ) * P( HD  yes )  P(CP  yes | HD  no) * P( HD  no)

= 0.85 x 0.49 + 0.2 x 0.51 = 0.5185.

• dengan   Yes, No. Oleh karena itu, peluang posterior seseorang memiliki penyakit hati
adalah :
P CP  yes HD  Yes PHD  Yes 
P HD  Yes CP  yes  
0.85 x0.49
  0.8033
PCP  yes  0.5185

• Dengan cara yang sama, P(HD = No|BP=High) = 1 – 0.8033 = 0.1967. Oleh karena
itu, ketika seseorang memiliki tekanan darah tinggi, maka resiko terkena penyakit
hati akan meningkat.
 Kasus 3 : tekanan darah tinggi, diet sehat dan olahraga teratur

• Jika diberitahu bahwa orang tersebut melakukan olahraga teratur dan makan dengan pola
diet yang sehat. Bagaimana informasi baru mempengaruhi diagnosa? Dengan informasi
baru tersebut, peluang posterior bahwa seseorang terkena penyakit hati adalah :
PHD  Yes BP  High, D  Healthy, E  Yes 
 PBP  High HD  Yes, D  Healthy, E  Yes 

PBP  High D  Healthy, E  Yes 
 xPHD  Yes D  Healthy, E  Yes 
 

PBP  High HD  Yes PHD  Yes D  Healthy, E  Yes  0.85 x0.25

 
 PBP  High HD   PHD   D  Healthy, E  Yes  0.85 x0.25  0.2 x0.75

= 0.5862

• sedang peluang bahwa seseorang tidak terkena penyakit hati adalah :

• P(HD=No|BP=High, D=Healthy, E=Yes) = 1 – 0.5862 = 0.4138.
• Model tersebut selanjutnya menyatakan bahwa dengan pola makan sehat dan melakukan
olahraga teratur akan mengurangi resiko penyakit hati.
 Pembuatan Model

• Pembuatan model di dalam Bayesian network melibatkan

dua langkah berikut.
– Membuat struktur network.
– Mengestimasi nilai peluang di dalam tabel yang dihubungkan
dengan tiap node.
• Topologi network dapat diperoleh dengan mengencode
knowledge (pengetahuan) subyektif dari expert domain.
 Pembelajaran dari data

• Diberikan himpunan data

– D = {<v11,v21…vm1>, … <v1k,v2k,…,vmk>}
– Dimana k : banyaknya dataset dan m : banyaknya atribut
• Estimasi probabilitas kondisional :
– P(V1) = (jumlah V1=True) / k
– P(V3|V1) = Jumlah (V1=true)dan(V3=true) / Jumlah (V1 = true)
– P(V3|~V1) = jumlah(V3=true)dan(V1=False) / jumlah (V1=False)
Contoh
Habit (H) Bronchitis (B) Fatique (F) Chest-ray (C) Lung-Cancer(L)
ya Tidak Tidak positif Tidak
Tidak Ya Tidak Negative Tidak
Ya Tidak Tidak Positif Tidak
Tidak Ya Ya Positif Tidak
Ya Ya Tidak Positif Ya
Ya Ya ya Positif Ya
Tidak Tidak Ya Negative Tidak
Tidak Ya Tidak Positif Ya
Tidak Tidak Ya Positif Tidak
Tidak Ya Tidak Positif ya
 Penentuan Probabilitas Bersyarat & Probabilitas Prior

• Maka dengan menggunakan data training diatas kita dapat

menghitung probabilitas bersyarat dari setiap simpulnya yaitu
:
• Simpul H:
– P(H=ya) =
– P(H=tidak)= 1 – 0.4 = 0.6
• Simpul B
– P(B=ya|H=ya) =
– P(B=tidak|H=ya) = 1 – 0.5 = 0.5
– P(B=ya|H=tidak) =
– P(B=tidak|H=tidak) = 1–0.67= 0.33
 Penentuan Probabilitas Bersyarat & Probabilitas Prior

• Simpul H:
– P(H=ya) =
– P(H=tidak)= 1 – 0.4 = 0.6
• Simpul B
– P(B=ya|H=ya) =
– P(B=tidak|H=ya) = 1 – 0.5 = 0.5
– P(B=ya|H=tidak) =
– P(B=tidak|H=tidak) = 1–0.67= 0.33
 Karakteristik BBN
• BBN menyediakan pendekatan untuk menangkap pengetahuan
sebelumnya (prior knowledge) dari domain tertentu menggunakan
pemodelan grafis. Network juga dapat digunakan untuk mengenkode
dependensi kausal antar variabel.
• Membangun network dapat menghabiskan waktu dan memerlukan usaha
yang banyak. Bagaimanapun, ketika struktur network telah ditentukan,
menambahkan variabel baru dapat dilakukan secara langsung.
• Bayesian network sesuai untuk menangani data yang tidak lengkap.
Instansiasi dengan atribut yang hilang dapat ditangani dengan
menjumlahkan atau mengintegrasikan seluruh nilai atribut yang mungkin.
• Metoda cukup kokoh untuk model yang overfitting karena data
dikombinasikan secara peluang dengan pengetahuan sebelumnya.