METODE BAYES
Metode Bayes memberikan secara prinsip untuk menggabungkan informasi ekternal ke dalam
proses data analisis. Proses dimulai dengan probabilitas distribusi sudah diketahui untuk analisa
set data. Distribusi peluang ini diketahui sebelum setiap data diketahui, disebut distribusi prior.
Data set yang baru mengubah distribusi prior menjadi distribusi posterior. Untuk mengubah prior
ke posterior menggunakan Teorema Bayes.
Teorema Bayes menyatakan teoritis pendekatan statistika ke inferensia-induktif klasifikasi
masalah. Kita pakai konsep dasar Teorema Bayes dan menggunakannya dalam menjelaskan
Naive Bayes Classification.
Misalkan X data sample yang belum diketahui kelasnya dan H hipotesis : data sampel X
tergolong dalam kelas C. Kita ingin menentukan P(H/X), probabilitas dimana hipotesis H
bersyarat data sampel X. P(H/X) adalah posterior probability. P(H) adalah prior probability
untuk H dalam berbagai sampel, tidak peduli keadaan data sampel. Posterior P(H/X). Teorema
Bayes menyediakan perhitungan probabilitas posterior P(H/X) menggunakan P(X), P(X), dan
P(X/H). Dengan rumus :
P(H/X)=[𝑃(𝑋⁄𝐻 ). 𝑃(𝐻)]/𝑃(𝑋)
Dimana ada kumpulan dari m sampel S={S1,S2,…,S3}(training data set) dimana setiap sampel Si
menyatakan sebagai n-dimensi vector {x1,x2,…,xn}. Nilai xi sesuai atribut A1,A2,…,An. JUga
terdapat k kelas C1,C2,…,Ck dan setiap sampel berhubungan dengan kelas tersebut. Diberikan
data tambahan sampel X (kelas tidak diketahui), dapat diprediksi kelas untuk X menggunakan
maximum probabilitas kondisiona P(Ci/X), dimana i=1,…,k. Penjelasan tersebut adalah dasar
Naïve Bayes Klasifikasi. Dengan menggunakan Teorema Bayes :
P(Ci/X) = [𝑃(𝑋⁄𝐶𝑖 ). 𝑃(𝐶𝑖 )]/𝑃(𝑋)
Dimana P(X) konstan untuk semua kelas, hanya produk 𝑃(𝑋⁄𝐶𝑖 ). 𝑃(𝐶𝑖 )/𝑃(𝑋) perlu di
maksimalkan. Kita tuliskan prior sebagai
P(Ci) = bilangan training sampel dari kelas Ci/m (m adalah total bilangan dari training sampel)
Karena perhitungan P(X/Ci) sangatlah kompleks, apalagi untuk kumpulan data yang banyak,
asumsi naïve dengan saling independen antar atribut diciptakan. Dengan asumsi tersebut, kita
nyatakan P(X/Ci) dengan rumus :
𝑛
𝑃(𝑋⁄𝐶𝑖 ) = ∏ 𝑃(𝑥𝑡 ⁄𝐶𝑖 )
𝑡=1
Dimana xt adalah nilai untuk atribut pada sampel X. Probabilitas P(xt/Ct) dapat di taksir pada
training data.