Klasifikasi Data Mining

Abstrak—Berbagai metode klasifikasi data mining lebih baik. [10] Metode Michigan memberikan satu arah
diperiksa dalam penelitian ini untuk aplikasi database baru. untuk setiap individu dalam suatu populasi, yang
Untuk menemukan suatu model, klasifikasi membagi data ke menurunkan biaya. Pendekatan Pittsburgh [5] mewakili
dalam kelompok-kelompok berdasarkan batasan yang telah seperangkat kriteria prediksi untuk populasi setiap individu.
ditentukan. Metode klasifikasi penting lainnya adalah Membandingkan set praktik daripada aturan individu adalah
algoritma Genetika C4.5, Naive Bayes, dan SVM. Akhirnya, pendekatan umum dalam klasifikasi. Aturan umum atau
kami membahas penjelasan algoritma. khusus dapat diimplementasikan menggunakan logika OR
dan logika AND operator.
I. PENGANTAR B. Aturan Set
Penambangan data adalah proses menemukan pola dan Aturan "jika-maka-" mengatur klasifikasi. Misalnya,
tautan dalam kumpulan data besar yang sebelumnya tidak pemerintah memiliki reputasi (kondisi) yang buruk. Jika
diketahui melalui teknik analisis data tingkat lanjut. Model atribut dari instance X memenuhi persyaratan praktik,
statistik, algoritme matematika, dan metode pembelajaran Aturan r akan mewakili instance sebagai X. Ada hierarki
mesin semuanya dapat disertakan dalam kotak alat ini. Oleh aturan. Mengenai hal ini, tatanan berbasis aturan telah
karena itu, data mining lebih dari sekedar mengumpulkan diciptakan. Pengurutan berbasis kelas mengacu pada
dan mengatur data. Analisis dan peramalan juga disertakan. pengaturan kontrol berdasarkan kesamaannya. Contoh
Klasifikasi menjadi lebih populer karena dapat menangani sebanyak mungkin harus dicakup oleh aturan yang baik
rentang data yang lebih luas daripada regresi [1]. Banyak untuk memastikan keakuratannya.
kegunaan untuk Machine Learning dapat ditemukan (ML). 𝑐𝑜𝑛𝑡𝑜ℎ 𝑦𝑎𝑛𝑔 𝑑𝑖𝑘𝑙𝑎𝑠𝑖𝑓𝑖𝑘𝑎𝑠𝑖𝑘𝑎𝑛 𝑑𝑒𝑛𝑔𝑎𝑛 𝑏𝑒𝑛𝑎𝑟
𝐾𝑒𝑡𝑒𝑝𝑎𝑡𝑎𝑛 = 𝑐𝑜𝑛𝑡𝑜ℎ 𝑦𝑎𝑛𝑔 𝑠𝑒𝑠𝑢𝑎𝑖 𝑑𝑒𝑛𝑔𝑎𝑛 𝑎𝑡𝑢𝑟𝑎𝑛
(1)
Namun, penambangan data adalah yang paling penting.
Analisis dan, mungkin, upaya untuk menghubungkan 𝐿𝑖𝑝𝑢𝑡𝑎𝑛 =
𝑐𝑜𝑛𝑡𝑜ℎ 𝑦𝑎𝑛𝑔 𝑠𝑒𝑠𝑢𝑎𝑖 𝑑𝑒𝑛𝑔𝑎𝑛 𝑎𝑡𝑢𝑟𝑎𝑛
(2)
beberapa fitur dapat menyebabkan kesalahan dalam 𝑐𝑜𝑛𝑡𝑜ℎ 𝑑𝑖 𝑠𝑒𝑡 𝑘𝑒𝑟𝑒𝑡𝑎
interpretasi. Ketidakmampuan mereka untuk fokus pada Pisahkan dan taklukkan (Furnkranz 99), dan semua
masalah tertentu membuatnya menjadi tantangan bagi peraturan dipelajari secara berurutan dalam dua set
mereka. pengetahuan ini. Semua instans yang telah dicakup dihapus
Dalam banyak kasus, pembelajaran mesin dapat dari set pelatihan di Terpisah-Dan-Menaklukkan setelah
memecahkan masalah ini, membuat sistem dan desain mesin arah baru terdeteksi. Ketika tidak ada lagi contoh yang harus
menjadi lebih efisien. Tugas yang dapat diatur sebagai dilewati, prosesnya berakhir. Keluarga metode induksi
diawasi ada di banyak aplikasi pembelajaran mesin setiap aturan AQ (Michal ski 69), CN 2 (Clask a Boswell 91), dan
hari. Dalam artikel ini, kami berfokus pada teknik yang RIPPER K (Clask a Boswell 91) adalah pendekatan terpisah
diperlukan. Tantangan klasifikasi di mana keluaran contoh dan menaklukkan (Cohen 95). Alih-alih menggunakan kelas
hanya dapat terputus-putus dan tidak teratur menjadi fokus default, metode Different-And-Conquer mengambil
penelitian ini. Pada bagian berikut, kita membahas banyak peraturan yang lebih baik daripada kelas default dan
pendekatan untuk mengkategorikan data. Di Bagian III, kita menggunakan set validasi sampel yang tidak diketahui.
belajar bagaimana menilai kinerja pengklasifikasi. Bagian Predikat kosong di kumpulan awal aturan CN2 mencakup
terakhir menutup bagian ini. semua ukuran. Tidak ada algoritma aturan CN2, tetapi ada
predikat yang dihasilkan. Predikat tersebut diberikan kepada
II. METODE KLASIFIKASI kelas penguasa dengan cara menentukan kelas mayoritas
A. Algoritma Genetika dari predikat tersebut.

Strategi ini digunakan dalam GA untuk menemukan C. C4.5

jawaban yang tidak diketahui [7]. Hanya beberapa kategori Nilai yang hilang dan noise dalam data diatasi dengan
data yang digunakan di GA. Implementasi GA membuat pengukuran properti numerik C4.5 [3]. Overfitting data
aturan prediksi tingkat tinggi untuk pemilihan atribut yang dihindari dengan menggunakan pruning di C4.5 [9]. Untuk

1
penerus komersial, WEKA telah mengimplementasikan C4.8 Dimana ni = jumlah record pada anak i, n= jumlah record
sebagai J4.8 dan C5.0 (Pencarian aturan) sebagai versi pada node p.
pembaruan C4.5. Rata-rata tertimbang dari perkiraan Membangun pohon keputusan di mana atribut ke cabang
kesalahan untuk setiap daun subpohon digunakan untuk bergantung pada pemilihan kualitas untuk membagi data.
menghitung perkiraan kesalahan untuk seluruh pohon. Tujuannya adalah untuk menghilangkan noise sebanyak
Misalnya, jika c adalah 25 persen, z sama dengan 0,69 mungkin dari data. Semua instance dari kumpulan data
sebagai estimasi kesalahan untuk sebuah simpul (dari harus termasuk dalam kelas yang sama agar subset dianggap
distribusi normal). F adalah kesalahan data pelatihan. Ada murni. Dalam c4.5, heuristiknya adalah memilih properti
berapa kali kemunculan tutupan daun? dengan rasio perolehan atau perolehan informasi yang
D. CART paling signifikan.
Menggunakan CART untuk Mengurutkan Data dan 1. Perolehan informasi
Analisis Regresi Ketika data tidak ada atau tidak ada, Diberikan satu set contoh D, pertama-tama kita
digunakan akurasi berdasarkan pohon. Metode CHAID menghitung entropi-nya.
dapat menangani nilai yang hilang karena CART memilih
|𝑐|
sampel secara acak. Persiapan data tidak diperlukan dalam
CART. Ia melakukan semua pekerjaan untuk Anda. Nilai ( 𝑗)
𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝐷) =− ∑ 𝑝 𝑐 𝑙𝑜𝑔 𝑝 𝑐
2
( )𝑗 (5)
yang hilang dianggap sebagai nilai kategorikal yang unik 𝑗=1
dalam metode CHAID [26, 27]. Juga, C4.5 mengadopsi Di mana p(cj) adalah probabilitas dari kumpulan data kelas
strategi ini. Pengganti metode lanjutan diperlakukan sebagai cjin D. kami menggunakan entropi sebagai ukuran
bidang utama yang hilang oleh CART. Sebagai pengganti ketidakmurnian atau ketidakteraturan kumpulan data
pembagi langsung, pengganti akan digunakan. D.(atau langkah informasi dalam pohon)[11]. Ketika data
Menggunakan pemangkasan CART, setiap node dihapus menjadi lebih murni dan lebih murni, nilai entropi menjadi
dalam urutan yang tepat saat dibuat. Satu aturan Kesalahan lebih kecil dan lebih kecil. Informasi diperoleh dengan
Standar sudah cukup untuk kumpulan data kecil, dan memilih atribut Ai[4]. Untuk bercabang ke partisi, datanya
menghasilkan pohon yang optimal. Aturan Kesalahan adalah
Standar nol menyediakan pohon nyata untuk kumpulan data
substansial. Tidak diragukan lagi bahwa C4.5 dan CART 𝐺𝑎𝑖𝑛(𝐷, 𝐴) = 𝐸𝑛𝑡𝑟𝑜𝑝𝑦(𝐷) − 𝐸𝑛𝑡𝑟𝑜𝑝𝑦𝐴 (𝐷) (6)
𝑖
adalah program yang kuat. Fungsi kerugian seperti indeks
Gini digunakan ketika klasifikasi Pohon Keputusan salah. Kami mencabangkan/membagi pohon saat ini berdasarkan
properti yang memberikan nilai paling banyak kepada
E. Induksi Pohon Keputusan pengguna. Menggunakan proses Divide-and-Conquer
Para peneliti telah mencari heuristik yang efisien untuk rekursif, Induksi Pohon Keputusan membangun Pohon
menghasilkan Pohon Keputusan biner yang mendekati Keputusan dari atas ke bawah. Meningkatkan ketidakpastian
optimal karena masalah membangun Pohon Keputusan dapat dicapai dengan salah satu dari dua cara. Pertama,
biner yang ideal adalah NP-COMPLETE. Algoritme Hunt dilakukan pemangkasan terlebih dahulu jika cabang tumbuh
menghasilkan Pohon Keputusan menggunakan teknik top- terlalu cepat (Aturan penghentian dini). Uji Chi-Squared
down atau divide-and-conquer. Ada beberapa kelas data digunakan sebelum pra-pemangkasan. Setelah
dalam sampel/baris ini. Untuk mengurangi ukuran pemangkasan, Anda akan memiliki pohon keputusan yang
kumpulan data, jalankan pengujian atribut. Dengan rakus, matang dan pohon matahari yang dibuang yang tidak terlalu
algoritma Hunt menjaga pemisahan optimal untuk setiap dapat dipercaya.
tahap berdasarkan beberapa nilai ambang [2]. Algoritma 2. Model Overfitting
Hunt menggunakan pendekatan murah untuk pengujian
atribut untuk menentukan divisi "terbaik" dan kapan harus Model klasifikasi melakukan dua jenis kesalahan.
berhenti membelah pada kondisi overfit atau underfit. Kesalahan disebabkan dalam pelatihan dan generalisasi
Menggunakan prosedur Hunt, Anda dapat mengevaluasi karena sampel pelatihan mengandung banyak noise. Jumlah
nilai numerik dan kumpulan titik data. Kesalahan kesalahan klasifikasi yang dihasilkan oleh data pelatihan
klasifikasi, indeks Gini, dan Entropi harus dipertimbangkan dikenal sebagai kesalahan pelatihan atau kesalahan yang
saat membagi. "Information Gain" adalah istilah untuk tampak. Kesalahan generalisasi model klasifikasi, di sisi
pengurangan Entropi. Berhenti ketika indeks Gini atau lain, adalah kesalahan yang diprediksi pada bahan yang
kesalahan klasifikasi Entropi meningkat pada kumpulan belum dipelajari sebelumnya. Bahkan ketika tingkat
data pengujian. Indeks Gini sebuah simpul, diberikan t, kesalahan pelatihan menurun, tingkat kesalahan pengujian
adalah meningkat ketika ukuran pohon terlalu besar. Model
2 overfitting adalah nama yang diberikan untuk praktik ini.
𝐺𝐼𝑁𝐼(𝑡) = 1 − ∑ 𝖥𝑝 ( )⎤
𝑗
(3) Kesalahan pengujian signifikan karena sampel pelatihan
⎣ 𝑡 ⎦ berisi data yang bising meskipun kesalahan pelatihan adalah
nol untuk pohon berduri.
Pada simpul t, frekuensi relatif kelas j direpresentasikan
dengan [p(j/t)]. CART, SLIQ, dan SPRINT semuanya 3. Model yang Kurang Pas
menggunakan indeks Gini. Kualitas split dihitung sebagai Baik tingkat kesalahan pelatihan dan pengujian model
berikut ketika node p dibagi menjadi k divisi (anak): klasifikasi adalah signifikan. Model underfitting adalah
𝑛 istilah untuk masalah ini. Properti biner baru seperti
𝐺𝐼𝑁𝐼 = ∑ 𝐺𝐼𝑁𝐼(𝑖) (4) konjungsi, negasi, dan disjungsi digunakan untuk
𝑠𝑝𝑙𝑖𝑡 membentuk Pohon Keputusan (Zheng 1998). Ketika kriteria
𝑖=1
salah, Zheng (2000) mengembangkan setidaknya fitur

2
M-of-N[4]. Dengan membuat Pohon Keputusan multivariat, KNN adalah algoritma klasifikasi non-parametrik dasar
Gama dan brazil (99) menggabungkan diskriminasi linier tetapi efektif [19]. KNN, di sisi lain, memiliki kelemahan
dengan Pohon Keputusan. Untuk menghindari duplikasi yang signifikan. Dalam banyak aplikasi, seperti
data di Pohon Keputusan, terapkan algoritma bangunan penambangan web dinamis untuk repositori yang luas,
FICUS, yang menerima masukan standar atau representasi efisiensinya yang rendah mencegahnya digunakan karena
fitur dan menghasilkan kumpulan fitur yang dibuat oleh merupakan metode pembelajaran yang malas. Misalnya,
Markovitch dan Rosenstein untuk menghindari replikasi mengindeks instance pelatihan sebagai pengklasifikasi KNN
data di Pohon Keputusan (2002). Tidak ada kombinasi yang mengharuskan penyimpanan seluruh set pelatihan saat ini
lebih baik dari tingkat kesalahan dan kecepatan daripada tidak pada redundansi set pelatihan untuk mengurangi
C4.5 dalam penelitian ini. EC4.5 adalah versi algoritma kesulitan ini [29, 31, 24, dan 21] dapat sangat
yang lebih efisien berdasarkan evolusi analitik ini. meminimalkan komputasi yang diperlukan pada waktu kueri
. Versi ringkas dari Nearest Neighbor [Nearest Neighbor]
J. Jaringan Bayesian digunakan untuk mengklasifikasikan data input dengan
DAG (Directed Acyclic Graph) dan karakteristik satu- menyimpan hanya sebagian dari data pelatihan. Praktik di
ke-satu [12] membentuk dasar dari jaringan Bayesian. set pelatihan mungkin sangat mirip, dan beberapa mungkin
Mempelajari DAG dan struktur jaringan adalah dua dihapus karena tidak memberikan pengetahuan baru.
pekerjaan yang berbeda untuk jaringan Bayesian [8]. Menggunakan kriteria Reduced Nearest Neighbor (KNN)
mempelajari parameter dalam tabel probabilitas bersyarat yang disarankan oleh Gerbang [6], subset yang disimpan
dari struktur jaringan adalah tugas tetap (CPT). dapat diringkas lebih lanjut setelah CNN. Unsur-unsur
“Kebugaran” suatu jaringan dievaluasi mengenai data tersebut dihilangkan dari subkelompok. Oleh karena itu
pelatihan, dan kemudian dilakukan pencarian untuk tidak akan ada kesalahan.
menemukan jaringan yang optimal berdasarkan skor ini [16]
jika strukturnya tidak diketahui. Mempertimbangkan fakta III. MENGEVALUASI KINERJA CLASSIFIER
bahwa jaringan Bayesian mempertimbangkan pengetahuan A. Metode Hold-Out
sebelumnya tentang topik yang ada. Oleh karena itu,
jaringan Bayesian tidak dapat digunakan untuk menganalisis Data asli dengan contoh berlabel dibagi menjadi dua set,
dataset sebesar itu [6]. yang dikenal sebagai set pelatihan dan tes [34]. Baik koleksi
maupun perangkat pengujian tidak boleh digunakan untuk
G. Pembelajaran Berbasis Instan tujuan pengujian. Akurasi dapat diperkirakan dengan
menggunakan test set yang belum pernah dilihat. Teknik ini
Algoritme lambat, pembelajaran berbasis instans
terutama digunakan ketika berhadapan dengan kumpulan
menunggu untuk menyimpulkan atau menggeneralisasi
data besar.
hingga klasifikasi selesai. Dibandingkan dengan algoritma
pembelajaran yang bersemangat (seperti pohon Keputusan, B. n-fold Cross-validation
jaringan saraf & Bayesian), teknik pembelajaran terbaru
membutuhkan waktu komputasi yang lebih sedikit selama Ada n subkelompok terpisah yang berukuran sama
fase pelatihan tetapi lebih banyak waktu perhitungan selama dalam data yang disediakan. Untuk melatih pengklasifikasi,
langkah klasifikasi. Mereka memperoleh metode ICF dan gunakan setiap subset sebagai set pelatihan. Untuk
algoritma RT3 di KNN, Brighton & Mellish 2002). (Wilson mendapatkan rata-rata n akurasi, metode ini dilakukan
& Martinez 2003). Klasifikasi membutuhkan waktu lebih sebanyak n kali. Validasi silang dengan kelipatan 10 atau 5
lama untuk dihitung dengan Pembelajaran Berbasis Instans cukup lazim. Ketika data yang diberikan tidak signifikan,
karena hal ini. Akurasi klasifikasi dan waktu pemrosesan strategi ini digunakan.
dapat ditingkatkan dengan memilih fitur input dari yang C. Validasi silang tinggalkan-satu-keluar-
sudah tersedia (Yu & Liu 2004). Dimungkinkan untuk
meningkatkan akurasi pengklasifikasi berbasis instance Ketika ada sejumlah kecil data, pendekatan ini
dengan memilih metrik jarak yang sesuai. diterapkan. Ini adalah contoh validasi silang dalam tindakan.
Semua data dari tes digunakan dalam proses pelatihan untuk
H. Mendukung Mesin Vektor setiap kali validasi silang [17]. Jika data asli memiliki lebih
Untuk data linier dan non-linier, Support Vector dari m contoh, validasi silang dilakukan m kali.
Machine adalah pendekatan klasifikasi baru. Data pelatihan D. Set validasi
asli diubah menjadi dimensi yang lebih tinggi melalui
pemetaan non-linier. Sekarang setelah memiliki lebih Ketika ada sejumlah kecil data, pendekatan ini
banyak ruang, ia dapat mencari secara linear untuk batas diterapkan. Ini adalah contoh validasi silang dalam tindakan.
keputusan terbaik (atau, seperti yang dikenal, "hyperplane Semua data dari tes digunakan dalam proses pelatihan untuk
keputusan"). Sebuah hyperplane selalu dapat digunakan setiap kali validasi silang [17]. Jika data asli memiliki lebih
untuk membagi data dari dua kelas dengan pemetaan non- dari m contoh, validasi silang dilakukan m kali.
linier yang sangat baik ke dimensi yang cukup tinggi. E. Minimum Description Length (MDL)
Dengan dukungan vektor dan margin, SVM dapat
menemukan hyperplane ini [25][26]. Fitur: Mereka dapat Nilai yang hilang diperlakukan secara acak oleh MDL.
mensimulasikan batas keputusan non-linier yang kompleks Berkat pendekatan ini, data numerik yang jarang diganti
(margin – memaksimalkan); dengan demikian, pelatihan dengan nol, dan data kategorikal diganti dengan vektor nol.
mungkin dilakukan, tetapi akurasinya bagus. Klasifikasi dan Data dalam kolom bersarang yang tidak memiliki nilai
prediksi keduanya dimungkinkan menggunakan SVM. dianggap tidak berarti apa-apa. Secara acak, kolom dengan
tipe data sederhana diinterpretasikan sebagai tidak ada. [20]
I. K-Nearest-Neighbour (KNN) MDL memperhitungkan ukuran model dan pengurangan

3
ketidakpastian yang berasal dari pemanfaatannya. Entropi ini lebih umum. Beberapa algoritme tidak bekerja dengan
dan ukuran model keduanya dinyatakan dalam bit. baik dengan kasus yang salah diklasifikasikan dengan bobot
yang lebih besar (semua instance bersifat korporat, tetapi
Model prediktif sederhana dari kelas target adalah semua konsekuensinya berbeda).
yang dipertimbangkan MDL untuk setiap karakteristik
dalam hal penggunaannya dalam algoritme. Model prediktor I. Occam’s Razor
tunggal dibandingkan dan diberi peringkat sebagai bagian
dari proses pemilihan model. Dimungkinkan untuk Untuk menggunakan Occam's Razor, Anda harus
menggunakan persiapan data otomatis untuk melakukan memilih penjelasan paling sederhana yang paling sesuai
MDL [32]. Menggunakan pohon keputusan, binning yang dengan bukti. Akibatnya, pisau cukur Occam memiliki
diawasi menciptakan batas bin terbaik. Ini memiliki peluang terbaik untuk mengidentifikasi item yang tidak
karakteristik kuantitatif dan kualitatif. diketahui dengan benar. Mengingat dua model dengan
kesalahan generalisasi yang sama, pisau cukur Occam
F. Bagging mengatakan bahwa model yang lebih sederhana lebih
disukai daripada yang lebih kompleks [33]. Kesalahan
Pembelajaran ensemble pada awalnya dipraktekkan oleh dalam data dapat menyebabkan model canggih yang tidak
Breiman (1996), yang menamakannya "bagging" (dari dipasang dengan benar.
"agregasi bootstrap"), dan itu adalah salah satu metode
paling dasar dari arching [1]. Awalnya dikembangkan untuk H. Random Forest
klasifikasi, meta-algoritma adalah contoh model rata-rata
yang biasa digunakan dalam model pohon keputusan, tetapi WEKA adalah estimator dan pembangun model
dapat digunakan dalam klasifikasi atau model regresi apa klasifikasi dan regresi untuk tujuan umum. Mesin vektor
pun. Beberapa set pelatihan dibuat menggunakan bootstrap, peningkat gradien dan dukungan sangat diuntungkan dari
yaitu pengambilan sampel dengan penggantian. Masing- akurasi tinggi hutan acak. Random Forest dibangun dari dua
masing bagian data ini digunakan untuk mengembangkan jenis data. 1. Pohon klasifikasi dan regresi. 2. Ini adalah
model yang berbeda melalui pembelajaran mesin. Output sampel dari dataset asli yang telah diambil kembali dari
regresi dan klasifikasi digabungkan dengan rata-rata atau dataset asli dengan menggunakan replacement sampling.
voting untuk memberikan hasil tunggal. Bagging hanya IV. KESIMPULAN
berlaku untuk model nonlinier yang tidak stabil (artinya,
bahkan sedikit perubahan pada set pelatihan dapat Strategi klasifikasi data mining dieksplorasi dalam
berdampak signifikan pada model). Gunakan set pelatihan pekerjaan ini. Seperti yang dijelaskan oleh penelitian ini,
bootstrap untuk membangun pengklasifikasi (digambar masing-masing metode memiliki kelebihan dan kekurangan.
dengan penggantian). Distribusi probabilitas yang seragam Dalam penambangan data, banyak teknik dari berbagai
mengatur pengambilan sampel dengan bantuan. Tidak ada bidang, termasuk pembelajaran mesin, kecerdasan buatan,
perbedaan ukuran sampel bootstrap D dibandingkan dengan analisis statistik, dan pengenalan pola, digunakan untuk
data aslinya. Set pelatihan mungkin berisi berbagai contoh, menganalisis sejumlah besar data. Untuk menjalankan
beberapa di antaranya mungkin muncul beberapa kali. berbagai tugas analisis data, sayangnya beberapa metode
Dengan menurunkan varians dari pengklasifikasi dasar, data mining telah mengakar di sektor-sektor ini.
bagging meningkatkan kinerja generalisasi. Pengklasifikasi
REFERENSI
dasar mempengaruhi kinerja bagging. Bagging membantu
mengurangi kesalahan yang disebabkan oleh osilasi acak [1] Jiawei Han and MichelineKamberData Mining: Concepts and
Techniques,2ndedition.
dalam data pelatihan jika pengklasifikasi dasar tidak stabil.
Bagging mungkin tidak dapat meningkatkan pengklasifikasi [2] Baik, S. Bala, J. (2004), A Decision Tree Algorithm For Distributed
Data Mining.
dasar yang solid. Alih-alih memperbaikinya, itu bisa
[3] Witten, I. & Frank, E. (2005), "Data Mining: Practical Machine
memperburuk keadaan. Learning Tools And Techniques", 2nd Edition, Morgan Francisco,
G. Boosting 2005.
[4] Zheng, Z. (2000). Constructing X-Of-N Attributes For Decision Tree
Untuk meningkatkan, pengklasifikasi harus diproduksi Learning. Machine Learning 40: 35–75.
secara berurutan. Penting untuk diingat bahwa setiap [5] Sirgo, J., Lopez, A., Janez, R., Blanco, R., Abajo, N., Tarrio, M.,
pengklasifikasi bergantung pada yang sebelumnya dan Perez, R., “A Data Mining Engine Based On Internet, Emerging
berkonsentrasi pada kesalahan yang sebelumnya. Contoh Technologies And Factory Automation”.
yang diprediksi dengan buruk di pengklasifikasi sebelumnya [6] Friedman, N., Geiger, D. &Goldszmidt M. (1997). Bayesian Network
dipilih lebih sering dan diberi bobot yang lebih besar. Hanya [Link] Learning 29: 131-163.
catatan yang dikategorikan yang akan melihat peningkatan [7] Fayyad, U., Piatetsky-Shapiro, G., And Smyth P., “From Data Mining
To Nowledge Discovery In Databases,” Ai Magazine, American
bobot penilaiannya. Pentingnya dokumen yang
Association For Artificial Intelligence, 1996.
diklasifikasikan dengan tepat akan berkurang.
[8] Friedman, N. &Koller, D. (2003). Being Bayesian About Network
H. Ada-Boosting Structure: A Bayesian Approach To Structure Discovery In Bayesian
Networks. Machine Learning 50(1): 95-125.
Ada-meningkatkan tindakan Overfitting adalah masalah [9] Quinlan, J.R., C4.5 -- Programs For Machine [Link]
umum dengan hipotesis yang kompleks. Konsep sederhana Kaufmann Publishers, San Francisco, Ca, 1993.
mungkin tidak dijelaskan dengan jelas. Sejumlah asumsi [10] Bianca V. D.,PhilippeBoula De Mareüil And Martine Adda-Decker,
sederhana diintegrasikan ke dalam satu asumsi bermasalah “Identification Of Foreign-Accented French Using Data Mining
untuk menyederhanakan berbagai hal. Ada beberapa pilihan. Techniques, Computer Sciences Laboratory For Mechanics And
Pertama, lebih banyak contoh kasus yang salah Engineering Sciences (Limsi)”.
diklasifikasikan dipilih dalam pengklasifikasi sebelumnya, [11] Breslow, L. A. & Aha, D. W. (1997). Simplifying Decision Trees:A
Survey. Knowledge Engineering Review 12: 1–40.
sehingga memilih standar berdasarkan kesalahan pemilihan
[12] Jensen, F. (1996). An Introduction To Bayesian Networks. Springer.

4
[13] Introduction To Data Mining By Tan,Steinbach,Kumar.
[14] Collins, M., Schapire, R.E. And Singer, Y. (2000). Logistic
Regression, AdaboostAndBregman Distances. Proc. Thirteenth
Annual Conference Computational Learning Theory.
[15] T. Mitchell.: Machine Learning. MitpressAndMcgraw-Hill (1997).
[16] Madden, M. (2003), The Performance Of Bayesian Network
Classifiers Constructed Using Different Techniques, Proceedings Of
European Conference On Machine Learning, Workshopon
Probabilistic Graphical Models ForClassification, Pp. 59-70.
[17] Avirm Michael Kearns And Dana Ron,”Algorithmic Stability And
Sanity-Check Bounds For Leave-One-Out Cross Validation”.
[18] Freund, Y. (1995). Boosting A Weak Learning Algorithm By
Majority. Information And Computation 121, 256{285}.
[19] D. Hand, H. Mannila, P. Smyth.: Principles Of Data Mining. The MIT
Press. (2001).
[20] Peter D. Grunwald “The Minimum Description Length Principle.
[21] M. Kubat, M. Jr.: Voting Nearest-NeighbourSubclassifiers.
Proceedings Of The 17th International Conference Onmachine
Learning, ICML-2000, Pp.503-510, Stanford, CA, June 29-July 2,
(2000).