Andrea Avisa Nurhidayatul Mustofa
5006201035
Data Mining Aktuaria – C
SUPPORT VECTOR MACHINE (SVM)
➢ Support Vector Machine (SVM) adalah algoritme pembelajaran mesin yang diawasi
(supervised machine learning) yang dapat digunakan untuk klasifikasi dan regresi.
➢ SVM bekerja untuk mencari hyperplane atau fungsi pemisah (decision boundary)
terbaik untuk memisahkan dua buah kelas atau lebih pada ruang input. Hyperplane
dapat berupa line atau garis pada dua dimensi dan dapat berupa flat plane pada multiple
plane.
Hyperplane yang ditemukan SVM diilustrasikan seperti gambar di sebelah kanan
dimana posisi garis berada ditengah-tengah antara dua kelas. Dalam SVM, objek data
terluar yang paling dekat dengan hyperplane disebut support vector. Support vector
sulit diklasifikasikan karena posisi yang hampir tumpang tindih (overlap) dengan kelas
lain. Karena sifat kritisnya, hanya support vector yang diperhitungkan untuk
menemukan hyperplane yang paling optimal oleh SVM.
➢ Konsep-konsep utama SVM
• Hiperplan Marginal Maksimum (Maximum Marginal Hyperplane)
Menentukan garis pemisah terbaik secara linier antara kelas-kelas.
• Multiplikator Lagrange (Lagrangian Multipliers)
Menggunakan multiplikator Lagrange untuk merumuskan masalah optimasi
agar lebih mudah dipecahkan.
• Variabel Kelonggaran (Slack Variables)
Slack variables memungkinkan SVM untuk mengatasi situasi di mana data sulit
atau bising dengan memperbolehkan beberapa contoh untuk salah
diklasifikasikan atau berada di dalam margin.
• Teknik Kernel (Kernel tricks)
Menggunakan multiplikator Lagrange untuk merumuskan masalah optimasi
agar lebih mudah dipecahkan.
➢ Keunggulan SVM
• Efektif pada data berdimensi tinggi (data dengan jumlah fitur atau atribut yang
sangat banyak).
• Efektif pada kasus di mana jumlah fitur pada data lebih besar dari jumlah
sampel.
• Menggunakan subset poin pelatihan dalam fungsi keputusan (disebut support
vector) sehingga penggunaan memori menjadi lebih efisien.
➢ Kelemahan SVM
• Tidak cocok untuk dataset dalam jumlah yang besar karena membutuhkan
waktu training yang lama.
Andrea Avisa Nurhidayatul Mustofa
5006201035
Data Mining Aktuaria – C
• Tidak bekerja dengan baik ketika dataset memiliki banyak noise misalnya kelas
target jadi tumpang tindih.
• Karena support vector classifier bekerja dengan meletakkan titik data di atas
dan di bawah hyperplane, tidak ada kejelasan probabilistik untuk klasifikasi
tersebut. Hal ini dapat menyebabkan beban komputasi yang tinggi.
➢ Jenis SVM
• SVM Linear
Digunakan untuk data linear, diklasifikasi menjadi dua kelas menggunakan
garis lurus tunggal. Classifier yang digunakan disebut sebagai Linear SVM
Classifier.
• SVM Non-Linear
Dataset tidak dapat diklasifikasi menggunakan garis lurus, maka disebut data
non-linear dan classifier yang digunakan disebut Non-Linear SVM Classifier.
➢ Hyperplane
Contoh pada ruang dua dimensi dan tiga dimensi
➢ Max Margin
Margin adalah jarak antara support vector dari masing-masing kelas di sekitar
hyperplane. Max margin didapat dengan memaksimalkan jarak antara hyperplane dan
titik terdekatnya. Margin lebih besar akan menghasilkan performa klasifikasi yang lebih
baik.
➢ Fungsi Kernel (Kernel Function)
Digunakan pada proses transformasi algoritma SVM untuk mengklasifikasikan data
non-linier. Caranya adalah dengan mengubah data non-linear menjadi data dengan
dimensi yang lebih tinggi kemudian membentuk hyperplane.
Pertama, dilakukan perhitungan skor jarak dari dua titik data, misal x_i dan x_j. Skor
akan bernilai lebih tinggi untuk titik data yang lebih dekat, dan sebaliknya. Lalu skor
digunakan untuk memetakan data pada dimensi yang lebih tinggi (3D). Teknik ini
berguna untuk mengurangi waktu dan sumber daya komputasi, terutama untuk data
Andrea Avisa Nurhidayatul Mustofa
5006201035
Data Mining Aktuaria – C
berjumlah besar. Hal ini juga mencegah kebutuhan akan proses transformasi yang lebih
kompleks.
Macam-macam fungsi kernel : Linear, RBF (Radial Basis Function)/Gaussian Kernel,
Polinomial, Sigmoid.
➢ Contoh aplikasi SVM dalam kehidupan sehari-hari :
• Fitur deteksi wajah
Sistem pengenalan wajah memiliki banyak fitur/kelas (individu) dan hanya
memiliki beberapa data gambar (sampel) per orang, bahkan kadang hanya ada
satu sampel pelatihan untuk setiap orang. Permasalahan dengan jumlah fitur
lebih banyak dari jumlah sampel efektif dipecahkan dengan algoritma SVM.
• Deteksi homologi jarak jauh pada protein
Fungsi kernel pada SVM digunakan untuk mengidentifikasi sekuens biologis
dan membantu menemukan kesamaan antara urutan protein yang berbeda.
➢ SVM untuk Klasifikasi Multi Kelas
Menggunakan teknik ”one-vs-rest”. SVM melakukan klasifikasi biner untuk masing-
masing kelas. Model kemudian memisahkan kelas tersebut dari semua kelas lainnya,
menghasilkan model biner sebanyak jumlah kelasnya. Untuk membuat prediksi, semua
proses klasifikasi biner dijalankan pada tahap uji.
Contoh : Terdapat 3 kelas yaitu donat, ayam, dan burger. Tahap 1 pemisahan donat dan
bukan donat (gambar kiri). Kemudian membangun pemisah antara kelas ayam dan
kelas bukan ayam, lalu pemisah antara kelas burger dan bukan kelas burger (Teknik
“one-vs-rest”).