METODE SUPERVISED

ALGORITMA
1. Metode Regresi
Analisis regresi digunakan untuk menjelaskan dan memprediksi hubungan antara variabel
dependen dengan variabel independen. Variabel dependen biasa disebut ‘variabel target’ dan
variabel independen biasa disebut dengan ‘variabel prediktor’. Tujuannya adalah memodelkan
bagaimana variabel dependen berubah ketika variabel independent berubah.
a. Asumsi regresi:
 Linearitas: hubungan antara variabel-variabel yang diteliti linear.
 Independensi: nilai dari satu observasi tidak mempengaruhi observasi lainnya.
 Homoskedastisitas: varians dari error konstan di seluruh rentang nilai variabel independen.
 Normalitas: residual terdistribusi secara normal.
b. Jenis-jenis regresi:
 Regresi linier: memodelkan hubungan linier antara variabel dependen dan independen.
Artinya, perubahan pada variabel independen menyebabkan perubahan pada variabel
dependen.
 Regresi polinomial: memodelkan hubungan non-linier dengan menggunakan polinomial
derajat yang lebih tinggi. Regresi ini digunakan ketika hubungan antara variabel-variabel
tidak bisa dijelaskan dalam suatu garis lurus
 Regresi logistik: digunakan untuk masalah klasifikasi biner, yaitu untuk memprediksi
kemungkinan terjadinya suatu hal yang hanya mempunyai dua pilihan hasil (misalnya, ya
atau tidak, kotak atau lingkaran, sakit atau sehat).
 Regresi ridge dan LASSO: jenis regresi yang digunakan untuk mengatasi masalah
multikolinearitas dan mencegah overfitting, yaitu kondisi ketika model terlalu baik
mempelajari data training, sehingga kurang efektif untuk prediksi data baru
c. Penalization dalam regresi
 LASSO: menggunakan regularisasi L1 yang menambahkan nilai absolut dari koefisien ke
fungsi loss. Metode LASSO akan memilih salah satu dari beberapa variabel yang
berkorelasi dan mengabaikan yang lainnya dengan mengecilkan koefisien dari variabel yang
tidak terlalu penting menjadi nol. Metode LASSO cocok dogunakan untuk data sparse, data
yang memiliki banyak feature.
 Regresi Ridge: menggunakan regularisasi L2, yang menambahkan kuadrat koefisien ke
fungsi loss. Regresi ridge mengecilkan koefisien mendekati nol, tetapi tidak sampai nol
sehingga efektif ketika semua variabel relevan. Artinya, semua variabel tetap
diperhitungkan, hanya saja pengaruhnya menjadi lebih kecil jika tidak terlalu relevan.
 Regresi elastic net: gabungan dari LASSO dan Ridge, dimana metode ini memilih variabel
seperti LASSO tetapi tetap menjaga kestabilan Ridge, terutama dalam kasus ketika variabel-
variabel prediktor sangat berkorelasi.

2. Support Vector Machine

Support Vector Machine (SVM) merupakan metode yang digunakan untuk klasifikasi biner.
SVM bekerja untuk menemukan garis (atau bidang) yang paling baik dalam memisahkan dua
kelompok data dengan cara memaksimalkan jarak antara batas pemisah dan data terdekat dari
kedua kelompok. Dibanding mengestimasi untuk satu garis prediksi, SVM secara model juga
 mencari margin ke titik yang paling dekat ke garis yang dibentuk. SVM akan memaksimalkan
margin tersebut untuk meningkatkan akurasi dan generalisasi model. Algoritma SVM aslinya
hanya mampu menangani dua kelas (biner). Meskipun klasifikasi biner adalah yang paling umum
digunakan dalam microarray, namun dalam praktiknya hasil prediksi multi-kelas juga bisa terjadi.
Diperlukan modifikasi dari model SVM untuk mengatasi hasil prediksi multi-kelas. Ada dua
pendekatan yang dapat digunakan, yaitu one-versus-rest (OVR) dan one-versus-one (OVO).

3. Tree based Method

Tree Based Method atau metode pohon keputusan adalah struktur seperti diagram alir di mana
setiap simpul internal (internal node) mewakili keputusan berdasarkan fitur tertentu, setiap cabang
(branch) menunjukkan hasil dari keputusan tersebut, dan setiap simpul daun (leaf node) mewakili
prediksi akhir (label kelas). Setiap kali ada "percabangan," model akan membuat keputusan
berdasarkan fitur yang ada, sampai akhirnya sampai di simpul akhir yang memberi prediksi.
Metode pohon keputusan dapat dianalogikan seperti pohon terbalik, dimana kita memulai dari
bagian akarnya, lalu mengikuti percabangan-percabangan yang dibuat berdasarkan keputusan-
keputusan untuk mencapai keputusan akhir di simpul daun.
a. Alasan menggunakan pohon keputusan
 Mudah dipahami: Pohon keputusan sangat sederhana untuk dipahami dan dijelaskan.
Melalui pohon keputusan, langkah-langkah yang digunakan untuk membuat Keputusan
dapat dilihat dengan jelas
 Mengelola berbagai tipe data: Pohon keputusan dapat menangani data numerik maupun
kategorikal (misalnya, usia, jenis kelamin, dll.).
 Menangkap hubungan yang kompleks: Pohon keputusan dapat memodelkan hubungan
kompleks antar fitur tanpa memerlukan hubungan linear.
b. Masalah potensial
 Overfitting: Jika pohon keputusan menjadi terlalu besar atau terlalu kompleks, model bisa
"mengingat" pada data training sehingga tidak bisa bekerja dengan baik pada data baru.
Untuk menghindarinya, bisa dengan membatasi kedalaman pohon atau menggunakan teknik
seperti pemangkasan (pruning) untuk mengurangi kompleksitasnya.
 Kurang akurat jika berdiri sendiri: Pohon keputusan tunggal tidak selalu akurat dalam
memprediksi data baru. Menggunakan pohon keputusan sendirian kadang tidak cukup baik
dalam prediksi, sehingga diperlukan metode ensemble seperti Random Forests atau
Gradient Boosting untuk meningkatkan akurasi.
c. Formula penting
Ada beberapa metrik yang dapat digunakan untuk mengukur kinerja atau membangun pohon
keputusan, tergantung pada jenis masalah yang diselesaikan (klasifikasi atau regresi).
 Gini impurity: digunakan pada pohon klasifikasi
 Entropy : digunakan untuk menghitung information gain dalam pohon klasifikasi.
 Reduction in Variance : digunakan pada pohon regresi
 Mean Squared Error : digunakan pada pohon regresi untuk mengukur kesalahan
 Pruning cost complexity : mengurangi ukuran pohon untuk mencegah overfitting.

OPTIMISASI PARAMETER
Optimisasi parameter adalah proses mencari nilai-nilai terbaik dari parameter-parameter dalam sebuah
model agar model tersebut dapat memberikan hasil yang akurat atau optimal. Ketika membuat model
prediktif yang kita miliki hanyalah sampel data, sementara tujuan yang ingin dicapai dalam membuat
model adalah membuat model yang bisa bekerja baik tidak hanya pada data sampel tersebut, tetapi
juga pada populasi yang lebih besar. Optimisasi parameter seperti menggunakan cross-validation
bertujuan untuk mendapatkan model yang tidak hanya bekerja baik pada data sampel, tetapi juga
dapat digunakan dengan baik untuk memprediksi data baru.
1. Cross Validation (CV) dalam model prediktif
a. Definisi
Cross-validation adalah teknik statistik yang digunakan untuk menilai kemampuan generalisasi
dari model prediktif. Teknik ini membantu mengevaluasi seberapa baik model akan bekerja
pada data yang belum pernah dilihat dengan membagi dataset menjadi beberapa subset untuk
keperluan pelatihan dan validasi. Proses ini dilakukan berulang kali untuk memberikan
perkiraan yang lebih akurat tentang kinerja model dan mengurangi risiko overfitting. Tujuan
utama dari CV dalam model prediktif adalah membuat model yang dapat bekerja dengan baik
pada data baru yang belum pernah dilihat, bukan hanya menghafal data pelatihan yang dapat
menyebabkan overfitting. Cross validation mengurangi overfitting dengan menggunakan semua
data baik data untuk pelatihan (data training) maupun validasi (data testing).
b. Prinsip cross validation
Prinsip dasar dari cross validation adalah membagi dataset menjadi beberapa bagian yang
disebut lipatan atau folds, lalu secara berulang melatih model pada beberapa bagian dan
melakukan evaluasi pada bagian lain. Hasil dari semua tes ini akan dirata-ratakan, sehingga
dapat memberikan perkiraan yang lebih baik tentang kinerja model pada data baru.
c. Langkah-langkah cross validation
1) Pelatihan pada beberapa bagian data yang berbeda: model tidak hanya mengandalkan satu
set data pelatihan, tetapi dilatih pada beberapa subset data.
2) Pengujian pada data yang belum pernah dilihat: setiap bagian (fold) dari data yang
digunakan sebagai data validasi (untuk menguji model) dianggap seperti data baru yang
belum pernah dilihat oleh model selama pelatihan. Jadi, data ini bukan bagian dari data yang
digunakan untuk melatih model. Dengan begitu, dapat dipastikan bahwa kinerja model diuji
pada kondisi yang berbeda dan pada titik data yang berbeda, sehingga kita bisa mengetahui
apakah model bisa bekerja baik di berbagai kondisi yang berbeda, bukan hanya pada data
latih.
3) Merata-ratakan kesalahan: Langkah terakhir dalam cross validation adalah menghitung
kesalahan model dari setiap bagian (fold) data yang diuji, lalu diambil rata-ratanya. Hal ini
membantu memberikan gambaran yang lebih akurat tentang seberapa baik model akan
bekerja pada data baru yang belum pernah dilihat.
d. Jenis-jenis cross validation
 Hold-out Validation (Train-Test Split): Dataset dibagi menjadi dua bagian, satu untuk
pelatihan dan yang lain untuk pengujian. Misalkan data dibagi menjadi 70% data training
dan 30% data testing.
 K-Fold Cross-Validation: Dataset dibagi menjadi K bagian (lipatan), dan model dilatih
sebanyak K kali, setiap kali menggunakan K-1 bagian untuk pelatihan dan diuji pada bagian
yang tersisa.
 Leave-One-Out-Cross-Validation: Setiap sampel data dikeluarkan satu per satu sebagai set
uji, sementara model dilatih pada n-1 sampel yang tersisa.
 Stratified K-Fold Cross Validation: Mirip dengan K-Fold, namun metode ini memastikan
setiap lipatan berisi proporsi kelas yang representatif (berguna untuk dataset yang tidak
seimbang, seperti jika ada lebih banyak data dari satu kelas dibandingkan kelas lainnya).
 Time Series Cross-Validation: metode ini memastikan bahwa data masa lalu digunakan
untuk melatih model dan dan memvalidasi data masa depan untuk tahap pengujian.

2. Mengukur Kinerja Model

a. Akurasi
Akurasi merupakan proporsi prediksi yang benar dari seluruh prediksi yang dilakukan.
Biasanya digunakan jika kelas seimbang (jumlah positif dan negatif hampir sama).
TP+ TN
Akurasi=
TP+TN + FP+ FN
Keterangan:
TP (True Positive): Jumlah prediksi positif yang benar (model memprediksi positif dan
memang benar positif).
TN (True Negative): Jumlah prediksi negatif yang benar (model memprediksi negatif dan
memang benar negatif).
FP (False Positive): Jumlah prediksi positif yang salah (model memprediksi positif tapi
ternyata negatif).
FN (False Negative): Jumlah prediksi negatif yang salah (model memprediksi negatif tapi
ternyata positif).
b. Presisi
Presisi menunjukkan seberapa akurat prediksi positif model. Jadi, jika model mengatakan
sesuatu adalah positif, presisi menunjukkan seberapa sering itu benar.
TP
Presisi=
TP+ FP
c. Recall (Sensitivitas)
Recall atau sensitivitas adalah emampuan model untuk menemukan semua positif yang relevan.
Hal ini penting ketika kita ingin menghindari situasi di mana model gagal mendeteksi atau
"meloloskan" contoh positif yang seharusnya terdeteksi sebagai positif.
TP
Recall=
TP+ FN
d. F1-Score
F1-Score adalah rata-rata harmonik antara presisi dan recall. F1-Score menggabungkan kedua
metrik ini (presisi dan recall) yang menunjukkan keseimbangan antara keduanya, untuk
memastikan bahwa model tidak terlalu condong ke salah satu metrik saja.
Presisi × Recall
F 1−Score=2×
Presisi+ Recall
e. AUC-ROC
AUC-ROC mengukur kemampuan model untuk membedakan antara kelas positif dan negatif
pada berbagai nilai ambang (threshold). Nilai mendekati 1 menunjukkan model memiliki
kekuatan diskriminasi yang lebih baik.
1
AUC=∫ True Positive Rate ∙ d (False Positive Rate)
0