Sistem Cerdas

Machine Learning
Lifecycle - 2
Dr. Muhtadan
Capaian Pembelajaran

Mahasiswa mampu
• Mengetahui dan menjelaskan ML lifecycle
• Menjelaskan konsep data dan jenis dataset pada ML
• Melakukan data cleansing, feature extraction, dan data split
• Membuat data untuk training dan testing pada pelatihan
model ML
• Mengukur performa model ML
2
Rekayasa Fitur (Feature Engineering)

3
Rekayasa Fitur

Definisi
• Rekayasa fitur atau Feature Enginering adalah proses perubahan dataset dimana dilakukan
proses ekstraksi sebuah kolom menjadi kolom-kolom lainnya atau proses mereduksi kolom.
• Fitur pada ML diasosiasikan dengan kolom pada dataset. Sebuah kolom dapat memiliki tipe-
tipe data tertentu.
• Sebuah fitur adalah sebuah atribut data yang berguna atau memiliki arti penting terhadap
masalah yang akan diselesaikan.

Contoh
• Contoh jumlah waktu belajar siswa merupakan atribut penting ketika kita ingin memprediksi
kelulusan seorang siswa. Namun attribut nama siswa berbeda, ia tidak memberikan
pengaruh kepada kelulusan siswa.
4
Kriteria-kriteria sebuah fitur:

Informatif.
• Sebuah fitur harus memberikan informasi yang baik kepada penggunanya.

Ketersediaan Data, jika fitur ini datanya banyak yang kosong.

• Jika Anda memilih fitur yang banyak kosong maka anda akan berurusan
dengan missing data.
Diskriminan.
• Dengan fitur ini diharapkan dapat membagi data menjadi target kelas yang
dituju atau berkorelasi dengan label.
5
Feature Selection

Tujuan
•Pada sebuah dataset, tidak semua fitur
berguna dalam pengerjaan task tertentu.
•Fitur-fitur yang tidak relevan terhadap kasus
sebaiknya di buang karena kehadirannya
dapat mengganggu performa model.
6
Metode Feature Selection

Correlation Matrix.
• Secara matematis, sebuah fitur dikatakan
penting jika memiliki korelasi yang tinggi dengan
variabel dependent.
• Oleh karena itu, koefisien korelasi adalah
metode yang umum digunakan untuk
menentukan seberapa penting sebuah fitur

Univariate Selection.
• Seleksi dapat menggunakan fungsi-fungsi test
statistik dalam menentukan seberapa penting
kolom.
• Salah satu metode yang populer digunakan
adalah SelectKBest menggunakan Chi-squared.

7
Feature Extraction

Definisi
• proses pembentukan fitur baru atau mengurangi
dimensi data dari data mentah secara otomatis.
• Feature extraction biasanya dilakukan pada data tabular
berdimensi tinggi, gambar, suara, dan text.
• Pada data-data yang bersifat tabular (dalam bentuk
tabel), biasanya datadata tersebut memiliki attribut
yang sangat banyak atau dimensi tinggi. 8
Feature Extraction

Teknik FE

• Attribut yang sangat banyak tersebut dapat dikurangi secara otomatis menggunakan
algoritma tertentu seperti:
• Principal Component Analysis,
• Singular Value Decomposition,
• Linear Discriminant Analysis,
• Locally Linear Embedding, dll

Kunci dari feature extraction adalah penggunaan metode yang

otomatis.
9
Data Splitting

Tujuan
• Setelah mendapatkan data yang bersih, selanjutnya adalah
melakukan proses data spliting (pemecahan data) dimana kita
membagi data tersebut menjadi beberapa bagian diantaranya data
latih (training data), data uji (testing data), dan data validasi
(validation data)
Metode
• Holdout
• Cross Validation 10
Data Splitting - Holdout

Metode dimana kita membagi dataset menjadi 2 bagian yaitu training set
dan holdout set.

Training set berisi data latih yang digunakan untuk membangun model dan
biasanya ukurannya lebih besar dibandingkan dengan holdout set.

Sedangkan holdout set dapat terdiri atas data uji (testing data), dan data
validasi (validation data) atau hanya data uji saja.
• Dengan kata lain kita dapat memecah dataset tersebut menjadi 2 atau 3 tergantung
kebutuhan. Data validasi bersifat opsional dan hanya dibutuhkan ketika kita ingin melakukan
optimalisasi hyperparameter model yang telah dilatih atau pemilihan algoritma terbaik
11
Data Splitting - Holdout

12
Data Splitting – Cross Validation

Cross-validation (CV) adalah metode statistik yang dapat digunakan untuk

mengevaluasi kinerja model atau algoritma dimana data dipisahkan menjadi dua
subset yaitu data latih dan data uji.
• Model atau algoritma dilatih oleh subset pembelajaran dan divalidasi oleh subset validasi.
• Selanjutnya pemilihan jenis CV dapat didasarkan pada ukuran dataset.

Untuk mengurangi variabilitas, maka dilakukan beberapa putaran validasi silang

dengan subset berbeda dari data yang sama.

Lalu hasil evaluasi tersebut digabungkan (rata-rata). Metode CV akan memberi

kitaperkiraan performa model yang lebih akurat dibandingkan Holdout.
13
Data Splitting – Cross Validation

K-fold
• Metode CV yang memecah dataset menjadi dua bagian yaitu
data latih dan data uji sebanyak k kelompok dimana jumlah data
latih dan data uji pada tiap-tiap kelompok sama.
• Sehingga kita akan melakukan perulangan sebanyak K kali untk
melakukan training dan evaluasi.

K dapat berisi sebuah nilai bulat minimal 2.

• Jika k bernilai 1 maka metode ini sama dengan holdout.
14
Data Splitting – Cross Validation

15
Tugas

Carilah metode seleksi fitur

lainnya serta implementasinya.

Carilah metode ekstraksi fitur dan

implementasinya.
16
Training, Testing dan Evaluasi Model ML

17
Pelatihan dan Uji Coba Model

Proses pelatihan model (model training)

• adalah sebuah proses mengekstrak pola atau pengetahuan pada data latih menggunakan algoritma tertentu.
• Berbagai jenis algoritma dapat digunakan pada tahap ini tergantung task atau masalah apa yang ingin dipecahkan.
• Hasil atau luaran pelatihan menggunakan algoritma tertentu adalah adalah sebuah model Machine Learning.

Pada proses fase pelatihan, digunakan dua jenis dataset yaitu training dan validation dataset.

Algoritma ML memanfaatkan training dataset yang telah disiapkan pada fase sebelumnya untuk mengekstrak pola atau
pengetahuan pada data.

Sedangkan Validation dataset, seting digunakan untuk memvalidasi model dan melakukan hyperparameter
optimalization.

18
Pelatihan dan Uji Coba Model

19
Evaluasi Model

Evaluasi model adalah sebuah proses untuk mengukur performa

model yang telah dihasilkan pada proses training.

Ada banyak metode untuk mengevaluasi model, biasanya

tergantung kepada jenis task yang dilakukan serta informasi apa
yang ingin diketahui.
• Sebagai contoh pada kasus regresi dan klasifikasi, membutuhkan metode yang
berbeda karena ukuran baik atau tidaknya model regresi dan klasifikasi berbeda.
20
Evaluasi Model

21
 Convusion Matrix

Confusion matrik adalah matrik yang berukutan N x N

dimana N adalah jumlah kelas yang diprediksi. Jadi metric
ini cocok digunakan untuk permasalahan klasifikasi.

Confusion matrix menyajikan ringkasan semua hasil prediksi

yang dihasilkan dengan membandingkan antara hasil
prediksi dan hasil yang diharapkan.
• TP (True Positif) berisi jumlah data points diberi label Yes yang memang
sebenarnya bernilai Yes.
• TN (True Negatif) berisi jumlah data points diberi label No yang
memang sebenarnya bernilai No.
• FP (False Positif) berisi jumlah data points diberi label Yes yang memang
sebenarnya bernilai No. Error ini biasa disebut Error Type 1
• FN (False Negatif) berisi jumlah data points diberi label No yang
• memang sebenarnya bernilai Yes. Error ini biasa disebut Error Type 2

22
Convusion Matrix
Nilai Performa dari CM

Akurasi

• Perbandingan jumlah item yang di prediksi benar

dengan total seluruh prediksi yang dilakukan

Recall atau Sensitivity atau TPR (True

Positive Rate):
• Perbandingan jumlah item yang relevan
diidentifikasi benar dengan seluruh item yang
benar.
• Contohnya seberapa besar orang yang positif
Covid di identifikasi sebagai positif ?
24
Nilai Performa dari CM

Specificity atau TNR (True Negative Rate):

• Perbandingan jumlah item yang di identifikasi
sebagai negatif dengan yang benar-benar negatif.
• Contohnya berapa banyak orang yang sehat di
identifikasi tidak terkena Covid?

Precision:
• Perbandingan jumlah item yang di identifikasi
sebagai positif secara benar terhadap jumlah item
yang di identifikasi positif

25
Nilai Performa dari CM

False Positive Rate (FPR) atau Type I

Error:
• Perbandingan jumlah item yang salah
identifikasi sebagai positif dengan jumlah
item yang dibenar-benar negative

False Negative Rate (FNR) atau Type

II Error:
• Perbandingan jumlah item yang salah
identifikasi sebagai negatif dengan jumlah
item yang dibenar-benar positif.
26
ROC - AUC

Kurva AUC - ROC merupakan pengukuran performa untuk

masalah klasifikasi pada berbagai pengaturan threshold.

ROC Kurva probabilitas dan AUC mewakili derajat atau

ukuran keterpisahan.
• Ini memberi tahu seberapa besar model mampu membedakan antar kelas.
• Semakin tinggi AUC, semakin baik model memprediksi 0 sebagai 0 dan 1
sebagai 1. Dengan analogi, semakin tinggi AUC, semakin baik model dalam
membedakan antara pasien dengan penyakit dan tidak ada penyakit.
27
 ROC - AUC

Kurva KOP diplotkan dengan TPR terhadap FPR dimana

TPR berada pada sumbu y dan FPR pada sumbu x.

Model yang sangat baik memiliki AUC mendekati angka 1

yang berarti model tersebut memiliki ukuran
keterpisahkan yang baik.

Model yang buruk memiliki AUC mendekati O yang

berarti model tersebut memiliki ukuran keterpisahan
yang terburuk.
• Ini memprediksi 0 sebagai 1 dan 1 sebagai 0.

Dan jika AUC 0,5, berarti model tidak memiliki kapasitas

pemisahan kelas sama sekali.

28
RMSE (Root Mean Square Error)

Root Mean Square Error (RMSE) adalah metode

pengukuran dengan mengukur perbedaan nilai dari
prediksi sebuah model dengan nilai observasi atau label.
• RMSE dihitung dari akar kuadrat Mean Square Error.
• Nilai RMSE dapat berkisar dari O hingga 

Keakuratan metode estimasi kesalahan pengukuran

ditandai dengan adanya nilai RMSE yang kecil.

• Nilai RMSE rendah menunjukkan bahwa nilai yang dihasilkan oleh

suatu model mendekati nilai observasinya.
• Sebuah model yang mempunyai nilai RMSE lebih kecil dikatakan lebih
akurat daripada model yang memiliki nilai RMSE lebih besar.
29
R-Square

Koefisien determinasi (R Square atau R kuadrat) atau "R2"

• bermakna sebagai sumbangan pengaruh yang diberikan variabel bebas atau variabel independent (X)
terhadap variabel terikat atau variabel dependent (Y).

R Square ini berguna untuk melihat seberapa besar kontribusi pengaruh yang
diberikan variabel X secara simultan (bersamasama) terhadap variabel Y.

Nilai R squared berkisar antara 0 sampai 1 yang mengindikasikan besarnya

kombinasi variabel independen secara bersama - sama mempengaruhi nilai
variabel dependen.

Semakin mendekati angka satu, model yang dikeluarkan oleh regresi tersebut akan
semakin baik
30
R-Square

Contoh
• Jika nilai R adalah sebesar 0,80 maka koefisien
determinasi (R Square) adalah 0,80 x 0,80 = 0,64.
• Berarti kemampuan variabel bebas dalam menjelaskan
varians dari variabel terikatnya adalah sebesar 64,0%.
• Berarti terdapat 36% (100%-64%) varians variabel terikat
yang dijelaskan oleh faktor lain.
31
Terima Kasih
muhtadan@[Link]

08170402381