BAB III
CROSS VALIDATION
3.1 Sejarah dan Perkembangan Cross Validation
Cross-validation adalah metode statistik yang digunakan untuk mengevaluasi
kinerja model atau teknik analisis data. Metode ini pertama kali diperkenalkan pada
tahun 1949 oleh seorang ahli statistik bernama Jack L. Kiefer. Dia memperkenalkan
metode cross-validation sebagai alternatif untuk pengujian hipotesis yang terus-
menerus pada data yang sama. Sejak itu, cross-validation telah menjadi salah satu
teknik utama dalam statistik, pembelajaran mesin, dan analisis data. Metode ini terus
berkembang dan diperluas untuk memenuhi kebutuhan analisis data modern yang
semakin kompleks.
Pada awalnya, cross-validation digunakan untuk mengevaluasi model linear
sederhana dengan sedikit variabel prediktor. Namun, dengan perkembangan teknologi
dan kebutuhan analisis data yang semakin kompleks, cross-validation menjadi
semakin penting dan digunakan dalam berbagai aplikasi, seperti pengenalan wajah,
analisis citra medis, pemrosesan bahasa alami, dan sebagainya. Dalam beberapa tahun
terakhir, cross-validation telah menjadi semakin populer karena kemampuannya untuk
mengevaluasi kinerja model dan mencegah overfitting, yaitu kondisi di mana model
terlalu cocok dengan data pelatihan dan tidak mampu menggeneralisasi ke data yang
tidak terlihat selama pelatihan. Beberapa jenis cross-validation telah dikembangkan,
seperti k-fold cross-validation, leave-one-out cross-validation, dan nested cross-
validation. Selain itu, teknik ini juga telah digunakan dalam kombinasi dengan teknik
lain seperti ensemble learning dan hyperparameter tuning. Secara keseluruhan, cross-
validation telah berkembang menjadi metode yang sangat penting dalam analisis data
modern dan terus berkontribusi pada perkembangan ilmu data.
3.2 Konsep Dasar Cross Validation
Cross validation adalah teknik yang digunakan untuk mengukur kinerja model
dan memvalidasi kemampuan generalisasi model. Konsep dasar cross validation
adalah membagi data menjadi dua bagian yaitu data pelatihan (training data) dan data
pengujian (testing data). Pada saat menggunakan teknik cross validation, data
pelatihan dibagi menjadi beberapa subset yang disebut fold. Model dilatih pada
beberapa fold dan kemudian diuji pada fold yang tidak digunakan untuk melatih
model. Proses ini dilakukan secara berulang - ulang, sehingga setiap fold akan
digunakan sebagai data pengujian sekali dan model akan diuji pada setiap fold.
Setelah semua fold telah digunakan untuk pengujian, maka kinerja model dihitung
dengan mengambil rata - rata dari hasil pengujian pada setiap fold.
3.3 Definisi Cross Validation
Cross Validation (CV) adalah metode evaluasi kinerja model statistik atau
algoritma mesin yang digunakan untuk memprediksi atau mengklasifikasikan data.
Metode ini melibatkan pemisahan data menjadi beberapa subset, salah satu subset
digunakan sebagai data uji dan subset lainnya digunakan sebagai data latih untuk
melatih model. Proses ini diulang beberapa kali sehingga semua subset digunakan
sebagai data uji pada suatu titik waktu tertentu. Selanjutnya, jenis cross validation
dapat didasarkan pada ukuran dataset. Cross validation digunakan untuk validasi atau
evaluasi kinerja model dan berfungsi sebagai pemilihan rasio untuk memisahkan data
pengujian dan pelatihan. Cross validation dapat menghasilkan estimasi akurasi dari
proses dataset.
Cross validation dikembangkan karena pada model sebelumnya (split
validation) terdapat kelemahan yaitu pengambilan sampelnya diambil secara acak,
kemudian pengambilan sampel test error nya juga tidak bisa mendistribusikan kelas
secara terstruktur. Meskipun hasil yang diperoleh bisa maksimal tapi tidak bisa
menjangkau pengujian yang lebih efisien. Maka muncul cross validation yang mampu
bekerja dengan cepat dengan pengambilan sampel yang lebih terstruktur, jadi dalam
jumlah pengujian beberapa pun set data latih dan set data uji akan diambil dengan
data yang berbeda dengan percobaan atau iterasi sebelumnya. Cross validation
berguna untuk menghindari overfitting, yaitu kondisi di mana model terlalu
disesuaikan dengan data latih dan tidak dapat digeneralisasi dengan baik ke data uji.
Metode ini juga membantu dalam memilih model terbaik dari beberapa model yang
diuji dan memberikan perkiraan yang lebih akurat tentang kinerja model pada data
yang tidak terlihat selama pelatihan.
3.4 Jenis – Jenis Cross Validation
Ada beberapa jenis cross validation yang umum digunakan, antara lain:
1. K-Fold Cross Validation
K-fold cross validation adalah teknik evaluasi model dalam pembelajaran
mesin dan statistik yang melibatkan pembagian data menjadi k subset yang sama
ukurannya, atau “lipatan” (fold), di mana setiap subset diambil sebagai set pengujian
satu kali dan subset yang tersisa digunakan sebagai set pelatihan. Teknik ini termasuk
dalam kategori cross validation karena model dievaluasi pada data yang tidak
digunakan untuk pelatihan. Dalam jenis ini, data dibagi menjadi k subset yang sama
besar dan k iterasi dilakukan di mana setiap subset digunakan sebagai data uji sekali
dan subset lainnya digunakan sebagai data latih. Hasil dari k iterasi digunakan untuk
menghitung rata - rata performa model. Cara kerja k - fold cross validation adalah
sebagai berikut:
1. Data dibagi menjadi k subset yang sama ukurannya.
2. Setiap subset diambil satu kali sebagai set pengujian dan subset yang tersisa
digunakan sebagai set pelatihan.
3. Model dilatih pada set pelatihan dan dievaluasi pada set pengujian.
4. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan score.
5. Langkah 2 - 4 diulangi sebanyak k kali, di mana setiap subset diambil satu kali
sebagai set pengujian.
6. Rata - rata kinerja model dari setiap percobaan dihitung untuk memberikan
kinerja lebih akurat dan stabil.
Keuntungan dari teknik k - fold cross validation adalah dapat menghasilkan
evaluasi model yang lebih akurat dan stabil dibandingkan dengan teknik cross
validation lainnya. Hal ini karena k - fold cross validation mengambil rata - rata dari
kinerja model dari beberapa percobaan, sehingga dapat mengurangi efek dari
pembagian data acak yang buruk. Selain itu, teknik ini juga lebih efisien waktu
dibandingkan dengan teknik validasi silang leave-one-out yang menghasilkan banyak
subset.
2. Leave One Out Cross Validation (LOOCV)
Validasi leave one out cross validation adalah kasus khusus dari validasi k -
fold cross validation yang mana jumlah folds sama dengan jumlah instans. Ketika
jumlah instans pada dataset nilai kelas kecil, semacam gen microarray data dan gen
sequence data. Leave one out harus diadopsi untuk mendapatkan estimasi keakuratan
yang terpecaya dari kualifikasi. Beberapa studi yang mengadopsi validasi leave one
out cross untuk mengevaluasi performa dari penggolongan metode klasifikasi ketika
jumlah instans ke dalam data training dan testing tidak ada, poin estimasi keakuratan
untuk daya yang diberikan adalah konstan. Hal ini tentunya akan memperoleh
distribusi sampel untuk validasi leave one out cross untuk membuat inferensi statistik
rata - rata akurasi dari penggolongan metode klasifikasi. Teknik ini juga dapat
diartikan bahwa meninggalkan satu untuk validasi silang, yaitu dengan melibatkan
sampel pengamatan tunggal dari sampel asli yang digunakan sebagai validasi data,
dan sampel pengamatan yang tersisa digunakan sebagai data pelatihan. Hal ini
dilakukan berulang pada setiap observasi dalam sampel yang digunakan sekaligus
sebagai validasi data.
Keuntungan dari jenis ini adalah dengan menggunakan semua data untuk
menguji model, akan memberikan perkiraan yang lebih akurat tentang kinerja model
pada data yang tidak terlihat selama pelatihan. Namun, kelemahannya adalah proses
pelatihan model yang dilakukan berulang - ulang dan dapat memakan waktu yang
lama terutama jika datasetnya besar. LOOCV sangat berguna untuk menghindari
overfitting, yaitu kondisi di mana model terlalu cocok dengan data pelatihan dan
kinerjanya menurut pada data yang tidak terlihat selama pelatihan. Dengan
menggunakan LOOCV, dapat memilih model terbaik yang mampu memberikan
performa yang baik pada data yang tidak terlihat selama pelatihan.
3. Repeated Random Subsampling Validation
Repeated random subsampling validation (RRSV) adalah teknik evaluasi
model dalam pembelajaran mesin dan statistik yang melibatkan pembagian data
menjadi dua set secara acak: set pelatihan dan set pengujian. Teknik ini termasuk
dalam kategori cross validation karena model jilbab dievaluasi pada data yang tidak
digunakan untuk pelatihan. Namun, RRSV membedakan dirinya dari teknik cross
validation lainnya dengan melakukan pembagian data secara acak sejumlah kali
tertentu dan menghitung rata - rata kinerja model. Cara kerja RRSV adalah sebagai
berikut:
1. Data dibagi menjadi dua set acak: set pelatihan dan set pengujian.
2. Set pelatihan digunakan untuk melatih model.
3. Set pengujian digunakan untuk mengevaluasi kinerja model.
4. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan F - 1 score.
5. Langkah 1 - 4 diuji sejumlah kali tertentu.
6. Rata - rata kinerja model dari setiap percobaan dihitung untuk memberikan
kinerja yang lebih akurat dan stabil.
Keuntungan dari teknik RRSV adalah dapat menghasilkan evaluasi model
yang lebih akurat dan stabil dibandingkan teknik cross validation lainnya. Hal ini
karena RRSV mengambil rata - rata dari kinerja model dari beberapa percobaan,
sehingga dapat mengurangi efek dari pembagian data acak yang buruk. Namun,
kelemahan dari RRSV memerlukan waktu yang lebih lama dibandingkan teknik cross
validation lainnya karena dilakukan sejumlah kali tertentu. Selain itu, memilih jumlah
iterasi yang tepat juga dapat mempengaruhi kinerja model.
4. Stratified K - Fold Cross Validation
Stratified k - fold cross validation adalah variasi dari teknik k - fold cross
validation yang mempertahankan proporsi kelas pada setiap lipatan. Teknik ini sering
digunakan dalam masalah klasifikasi dengan data yang tidak seimbang, di mana
jumlah sampel dalam setiap kelas berbeda - beda. Cara kerja stratified k - fold cross
validation adalah sebagai berikut:
1. Data dibagi menjadi k subset yang sama ukurannya.
2. Proporsi kelas pada setiap subset dijaga sesuai dengan proporsi kelas pada
dataset asli.
3. Setiap subset diambil satu kali sebagai set pengujian dan subset yang tersisa
digunakan sebagai set pelatihan.
4. Model dilatih pada set pelatihan dan dievaluasi pada set pengujian.
5. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan F - 1 score.
6. Langkah 3 - 5 diulangi sebanyak k kali, di mana setiap subset diambil satu kali
sebagai set pengujian.
7. Rata - rata kinerja model dari setiap percobaan dihitung untuk memberikan
kinerja yang lebih akurat dan stabil.
Keuntungan dari teknik stratified k - fold cross validation adalah dapat
menghasilkan evaluasi model yang lebih akurat dan stabil pada data yang tidak
seimbang. Hal ini karena teknik ini mempertahankan proporsi kelas pada setiap
lipatan sehingga setiap kelas memiliki jumlah sampel yang seimbang pada setiap
pengujian. Contoh penggunaan teknik stratified k - fold cross validation adalah dalam
klasifikasi dokumen, di mana setiap dokumen diklasifikasikan ke dalam kelas yang
berbeda berdasarkan kontennya. Jumlah dokumen dalam setiap kelas mungkin tidak
seimbang, sehingga teknik stratified k - fold cross validation dapat digunakan untuk
menghasilkan evaluasi model yang lebih akurat dan stabil.
5. Time Series Cross Validation
Time series cross validation adalah teknik evaluasi model dalam analisis data
deret waktu yang membagi data deret waktu menjadi beberapa bagian dan menguji
kinerja model dengan menggunakan data masa lalu untuk memprediksi data masa
depan. Cara kerja time series cross validation adalah sebagai beriikut:
1. Data deret waktu dibagi menjadi beberapa bagian dengan ukuran yang sama.
2. Data bagian awal digunakan untuk melatih model dan data bagian berikutnya
digunakan untuk menguji kinerja model.
3. Model dilatih pada data bagian awal dan dievaluasi pada data bagian
berikutnya.
4. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan F-1 score.
5. Langkah 2 -4 diulangi sebanyak bagian yang telah ditentukan.
6. Rata - rata kinerja model dari setiap percobaan dihitung untuk memberikan
kinerja yang lebih akurat dan stabil.
Keuntungan dari teknik time series cross validation adalah dapat
menghasilkan evaluasi model yang lebih akurat dan stabil pada deret waktu, di mana
data masa depan tidak dapat digunakan dalam pelatihan. Hal ini dikarenakan teknik
ini membagi data deret waktu menjadi beberapa bagian, sehingga dapat menguji
kinerja model dengan menggunakan data masa lalu untuk memprediksi data masa
depan. Contoh penggunaan teknik ini adalah dalam memprediksi harga saham, di
mana data deret waktu adalah harga saham pada beberapa waktu yang lalu. Teknik
time series cross validation dapat digunakan untuk menguji kinerja model prediksi
harga saham dengan menggunakan data masa lalu untuk memprediksi harga saham di
masa depan.
6. Nested Cross Validation
Nested cross validation adalah teknik evaluasi model yang digunakan untuk
mengevaluasi model yang kompleks atau memiliki banyak hiperparameter. Teknik ini
melibatkan penggunaan dua tingkat cross validation, di mana cross validation luar
digunakan untuk mengevaluasi kinerja model dan cross validation dalam digunakan
untuk memilih hiperparameter model. Cara kerja nested cross validation adalah
sebagai berikut:
1. Data dibagi menjadi k subset yang sama ukurannya.
2. Setiap subset diambil satu kali sebagai set pengujian dan subset yang tersisa
digunakan sebagai set pelatihan.
3. Cross validation dalam dilakukan pada set pelatihan untuk memilih
hiperparameter model.
4. Model dilatih pada set pelatihan dengan hiperparameter yang dipilih dan
dievaluasi pada set pengujian.
5. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan F-1 score.
6. Langkah 2 - 5 diulangi sebanyak k kali, di mana setiap subset diambil satu kali
sebagai set pengujian.
7. Kinerja model dari setiap percobaan dihitung untuk memberikan kinerja yang
lebih akurat dan stabil.
8. Cross validation luar dilakukan pada seluruh data set untuk mengevaluasi
kinerja model secara keseluruhan.
Keuntungan dari teknik nested cross validation adalah dapat menghasilkan
evaluasi model yang lebih akurat dan stabil pada model yang kompleks atau memiliki
banyak hiperparameter. Hal ini karena teknik ini menggunakan dua tingkat cross
validation. Contoh penggunaan teknik ini adalah dalam pembangunan model prediksi
untuk klasifikasi kesehatan pasien berdasarkan data medis. Teknik nested cross
validation dapat digunakan untuk mengevaluasi model prediksi dengan banyak
hiperparameter dan fitur-fitur yang kompleks. Teknik ini dapat membantu memilih
hiperparameter terbaik untuk model dan mengevaluasi kinerja model secara
keseluruhan.
7. Hold Out Cross Validation
Holdout cross validation adalah teknik evaluasi model dalam pembelajaran
mesin dan statistik yang melibatkan pembagian data menjadi dua set: set pelatihan
dan set pengujian. Set pelatihan digunakan untuk melatih model dan set pengujian
digunakan untuk mengevaluasi kinerja model yang telah dilatih. Teknik ini termasuk
dalam kategori cross validation karena model dievaluasi pada data yang tidak
digunakan untuk pelatihan. Cara kerja holdout cross validation adalah sebagai berikut:
1. Data dibagi menjadi dua set acak: set pelatihan dan set pengujian.
2. Set pelatihan digunakan untuk melatih model.
3. Set pengujian digunakan untuk mengevaluasi kinerja model.
4. Kinerja model dievaluasi menggunakan metrik seperti akurasi, presisi, recall,
dan F-1 score.
5. Jika kinerja model memuaskan, model dapat digunakan pada data baru.
Keuntungan dari teknik holdout cross validation adalah mudah dilakukan dan
cepat, karena hanya membagi data menjadi dua set. Namun, teknik ini mungkin
kurang akurat dibandingkan teknik cross validation lainnya seperti validasi silang dan
bootstrap, karena dapat menghasilkan varian kinerja model yang tinggi tergantung
pada cara data dibagi. Oleh karena itu, penting untuk memilih rasio data pelatihan dan
pengujian yang tepat untuk menghasilkan evaluasi model yang akurat.
3.5 Kelebihan dan Kekurangan Cross Validation
Cross validation sebagai metode statistik yang digunakan untuk mengevaluasi
kinerja model dan memilih model terbaik dalam pembelajaran mesin atau statistika
tentunya memiliki kelebihan dan kekurangan. Kelebihan metode cross validation
adalah sebagai berikut:
1. Mencegah overfitting
Cross validation dapat membantu mencegah overfitting, yaitu kondisi di mana
model terlalu cocok dengan data pelatihan dan tidak mampu menggeneralisasi ke
data yang tidak terlihat selama pelatihan.
2. Menilai kinerja model yang lebih akurat
Cross validation dapat memberikan perkiraan yang lebih akurat tentang kinerja model
pada data yang tidak terlihat selama pelatihan.
3. Mengoptimalkan parameter model
Cross validation dapat membantu menemukan parameter model yang optimal dengan
mencoba berbagai kombinasi parameter yang berbeda.
Sedangkan, kekurangan metode cross validation adalah sebagai berikut:
1. Memakan waktu dan sumber daya
Cross validation dapat memakan waktu dan sumber daya yang signifikan terutama
jika datasetnya besar.
2. Kemungkinan kesalahan pengambilan sampel
Pada jenis cross validation tertentu, seperti k-fold cross validation, kemungkinan
terjadi kesalahan pengambilan sampel dan mempengaruhi hasil evaluasi.
3. Tidak bisa menjadi kinerja model yang optimal
Meskipun cross validation dapat membantu mencari parameter yang optimal dan
menghindari overfitting, tetapi tidak dapat menjamin kinerja model yang optimal pada
data set yang berbeda.
4. Tidak cocok untuk data yang tidak seimbang
Cross validation tidak cocok untuk data yang tidak seimbang, yaitu ketika jumlah
sampel pada kelas atau kelompok tertentu sangat kecil.
Dalam penggunaan cross validation, perlu diperhatikan bahwa kekurangan tersebut harus
dikelola dengan hati - hati sehingga evaluasi model yang dihasilkan dapat akurat dan efisien.
3.6 Studi Kasus dan Imlementasi Cross Validation
Contoh studi kasus dan implementasi cross validation adalah sebagai berikut:
1. Klasifikasi Spam Email
Studi kasus ini bertujuan untuk mengklasifikasikan email sebagai spam atau
bukan spam menggunakan algoritma pembelajaran mesin. Dalam studi kasus
ini, k-fold cross-validation dapat digunakan untuk mengevaluasi kinerja
model. Implementasi :
1. Dataset email dipartisi menjadi k set dengan ukuran yang sama.
2. Model dilatih pada k-1 set dan diuji pada set data yang tersisa.
3. Proses dilakukan k kali dengan menggunakan set data yang berbeda
pada setiap kali untuk menghasilkan estimasi yang lebih akurat tentang
kinerja model.
4. Hasil evaluasi digunakan untuk memilih model terbaik dan
memperbaiki parameter model.
2. Prediksi Harga Rumah
Studi kasus ini bertujuan untuk memprediksi harga rumah berdasarkan
sejumlah variabel seperti lokasi, ukuran, jumlah kamar tidur, dan lain-lain.
Dalam studi kasus ini, leave-one-out cross-validation dapat digunakan untuk
mengevaluasi kinerja model.
Implementasi:
1. Dataset harga rumah dipartisi menjadi n set, di mana n adalah jumlah
sampel dalam dataset.
2. Model dilatih pada n-1 set dan diuji pada set data yang tersisa.
3. Proses dilakukan n kali dengan menggunakan set data yang berbeda
pada setiap kali untuk menghasilkan estimasi yang lebih akurat tentang
kinerja model.
4. Hasil evaluasi digunakan untuk memilih model terbaik dan
memperbaiki parameter model.
3. Diagnosis Kanker Payudara
Studi kasus ini bertujuan untuk mendiagnosis kanker payudara menggunakan
data dari berbagai tes medis. Dalam studi kasus ini, nested cross-validation
dapat digunakan untuk mengevaluasi kinerja model.
Implementasi:
1. Dataset kanker payudara dipartisi menjadi k set dengan ukuran yang
sama.
2. Proses inner cross-validation dilakukan untuk memilih model terbaik
dengan menggunakan k-1 set data pelatihan dan 1 set data validasi.
3. Model terbaik kemudian dievaluasi pada set data tes menggunakan
outer cross-validation.
4. Proses dilakukan k kali dengan menggunakan set data yang berbeda
pada setiap kali untuk menghasilkan estimasi yang lebih akurat tentang
kinerja model.
5. Hasil evaluasi digunakan untuk memilih model terbaik dan
memperbaiki parameter model.
Dalam ketiga contoh studi kasus ini, cross-validation digunakan untuk
memilih model terbaik dan memperbaiki parameter model sehingga model
dapat memberikan prediksi yang lebih akurat pada data yang belum terlihat
selama pelatihan.
3.7 Hubungan Cross Validation dengan Regresi Linear
Cross validation dan regresi linear adalah dua konsep yang berbeda tetapi dapat saling
melengkapi dalam konteks pembelajaran mesin dan statistik. Regresi linear adalah teknik
analisis statistik yang digunakan untuk memodelkan hubungan antara dua variabel, di mana
satu variabel adalah variabel independen (biasanya variabel prediktor) dan variabel lainnya
adalah variabel dependen (biasanya variabel target). Tujuan regresi linear adalah untuk
menemukan garis terbaik yang dapat memprediksi nilai variabel target berdasarkan nilai
variabel prediktor. Cross validation, di sisi lain, adalah teknik evaluasi model yang digunakan
untuk mengukur kinerja model pada data yang belum pernah dilihat selama pelatihan. Dalam
cross-validation, data dibagi menjadi dua bagian: data pelatihan dan data validasi. Model
dilatih pada data pelatihan dan kemudian dievaluasi pada data validasi untuk menilai kinerja
model.
Dalam konteks regresi linear, cross-validation dapat digunakan untuk mengevaluasi kinerja
model regresi linear dan untuk memperbaiki parameter model sehingga dapat memberikan
prediksi yang lebih akurat pada data yang belum terlihat. Salah satu contoh penggunaan
cross-validation dalam regresi linear adalah k-fold cross-validation, di mana dataset dibagi
menjadi k subset yang berbeda dan model dilatih pada k-1 subset dan dievaluasi pada subset
yang tersisa. Dengan demikian, cross-validation dan regresi linear dapat digunakan bersama-
sama untuk membangun model regresi linear yang akurat dan dapat diandalkan.
3.8 Implementasi Algortima Cross Validation dalam Regresi Linear
Cross validation dapat digunakan untuk mengevaluasi kinerja model regresi linear pada data
yang belum terlihat selama pelatihan. Salah satu teknik cross validation yang umum
digunakan dalam regresi linear adalah k-fold cross validation. Berikut adalah langkah -
langkah umum dalam implementasi algoritma k-fold cross validation dalam regresi linear:
1. Bagi dataset menjadi k subset yang sama besar.
2. Pilih satu subset sebagai data validasi dan sisanya sebagai data pelatihan.
3. Latih model regresi linear pada data pelatihan.
4. Evaluasi kinerja model pada data validasi menggunakan metrik evaluasi seperti MSE
atau R-squared.
5. Ulangi langkah 2 - 4 dengan memilih subset yang berbeda sebagai data validasi
hingga setiap subset telah digunakan sebagai data validasi.
6. Hitung rata - rata dari metrik evaluasi untuk semua iterasi untuk mendapatkan
estimasi kinerja model.
Berikut adalah contoh implementasi algoritma k-fold cross validation dalam regresi linear
menggunakan Python dan paket scikit-learn:
Dalam contoh di atas, dataset dibagi menjadi 5 subset dengan menggunakan objek ‘KFold’
dari paket ‘sklearn.model_selection’. Setiap iterasi dari k-fold cross validation dilakukan
dengan memilih satu subset sebagai data validasi dan sisanya sebagai data pelatihan. Model
regresi linear dilatih pada data pelatihan dan dievaluasi pada data validasi dengan menghitung
mean squared error (MSE). Rata - rata dari MSE dari semua iterasi digunakan sebagai
estimasi kinerja model.