Nama : Ilham Ramdani

NIM : 24040124410007

Rangkuman: Pohon Keputusan (Decision Trees) — Mata Kuliah Machine

Learning

Pendahuluan
Pohon keputusan (decision tree) adalah salah satu metode supervised learning yang populer
dalam machine learning untuk tugas klasifikasi dan regresi. Secara intuitif, pohon keputusan
membagi ruang fitur secara rekursif menjadi sub-ruang yang lebih homogen terhadap target
(label) dengan menggunakan aturan sederhana berbentuk “jika-maka” (if-then). Hasilnya
adalah model yang mudah diinterpretasikan: akar (root) → cabang (branches) → simpul
keputusan (internal nodes) → daun (leaves) yang memberi prediksi kelas atau nilai kontinu.

Struktur dan Komponen Dasar

Pohon keputusan terdiri dari beberapa elemen utama:

 Root node: simpul awal yang mewakili seluruh dataset.

 Internal nodes: simpul yang memuat kondisi pembagian (split) pada sebuah fitur
(misalnya feature_j <= t).
 Edges / branches: jalur antara simpul yang merepresentasikan hasil kondisi (ya/tidak
atau interval).
 Leaves (terminal nodes): simpul akhir yang menyimpan prediksi—kelas mayoritas
untuk klasifikasi atau rata-rata target untuk regresi.

Setiap split bertujuan meningkatkan “kemurnian” (purity) dari subset hasil split: dalam
klasifikasi, kemurnian berarti sebagian besar contoh di daun berasal dari satu kelas; dalam
regresi, variance target kecil.

Kriteria Pemilihan Split

Pemilihan atribut dan titik threshold untuk split didasarkan pada metrik peningkatan kualitas
(impurity reduction / information gain). Beberapa metrik umum:
 2
 Gini Impurity (CART): G=1−Σ k p k Dipopulerkan oleh algoritma CART
(Classification and Regression Trees).
 Information Gain / Entropy (ID3, C4.5): Entropy H=−Σ k Pk log Pk . Information gain
adalah penurunan entropy setelah split.
 Gain Ratio (C4.5): menormalkan information gain untuk mengurangi bias terhadap
atribut dengan banyak nilai.
 Variance reduction: untuk regresi, split dipilih berdasarkan pengurangan varians
target.

Algoritma menghitung metrik untuk setiap kandidat split (setiap fitur dan threshold) dan
memilih yang memberikan peningkatan terbaik.

Algoritma Populer

 ID3 (Quinlan, 1986): fokus pada information gain, bekerja baik untuk atribut
kategorikal.
 C4.5 (Quinlan, 1993): perbaikan ID3; mendukung atribut numeric (dengan mencari
threshold), menangani missing value, dan menggunakan gain ratio.
 CART (Breiman et al., 1984): menggunakan Gini untuk klasifikasi dan pembagian
berbasis binary splits (dua cabang), juga menyediakan pohon regresi.
Implementasi modern seperti pada scikit-learn mengadopsi ide CART.

Overfitting, Pruning dan Generalisasi

Pohon keputusan cenderung overfit pada data pelatihan jika dibuat terlalu dalam (deep)
karena dapat memisahkan data sampai setiap daun hanya memuat satu contoh (zero training
error). Untuk ini diperlukan pengendalian kompleksitas:

 Pruning pra-pembuatan (pre-pruning / early stopping): hentikan pertumbuhan

berdasarkan kriteria seperti kedalaman maksimum, jumlah sampel minimum pada
node, atau pengurangan impurity minimum.
 Pruning pasca-pembuatan (post-pruning / cost-complexity pruning): bangun pohon
penuh, lalu pangkas cabang yang tidak memberikan peningkatan validasi yang
signifikan (mis. cost-complexity pruning pada CART).
  Cross-validation sering digunakan untuk memilih hyperparameter pruning dan
mencegah overfitting.

Hubungan dengan bias–variance: pohon yang sangat dalam cenderung memiliki variance
tinggi (sensitif terhadap data), sedangkan pohon yang dangkal dapat memiliki bias tinggi
(underfit). Ensemble (lihat di bawah) dapat memperbaiki trade-off ini.

Menangani Fitur Numerik, Kategorikal, dan Missing Value

 Fitur numerik: biasanya diproses dengan mencari threshold (t) untuk membagi seperti
x <= t. Banyak implementasi menghitung kandidat threshold antara nilai unik
bertetangga.
 Fitur kategorikal: bisa dipecah berdasarkan partisi subset kategori; untuk fitur dengan
banyak kategori, perlu strategi efisien karena ruang partisi besar. C4.5 dan beberapa
implementasi lain menggunakan heuristik/norma untuk menghindari bias.
 Missing values: beberapa algoritma menyertakan pengisian (imputation) atau
penanganan khusus seperti menggunakan probabilitas distribusi pada cabang
(surrogate splits).

Keunggulan Pohon Keputusan

 Interpretabilitas tinggi: aturan dapat dibaca langsung—berguna di domain yang

memerlukan transparansi (kedokteran, finansial).
 Tidak membutuhkan scaling fitur: pohon tidak sensitif terhadap skala karena
pembagian berdasarkan urutan nilai.
 Dapat menangani fitur campuran (numerik + kategorikal).
 Sedikit preprocessing: relatif toleran terhadap outlier dan tidak mensyaratkan
normalisasi.

Kelemahan

 Rentan overfitting bila tidak dikontrol.

 Variabilitas tinggi: model sangat sensitif terhadap perubahan data kecil (perubahan
kecil dapat menghasilkan struktur pohon berbeda).
 Bias terhadap atribut dengan banyak nilai: jika menggunakan information gain tanpa
normalisasi, atribut dengan banyak nilai cenderung dipilih.
  Kurang akurat dibanding metode ensemble pada banyak problem nyata—meskipun
interpretabilitas lebih baik dibanding model kompleks.

Ensemble: Bagging, Random Forest, Boosting

Untuk mengatasi kelemahan pohon tunggal, digunakan ensemble trees:

 Bagging (Bootstrap Aggregation): bangun banyak pohon pada sampel bootstrap

berbeda dan rata-ratakan prediksi (untuk regresi) atau voting (klasifikasi).
Mengurangi variance. Random Forest (Breiman) menambahkan pemilihan subset fitur
secara acak pada setiap split, meningkatkan keragaman pohon dan performa.
 Boosting: metode seperti AdaBoost, Gradient Boosting Machines (GBM), XGBoost,
LightGBM membangun pohon secuplik (episodik) di mana setiap pohon berikutnya
berfokus pada kesalahan sebelumnya. Bias dan variance bisa dikurangi, menghasilkan
performa state-of-the-art pada banyak kompetisi. Boosted trees sering lebih akurat
daripada random forest, namun tuning dan risiko overfitting tetap ada.

Evaluasi Model

Metode evaluasi umum:

 Confusion matrix, akurasi, presisi, recall, F1-score untuk klasifikasi.

 MSE, RMSE, MAE, R² untuk regresi.
 Cross-validation untuk estimasi generalisasi lebih andal.
 Learning curves dapat membantu memeriksa apakah model underfit/overfit.

Interpretabilitas dan Feature Importance

Pohon memberikan kemudahan interpretasi melalui aturan. Selain itu, ensemble seperti
random forest bisa menghitung feature importance (mis. decrease in impurity atau
permutation importance) untuk menilai kontribusi fitur. Namun interpretasi pada ensemble
lebih kompleks dibanding pohon tunggal.

Hyperparameter Penting

Beberapa hyperparameter yang biasanya disetel:

  max_depth (kedalaman maksimum).
 min_samples_split (jumlah sampel minimum untuk membagi node).
 min_samples_leaf (jumlah minimum sampel di daun).
 max_features (jumlah fitur yang dipertimbangkan tiap split, penting untuk random
forest).

Penerapan

Pohon keputusan banyak dipakai pada:

 Diagnostik kesehatan (mis. klasifikasi penyakit), kredit scoring, deteksi fraud.

 Masalah bisnis untuk aturan keputusan yang mudah diaudit.
 Komponen dasar ensemble modern (random forest, gradient boosting) yang dipakai
secara luas dalam kompetisi dan industri.

Praktik Terbaik singkat

 Selalu gunakan cross-validation untuk menilai kinerja.

 Terapkan pruning atau batasi kedalaman untuk menghindari overfitting.
 Gunakan ensemble (random forest/gradient boosting) ketika performa prediktif
prioritas dan interpretabilitas tidak kritis.
 Gunakan permutation importance atau partial dependence plots untuk memahami efek
fitur pada prediksi.
 Tangani imbalance kelas (class imbalance) dengan teknik sampling, pengaturan class
weights, atau metrik evaluasi yang tepat.

Kesimpulan

Pohon keputusan adalah alat yang kuat dan intuitif dalam machine learning: mudah dipahami,
fleksibel, dan efektif untuk banyak kasus. Namun, pohon tunggal rentan terhadap overfitting
dan variansi tinggi, sehingga sering dipasangkan dengan teknik ensemble untuk
meningkatkan performa. Memahami kriteria split, teknik pruning, dan trade-off bias-variance
adalah kunci untuk menggunakan pohon keputusan secara efektif.
Referensi

1. Breiman, L., Friedman, J., Olshen, R., & Stone, C. (1984). Classification and
Regression Trees. Wadsworth.
2. Quinlan, J. R. (1986). Induction of decision trees (ID3). Machine Learning, 1(1), 81–
106.
3. Quinlan, J. R. (1993). C4.5: Programs for Machine Learning. Morgan Kaufmann.
4. Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
5. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning
(2nd ed.). Springer.
6. Pedregosa, F., Varoquaux, G., Gramfort, A., et al. (2011). Scikit-learn: Machine
Learning in Python. Journal of Machine Learning Research.
7. Kotsiantis, S. B. (2007). Supervised Machine Learning: A Review of Classification
Techniques. Informatica 31: 249–268.
8. Rokach, L., & Maimon, O. (2008). Data Mining with Decision Trees: Theory and
Applications. World Scientific.