Machine learning is a subset of artifficial intelligence (AI) that involves creating algorithms and models

that enable computers to learn and improve from experience without being explicitly programmed.

How it works ?

machine learning system learns from data and makes predictions or decisions based on patterns it
discovers in that data.

We are teaching a computer to recognize and understand patterns in data so that it can make accurate
predictions or decisions in new situations it hasn't encountered before.

There are various types of machine learning, including supervised learning (learning from labeled data)
unsupervised learning (learning from unlabeled data), and reinforcement learning (learning from trial
and error).

Supervised learning (learning from labeled data)

kita memiliki kumpulan data pelatihan (training set) yang terdiri dari N contoh data, yaitu { (x₁, y₁), (x₂,
y₂), ..., (x_N, y_N) }, di mana:

- xᵢ adalah masukan (input) ke-i, sering disebut juga sebagai fitur (feature).
- yᵢ adalah keluaran (output) yang diinginkan (label) yang sesuai dengan masukan xᵢ.

Tujuan dari supervised learning adalah untuk menemukan fungsi h(x) yang dapat memetakan masukan
xᵢ ke keluaran yᵢ secara akurat.
 Fungsi h(x) ini disebut juga sebagai model

Untuk mencapai tujuan ini, menggunakan fungsi loss (fungsi kerugian) yang mengukur tingkat
kesalahan antara keluaran yang dihasilkan oleh model dan keluaran yang diinginkan (yᵢ). Salah satu
contoh fungsi loss yang umum digunakan adalah Mean Squared Error (MSE) atau Cross-Entropy Loss.

Supervised Learning

Supp

Random forest
Logistic regression Decision Tree Linear regression

Linear regression ,

Diigunakan untuk memodelkan hubungan linier antara satu atau lebih variabel independen (fitur) dan
satu variabel dependen (target).

Misalkan kita memiliki kumpulan data pelatihan yang terdiri dari N contoh data, yaitu { (x₁, y₁), (x₂,
y₂), ..., (x_N, y_N) }, di mana:

xᵢ adalah nilai fitur (variabel independen) untuk contoh data ke-i.

yᵢ adalah nilai target (variabel dependen) yang sesuai dengan fitur xᵢ.

Tujuan dari linear regression adalah untuk menemukan garis lurus yang paling sesuai dengan data
pelatihan dan dapat memodelkan hubungan linier antara fitur x dan target y.

Garis lurus ini dapat digambarkan sebagai :

y = θ₀ + θ₁ * x

Di mana θ₀ dan θ₁ adalah parameter yang akan disesuaikan selama proses pelatihan. Selama pelatihan,
algoritma linear regression berusaha untuk menemukan nilai θ₀ dan θ₁ yang meminimalkan kesalahan
prediksi (error) antara nilai target yang diinginkan (yᵢ) dan nilai yang diprediksi oleh model (θ₀ + θ₁ * xᵢ).

Logistic Regression ,
Used to deal with classification.

Misalkan kita memiliki kumpulan data pelatihan yang terdiri dari N contoh data, yaitu { (x₁, y₁), (x₂,
y₂), ..., (x_N, y_N) }, di mana :

Maksudnya

xᵢ (vektor fitur): berfungsi sebagai input untuk model dan digunakan untuk membuat prediksi. Misalnya,
jika kita memiliki contoh data tentang mahasiswa, fitur-fitur bisa mencakup nilai ujian, jumlah jam
belajar, dan usia mahasiswa.

yᵢ (label kelas): berfungsi sebagai label / kelas yang sesuai. Dalam kasus binary classification (dua kelas),
nilai yᵢ biasanya adalah 0 atau 1.

Misalnya, jika kita memprediksi apakah mahasiswa lulus ujian (1) atau tidak lulus (0), yᵢ akan mengambil
salah satu dari dua nilai tersebut.

Dalam menentukan label kelas untuk logistic regression ketahui macam macam kasusnya ada apa
saja ?

The goal is to find a straight line that can classify data.

Bentuk umum dari model ini adalah :

P(y=1 | x; θ) = σ(θ₀ + θ₁ * x₁ + θ₂ * x₂ + ... + θₖ * xₖ)

Selama pelatihan, algoritma logistic regression berusaha untuk menemukan nilai parameter θ₀, θ₁, θ₂, ...,
θₖ yang meminimalkan kesalahan prediksi (error).

Jika hanya ada dua kelas (yᵢ bernilai 0 atau 1), kita dapat menggambarkan masalah klasifikasi sebagai
berikut:

Jika P(y=1 | x; θ) > 0.5, kita memprediksi contoh data x sebagai kelas positif (y=1).

Jika P(y=1 | x; θ) ≤ 0.5, kita memprediksi contoh data x sebagai kelas negatif (y=0).

Pada logistic regression, kita menggunakan cross entropy (juga dikenal sebagai log loss) sebagai fungsi
yang mengukur seberapa baik model memprediksi probabilitas kelas yang benar. Misalnya, jika kita
memiliki masalah klasifikasi biner (dua kelas: 0 atau 1),

cross entropy membantu kita menilai seberapa dekat probabilitas yang diprediksi oleh model dengan
label yang sebenarnya.

(misalnya, model memprediksi probabilitas 0.9 untuk kelas 1 ketika label yang sebenarnya adalah 1),
maka cross entropy akan mendekati 0

(misalnya, model memprediksi probabilitas 0.3 untuk kelas 1 ketika label yang sebenarnya adalah 1),
maka cross entropy akan menjadi lebih besar, menunjukkan bahwa model perlu diperbaiki untuk lebih
mendekati probabilitas yang benar.

ukuran seberapa dekat probabilitas prediksi model dengan label yang sebenarnya
Decision tree,

Decision tree digunakan untuk melakukan klasifikasi dan regresi.

Tujuan dari decision tree untuk klasifikasi adalah untuk membuat aturan keputusan berdasarkan fitur-
fitur (xᵢ) yang digunakan untuk memprediksi kelas (yᵢ)

Misalkan kita memiliki kumpulan data pelatihan yang terdiri dari N contoh data, yaitu { (x₁, y₁), (x₂, y₂), ...,
(x_N, y_N) }, di mana:

xᵢ (vektor fitur): berfungsi sebagai input untuk model dan digunakan untuk membuat prediksi

yᵢ (label kelas): berfungsi sebagai label / kelas yang sesuai.

Decision tree adalah struktur pohon di mana setiap simpul (node) pada pohon mewakili pertanyaan
(test) mengenai salah satu fitur.
Maka proses pembuatan decision tree melibatkan pemilihan fitur yang paling informatif untuk
memisahkan data dengan baik berdasarkan kelasnya.

Random Forest,

Metode ensemble yang menggabungkan beberapa decision tree untuk meningkatkan kinerja dan
akurasi prediksi

Misalkan kita memiliki kumpulan data pelatihan yang terdiri dari N contoh data, yaitu { (x₁, y₁), (x₂, y₂), ...,
(x_N, y_N) }, di mana:

xᵢ adalah vektor fitur (variabel independen) untuk contoh data ke-i.

yᵢ adalah label (kelas) yang sesuai dengan fitur xᵢ. Misalnya, jika kita memiliki dua kelas, yᵢ dapat bernilai
0 atau 1. Jika ada lebih dari dua kelas, yᵢ dapat mengambil nilai dari kelas yang berbeda.

Tujuan dari Random Forest adalah untuk menggabungkan prediksi dari beberapa decision tree sehingga
menghasilkan prediksi yang lebih akurat dan stabil daripada hanya menggunakan satu decision tree.

Proses pembuatan Random Forest melibatkan beberapa langkah, seperti berikut:

- Define a random sample of size n (here refers to the bagging method), that is, randomly select n
data from the data set, and
put them back after taking them.
- From the selected n data, a decision tree is trained. For each node:
a. Randomly select d features
b. Use features to split the node

- Repeat step 1~step 2 k times

- Summarize the predictions of all decision trees by voting and decide the classification result in a
majority way.

Support Vector Machine,

Digunakan untuk melakukan klasifikasi dan regresi.

Dalam konteks klasifikasi, SVM digunakan untuk memisahkan data ke dalam dua kelas berdasarkan
fitur-fiturnya.

Dalam konteks regresi, SVM digunakan untuk memprediksi nilai numerik berdasarkan fitur-fiturnya.
Dalam kedua kasus, SVM mencari hyperplane (Garis yang terbaik untuk memisahkan dua kelompok
data yang berbeda misalnya, kelompok A dan B) terbaik yang memaksimalkan margin (jarak antara
garis/hyperplane dengan titik-titik data terdekat) antara dua kelas atau sesuai dengan data regresi.

Tujuan dari SVM adalah untuk menemukan hyperplane yang terbaik memisahkan dua kelas dengan
margin terlebar.

Hyperplane ini didefinisikan oleh persamaan:

w*x+b=0

di mana:

w adalah vektor bobot (weight) yang merupakan normal vektor terhadap hyperplane.

x adalah vektor fitur untuk data yang ingin diprediksi kelasnya.

b adalah konstanta bias yang menentukan posisi hyperplane relatif terhadap pusat koordinat.
Tips and guide :

- I don’t need the detail of each line code what is it, but what I need to know is what should I do
in next step. And also I’m not a dictionary so I don’t remember each function what I use, I just
search the function what I need
- kalau kita berbicara teori itu berbeda dengan pengkodean, jadi teori itu dibahas pas mau
improvisasi model.
- Kalau teori langsung dilahap semua dan terlalu detail padahal belum punya dasar2 nya seperti
apa malah pusing sendiri.
- Pengkodean kita yang penting paham logic nya kaya gimana. Caranya lihat variabel yang mau
dipelajari kita harus tahu itu asalnya dari mana dan itu apa tipenya kenapa formatnya begitu,
baru kalau mau tahu itu apa dibuka dokumentasi nya dibedah cari referensi nya itu apa.
- Try : mind map the theory well
- Math itu digunakan untuk memahami penjelasan algoritma, coba hitung cross entropy dan
decision tree itulah jawabannya bagaimana peran math didalam algoritma machine learning
INTRODUCTION TO MACHINE LEARNING AND AI

Matematika dan statistika, AI itu field yang bisa didalami oleh berbagai disipllin ilmu lainnya.

AI itu mesin/sistem bisa berfikir/bertindak seperti manusia.

Machine Learning -> kenapa machine nya belajar ? ngga diajarin ?

= Data dan pola data(pattern of data)

= Algoritma machine learning mempelajari pola dan hubungan dari data untuk membuat prediksi
berdasarkan pola yang ditemukan
Kenapa ada machine learning programming …

= Di traditional programming, si programmer menulis aturan/rules secara eksplisit untuk

Si komputer pinter karena dikasi tahu pinter. Kalau ada perubahan program, maka di ubah lagi secara
manual oleh programmer

= Di machine learning, kurang lebih seperti traditional programming tapi bedanya rules/aturannya tidak
di tulis secara eksplisit oleh programmer, melainkan si machine itu belajar sendiri , caranya ? finding
pattern pola pola di data. Kalau ada perubahan program ? maka kita hanya perlu menambah
data/memberi data tambahan.

SI komputer pinter karena belajar sendiri dari pola data yang dikasih

Proses learning diatas dilakukan oleh machine bukan oleh programmer.

Maka kita pahami machine learning itu proses learningnya dilakukan oleh machine pakai algoritma
pembelajaran.

Machine learning ada macem macem jenisnya : supervised learning dan unsupervised learning, ada jenis
lain reinforcement learnings

Machine learning model, ada Classification, regression, clustering.

Apa saja algoritma pembelajarn yang digunakn pada tiap machine learning model yang berbeda..

- Model Classification .. decision tree, random forest, support vector machine, naïve bayes
classification.
- Model Regression .. Linear Regression Model, Non Linear Regression, Logistic regression
- Model Clustering .. K-Means, Mean-shift, DBScan, Gaussian Mixture
Karena pasti behubungan dengan data, maka kita perlu tahu data yang kita punya itu masuk kategori
machine learning apa

= pahami pohon keputusan penggunaan model Machine Learning.