Daftar Isi

Kata Pengantar ................................................................................................... v

Daftar Isi ............................................................................................................. vii
Daftar Gambar .................................................................................................. xiii
Daftar Tabel ....................................................................................................... xv

Bab 1 Pengenalan Deep Learning

1.1 Pendahuluan ................................................................................................. 1
1.2 Kenapa Deep Learning, Kenapa Sekarang? .............................................. 6

Bab 2 Neural Networks: Struktur dan Fungsi

2.1 Struktur Jaringan Saraf Tiruan.................................................................... 15
2.2 Neuron, Aktivasi, dan Lapisan ................................................................... 17
2.3 Proses Feedforward dan Backpropagation ................................................ 18
2.4 Fungsi Loss dan Optimizer ......................................................................... 20

Bab 3 Optimasi dan Algoritma Pembelajaran

3.1 Teori Optimasi ............................................................................................. 23
3.1.1 Definisi dan Jenis-jenis Optimasi ...................................................... 23
3.1.2 Fungsi Tujuan dan Kendala ............................................................... 26
3.1.3 Ruang Solusi dan Metode Pencarian ................................................ 28
3.1.4 Optimasi Global vs Optimasi Lokal.................................................. 32
3.2 Algoritma Pembelajaran: Pengantar ......................................................... 36
3.2.1 Algoritma Pembelajaran Terawasi (Supervised Learning) ............ 36
3.2.2 Algoritma Pembelajaran Tak Terawasi (Unsupervised Learning) 42
3.2.3 Pembelajaran Penguatan (Reinforcement Learning) ...................... 47
3.2.4 Optimasi dalam Pembelajaran Mesin ............................................... 54

Bab 4 Arsitektur Jaringan Neural: CNN

4.1 Pendahuluan ................................................................................................. 61
4.2 Arsitektur CNN............................................................................................ 63
4.3 Perkembangan Arsitektur CNN ................................................................. 66
4.4 Performa Model CNN................................................................................. 70
4.5 Penerapan CNN ........................................................................................... 71
4.5.1 Pengenalan Ekspresi Wajah............................................................... 72
viii Deep Learning: Konsep dan Aplikasi

4.5.2 Klasifikasi Gambar ............................................................................. 72

4.5.3 Sistem Pengenalan Tulisan Tangan (OCR) ...................................... 72
4.5.4 Pengolahan Data Suara ...................................................................... 72
4.5.5 Pengolahan Gambar Berita dan Media Sosial .................................. 73

Bab 5 Arsitektur Jaringan Neural: RNN

5.1 Pendahuluan ................................................................................................. 75
5.2 Penggunaan RNN Dalam Pemrosesan Data Berurutan ........................... 79
5.2.1 Pemrosesan Time Series .................................................................... 79
5.2.2 Pemrosesan Bahasa Alami (Natural Language Processing) ........... 80
5.2.3 Pemrosesan Audio dan Sinyal ........................................................... 82
5.2.4 Video Processing ................................................................................ 82
5.3 Arsitektur RNN............................................................................................ 82
5.4 Fungsi aktivasi yang digunakan dalam RNN ............................................ 83
5.5 Pelatihan RNN ............................................................................................. 84
5.5.1 Teknik pelatihan untuk RNN............................................................. 84
5.6 Optimisasi Model RNN .............................................................................. 87
5.7 Implementasi RNN...................................................................................... 88

Bab 6 Deep Learning untuk Computer Vision

6.1 Pendahuluan ................................................................................................. 89
6.2 Computer Vision ......................................................................................... 90
6.3 Algoritma Deep Learning untuk Computer Vision .................................. 91
6.3.1 Convolutional Neural Network (CNN) ............................................ 91
5.4 Studi Kasus Penerapan Algoritma Deep Learning dalam Computer Vision106
5.4.1 Pengumpulan Data ............................................................................. 106
5.4.2 Instalasi dan Import Library............................................................... 107
5.4.3 Menyiapkan Dataset ........................................................................... 107
5.4.4 Preprocessing Data ............................................................................ 107
5.4.5 Membangun Model CNN .................................................................. 110
5.4.6 Melatih Model..................................................................................... 113
5.4.7 Evaluasi Model ................................................................................... 113
5.4.8 Visualisasi Model ............................................................................... 114
5.4.9 Prediksi dengan Model....................................................................... 115
Daftar Isi ix

Bab 7 Deep Learning untuk Natural Language Processing

7.1 Pendahuluan ................................................................................................. 117
7.2 Deep Learning dalam NLP ......................................................................... 120
7.3 Convolutional Neural Networks (CNN).................................................... 122
7.4 Recurrent Neural Networks (RNN) ........................................................... 124
7.5 Transformers ................................................................................................ 127
7.6 Evaluasi Model NLP .................................................................................. 132

Bab 8 Generative Models: GAN dan Variational Autoencoders (VAE)

8.1 Pengantar Generative Models..................................................................... 133
8.1.1 Definisi Generative Model................................................................. 133
8.1.2 Peran Generative Model dalam Machine Learning ......................... 135
8.1.3 Tipe – Tipe Generative Model .......................................................... 136
8.2 Variational Autoencoders (VAE)............................................................... 137
8.2.1 Konsep Dasar Autoencoders ............................................................. 137
8.2.2 Variasi dalam Variational Autoencoders .......................................... 138
8.2.3 Loss Function di VAE........................................................................ 138
8.2.4 Training VAE ..................................................................................... 138
8.2.5 Aplikasi VAE...................................................................................... 139
8.2.6 Kelebihan dan Keterbatasan VAE .................................................... 139
8.3 Generative Adversarial Networks (GAN) ................................................. 140
8.3.1 Konsep Dasar GAN............................................................................ 140
8.3.2 Arsitektur GAN .................................................................................. 141
8.3.3 Proses Training GAN ......................................................................... 141
8.3.4 Tantangan dalam Training GAN....................................................... 141
8.3.5 Varian GAN ........................................................................................ 142
8.3.6 Aplikasi GAN ..................................................................................... 142
8.3.7 Kelebihan dan Keterbatasan GAN .................................................... 143
8.4 Studi Kasus Implementasi VAE dan GAN ............................................... 143
8.4.1 Implementasi VAE dengan Python dan TensorFlow ...................... 143
8.4.2 Implementasi GAN dengan Python dan TensorFlow...................... 144
8.4.3 Evaluasi Model Generatif .................................................................. 145
8.5 Tren Terkini dan Masa Depan Generative Model .................................... 146
8.5.1 Perkembangan Terkini dalam GAN dan VAE ................................ 147
8.5.2 Generative Models dan AI Kreatif .................................................... 147
8.5.3 Potensi dan Tantangan di Masa Depan ............................................. 148
x Deep Learning: Konsep dan Aplikasi

Bab 9 Deep Reinforcement Learning

9.1 Pendahuluan ................................................................................................. 149
9.2 Konsep Deep Reinforcement Learning (DRL) ......................................... 151
9.2.1 Reinforcement Learning (RL) ........................................................... 151
9.2.2 Deep Learning (DL) ........................................................................... 154
9.2.3 Deep Q-Networks (DQN).................................................................. 155
9.2.4 Policy Gradient Methods ................................................................... 155
9.2.5 Actor-Critic Methods ......................................................................... 155
9.3 Aplikasi Deep Reinforcement Learning (DRL) ........................................ 155
9.3.1 Permainan (Game AI) ........................................................................ 156
9.3.2 Robotika .............................................................................................. 156
9.3.3 Sistem Otonom ................................................................................... 157
9.3.4 Pengoptimalan Jaringan dan Sumber Daya ...................................... 157
9.3.5 Keuangan dan Perdagangan Otomatis .............................................. 157
9.3.6 Sistem Kesehatan................................................................................ 158

Bab 10 Transfer Learning dan Fine-tuning

10.1 Pengantar Transfer Learning dan Fine- Tuning ...................................... 159
10.1.1 Definisi Transfer Learning............................................................... 160
10.1.2 Motivasi di Balik Transfer Learning ............................................... 160
10.1.3 Pengertian Fine-Tuning.................................................................... 160
10.1.4 Hubungan Antara Transfer Learning dan Fine-Tuning................. 161
10.1.5 Keuntungan Menggunakan Transfer Learning dalam Deep Learning161
10.2 Konsep Dasar Transfer Learning ............................................................. 161
10.2.1 Bagaimana Transfer Learning Bekerja ........................................... 162
10.2.2 Tipe-Tipe Transfer Learning ........................................................... 162
10.2.3 Transfer Learning vs. Training dari Awal ...................................... 162
10.2.4 Kasus Penggunaan Transfer Learning dalam Industri................... 163
10.2.5 Contoh Aplikasi: Penerapan di Komputer Visi dan Pemrosesan .
Bahasa Alami.................................................................................... 163
10.3 Model Pra-latih (Pre-trained Models) dalam Transfer Learning ........... 164
10.3.1 Pengertian dan Pentingnya Model Pra-latih ................................... 164
10.3.2 Berbagai Model Pra-latih Terkenal (ResNet, BERT, GPT).......... 164
10.3.3 Arsitektur Model Pra-latih ............................................................... 165
10.3.4 Memahami Transferability dari Fitur-fitur dalam Model Pra-latih 165
10.3.5 Contoh: Menggunakan Model ResNet untuk Klasifikasi Gambar 166
10.4 Teknik Fine-Tuning .................................................................................. 166
10.4.1 Apa itu Fine-Tuning? ....................................................................... 166
10.4.2 Perbedaan antara Transfer Learning dan Fine-Tuning .................. 167
Daftar Isi xi

10.4.3 Langkah-langkah dalam Fine-Tuning Model ................................ 167

10.4.4 Strategi Fine-Tuning pada Berbagai Layer Neural Network ........ 167
10.4.5 Praktik Terbaik untuk Fine-Tuning Model Deep Learning .......... 168
10.5 Implementasi Transfer Learning dan Fine-Tuning dengan Python....... 168
10.5.1 Pengenalan Framework: TensorFlow, PyTorch, dan Keras ...... 169
10.5.2 Implementasi Transfer Learning dengan Model Pra-latih.......... 169
10.5.3 Fine-Tuning Model ResNet di Dataset Custom .......................... 170
10.5.4 Fine-Tuning Model BERT untuk Tugas NL ............................... 171
10.6 Aplikasi Transfer Learning di Dunia Nyata ............................................ 171
10.6.1 Transfer Learning untuk Klasifikasi Gambar dan Penglihatan
Komputer ....................................................................................... 172
10.6.2 Transfer Learning di Bidang Pemrosesan Bahasa Alami........... 172
10.6.3 Penerapan di Bidang Kedokteran (Deteksi Penyakit, Diagnostik) 172
10.6.4 Aplikasi di Industri Keuangan dan Peramalan ............................ 173
10.6.5 Transfer Learning dalam Pengembangan Teknologi Mobil
Otonom........................................................................................... 173

Bab 11 Penerapan Deep Learning di Bidang Kesehatan

11.1 Pengantar Penerapan Deep Learning di Bidang Kesehatan ................... 176
11.2 Pengenalan Data Kesehatan ..................................................................... 176
11.2.1 Jenis-jenis Data Kesehatan............................................................ 177
11.2.2 Potensi dan Manfaat Data Kesehatan dalam Penerapan Deep
Learning ......................................................................................... 178
11.3 Deep Learning dalam Pengolahan Citra Medis ...................................... 182
11.4 Etika dan Privasi dalam Penggunaan Deep Learning di Kesehatan ...... 185

Bab 12 Penerapan Deep Learning di Industri dan Manufaktur

12.1 Mengapa Deep Learning Penting dalam Industri Modern ..................... 190
12.1.1 Perkembangan Teknologi AI dan Dampaknya terhadap Otomasi
Industri ...................................................................................................... 192
12.2 Manfaat Penerapan Deep Learning dalam Industri ................................ 194
12.3 Aplikasi Deep Learning pada Manufaktur .............................................. 198
12.4 Studi Kasus Implementasi Deep Learning di Industri ............................ 202

Bab 13 Tren Terbaru dalam Deep Learning

13.1 Arsitektur Model Deep Learning ............................................................ 214
13.2 Algoritma Utama dalam Deep Learning ................................................ 216
13.3 Supervised dan Unsupervised Learning .................................................. 219
xii Deep Learning: Konsep dan Aplikasi

13.4 Perbandingan Algoritma dan Performance Deep Learning dengan

Machine Learning ..................................................................................... 222
13.5 Aplikasi Deep Learning dalam Dunia Nyata ......................................... 223
13.6 Tantangan dan Limitasi Deep Learning ................................................. 226
13.7 Ethical Considerations dalam Pengembangan Deep Learning .............. 228
13.8 Perkembangan Terkini dalam Deep Learning ........................................ 230
13.9 Prediksi Tren Masa Depan Deep Learning ............................................. 235
13.10 Studi Kasus Sukses Penerapan Deep Learning..................................... 240

Daftar Pustaka .................................................................................................... 247

Biodata Penulis .................................................................................................. 269
Bab 7

Deep Learning untuk Natural

Language Processing

7.1 Pendahuluan
Natural Language Processing (NLP) adalah cabang bidang ilmu Kecerdasan
Buatan (AI) dan Linguistik yang berfokus mempelajari bagaimana
komputer dapat membaca dan memodifikasi teks atau ucapan bahasa alami
untuk mencapai hasil yang bermanfaat (Brownlee, 2017). NLP terdiri dari
tiga komponen seperti yang ditunjukkan pada Gambar 7.1

Gambar 7.1: Komponen NLP (Sumber: Lee, 2023)

118 Deep Learning: Konsep dan Aplikasi

Ketiga komponen ini saling berkaitan dan bekerja sama untuk

memungkinkan mesin memahami dan menghasilkan bahasa manusia. NLU
digunakan untuk memahami input pengguna, KAI digunakan untuk
mengelola dan memperkaya pengetahuan sistem, dan NLG digunakan
untuk menghasilkan output yang dapat dipahami oleh manusia. Ruang
lingkup NLP sangat luas, mencakup mulai dari analisis teks sederhana
hingga pemahaman mendalam tentang makna, konteks, dan niat dibalik
bahasa. Klasifikasi tugas-tugas NLP dapat dibagi dalam dua kategori utama,
yaitu Analysis Tasks dan Generation Tasks.

Gambar 7.2: NLP Tasks

Tugas-tugas dalam Analysis Tasks berfokus pada pemrosesan, analisis, dan
pemahaman konten bahasa alami yang melibatkan proses ekstraksi
informasi, klasifikasi, dan pemetaan struktur bahasa. Tugas-tugas dalam
Generation Tasks berfokus pada menghasilkan teks atau konten baru dari
masukan yang diberikan, baik berupa teks, data, atau suara yang melibatkan
proses kreatif atau transformasi informasi menjadi representasi bahasa yang
dapat dipahami oleh manusia.
Pendekatan dalam pengembangan NLP dimulai tahun 1950an. Pada era ini,
sistem NLP berbasis aturan mulai berkembang. Sistem penerjemahan
bahasa awal menggunakan pendekatan Rule-based Systems yang
mengandalkan aturan linguistik yang ditentukan secara eksplisit oleh ahli
bahasa. Namun, pendekatan ini tidak cukup fleksibel karena terbatas dalam
Bab 7 Deep Learning untuk Natural Language Processing 119

menangani variasi bahasa alami yang sangat luas. Tahun 1990an, dengan
perkembangan komputasi dan ketersediaan data yang lebih besar,
pendekatan berbasis statistik mulai menggantikan sistem berbasis aturan.
Teknik machine learning seperti Latent Dirichlet Allocation, Hidden
Markov Models, Naive Bayes digunakan untuk mempelajari pola dalam
teks berdasarkan data (Erna et al., 2024; Lee, 2019; Normawati and Prayogi,
2021). Pendekatan ini lebih efisien dalam skala besar dan tidak
memerlukan pengaturan aturan manual. Tahun 2000an hingga saat ini,
NLP mengalami revolusi dengan munculnya deep learning (DL). Model
berbasis jaringan saraf seperti Recurrent Neural Networks (RNN), Long
Short-Term Memory (LSTM), dan Transformers (misalnya BERT dan GPT)
telah mendominasi bidang ini. Model-model ini unggul dalam menangkap
konteks yang kompleks dan menghasilkan teks dengan kualitas yang lebih
baik dibandingkan metode sebelumnya. Arsitektur Transformer,
khususnya, membuka jalan bagi penerjemahan mesin, chatbot canggih, dan
model generatif yang dapat menulis teks dengan konteks yang jauh lebih
baik.
Meski NLP telah berkembang pesat, terdapat sejumlah tantangan yang
masih dihadapi dalam mengolah bahasa alami (Khurana et al., 2023), antara
lain:
1. Ambiguitas. Ambiguitas dapat berupa ambiguitas leksikal (satu
kata memiliki lebih dari satu arti, seperti “bark” bisa berarti kulit
kayu atau suara anjing), atau ambiguitas sintaksis (suatu kalimat
dapat diinterpretasikan dengan beberapa cara). Mendeteksi arti
yang benar dalam suatu konteks sangat sulit bagi mesin.
2. Pemahaman Konteks. Bahasa manusia sangat bergantung pada
konteks. Memahami satu kalimat sering kali memerlukan
pemahaman tentang kalimat sebelumnya atau informasi latar
belakang. Misalnya, dalam percakapan, frase seperti "dia" atau "itu"
membutuhkan konteks yang lebih luas untuk menentukan rujukan
120 Deep Learning: Konsep dan Aplikasi

mereka. NLP harus dapat menangkap konteks lokal dan global

untuk memahami teks secara penuh.
3. Pemahaman Semantik. Semantik merujuk pada pemahaman
makna dari kata, kalimat, atau teks secara keseluruhan. Mengajar
mesin untuk memahami makna dengan cara yang mirip dengan
manusia adalah salah satu tantangan terbesar dalam NLP. Mesin
harus mampu menghubungkan makna kata dengan berbagai
konsep atau dunia nyata, memahami sinonim, antonim, idiom, dan
metafora yang umum dalam bahasa alami.
4. Keanekaragaman Bahasa. Bahasa alami berbeda-beda antar-budaya
dan berkembang secara dinamis. NLP harus beradaptasi dengan
variasi linguistik seperti dialek, gaya bahasa, slang, dan variasi tata
bahasa. Model NLP harus dilatih dengan dataset yang sangat luas
dan beragam agar bisa diterapkan pada berbagai konteks bahasa.

7.2 Deep Learning dalam NLP

Deep Learning (DL) adalah bagian dari machine learning yang bekerja
dengan artificial neural networks (jaringan syaraf tiruan), yaitu algoritma
yang dirancang untuk meniru cara manusia berpikir dan belajar (Naf’an et
al., 2022). DL telah membawa revolusi besar dalam NLP. Berikut adalah
beberapa alasan yang dikemukakan dalam (Brownlee, 2017):
1. DL merupakan Large Neural Network (Jaringan Saraf Besar). Saat
kita membangun jaringan saraf yang lebih besar dan melatih
model DL dengan semakin banyak data, kinerja akan terus
meningkat. Hal ini secara umum berbeda dengan teknik
pembelajaran mesin lain yang mencapai titik jenuh dalam kinerja.
Bab 7 Deep Learning untuk Natural Language Processing 121

2. DL merupakan Hierarchical Feature Learning (Pembelajaran Fitur

Berlapis). DL, terutama melalui jaringan saraf dalam, mampu
belajar fitur secara hierarkis. Misalnya, lapisan pertama dapat
belajar mengenali kata-kata individu, sementara lapisan-lapisan
berikutnya dapat belajar menangkap pola yang lebih kompleks
seperti frasa dan struktur kalimat. Ini memungkinkan DL untuk
memahami bahasa alami dengan lebih mendalam dan akurat.
3. DL merupakan Scalable Learning Across Domains (Pembelajaran
yang Dapat Diskalakan di Berbagai Domain). Jadi, model DL dapat
dilatih dengan dataset yang besar dan memanfaatkan pemrosesan
paralel dengan GPU. Mereka juga lebih fleksibel untuk diterapkan
pada berbagai tugas NLP (seperti terjemahan bahasa, text
summarization, dan chatbot).

Terdapat beragam model DL untuk NLP diantaranya Convolutional Neural

Network (CNN), Recurrent Neural Networks (RNN), dan Transformer.
Sebelum model memproses teks untuk tugas tertentu, teks harus melalui
tahap preprocessing dahulu untuk meningkatkan kinerja model atau
mengubah kata dan karakter menjadi format yang dapat dipahami oleh
model. Tahapan preprocessing terdiri dari tokenizing , case folding,
stopwords removal, dan stemming. Gambar 7.3 memperlihatkan contoh
kasus dari inputan teks ”The Children are playing in the playground
happily !”.

Gambar 7.3: Contoh Text Preprocessing

122 Deep Learning: Konsep dan Aplikasi

7.3 Convolutional Neural Networks

(CNN)
Gagasan menggunakan CNN untuk mengklasifikasikan teks pertama kali
dipaparkan oleh Yoon Kim (Kim, 2011) yang kemudian dispesifikasi secara
rinci pada artikel (Zhang and Wallace, 2015). Intuisi utamanya adalah
melihat dokumen sebagai gambar. Namun, alih-alih piksel, inputnya adalah
kalimat atau dokumen yang direpresentasikan sebagai matriks kata.

Gambar 7.4: Arsitektur CNN untuk Klasifikasi Teks (Sumber: Zhang and
Wallace, 2015)
Arsitektur CNN untuk klasifikasi teks secara umum terdiri dari input layer,
convolutional layer, max pooling layer, fully connected layer dan output
layer.
1. Input Layer. Teks terlebih dahulu ditransformasikan ke dalam
representasi vektor kata menggunakan word embedding seperti
Word2Vec, GloVe, FastText (Nurdin et al., 2020) kemudian
dimasukkan ke input layer. Hasilnya adalah matriks dengan
ukuran n x d.
2. Convolutional Layer. Lapisan konvolusi adalah tahap utama dalam
CNN, yang menggunakan filter atau kernels untuk mendeteksi
pola atau fitur lokal dalam teks, seperti frasa atau kombinasi kata.
Bab 7 Deep Learning untuk Natural Language Processing 123

Dilakukan operasi perkalian dan penjumlahan antara bobot filter

dan bobot dari matriks input, serta operasi non-linear
menggunakan fungsi aktivasi ReLU (Rectified Linear Unit). Hasil
dari filter ini adalah feature map yang merepresentasikan
bagaimana pola ini muncul dalam teks.
3. Max Pooling Layer. Max pooling adalah teknik yang paling umum
digunakan, di mana nilai maksimum dari tiap region dalam feature
map dipilih, yang membantu menjaga informasi penting sambil
mengurangi ukuran keluaran. Setelah pooling, output yang
berbentuk matriks diubah menjadi vektor satu dimensi
(flattening).
4. Fully Connected Layer. Lapisan fully connected akan melakukan
pengklasifikasian berdasarkan representasi fitur yang telah
dipelajari dari teks. Contoh: Jika tugasnya adalah klasifikasi
sentimen (misalnya positif atau negatif), lapisan ini akan
menghasilkan skor probabilitas untuk masing-masing kelas.
5. Output Layer. Output layer tergantung pada tugas NLP yang
dikerjakan. Untuk klasifikasi teks: Output bisa berupa probabilitas
untuk setiap kelas, sedang untuk tugas regresi: Output adalah nilai
kontinu. Fungsi aktivasi yang digunakan pada lapisan ini biasanya:
Softmax untuk klasifikasi multi-kelas (misalnya klasifikasi
sentimen positif, negatif, atau netral) atau Sigmoid untuk
klasifikasi biner.

Meskipun CNN efektif dalam menangani fitur lokal dan pola spasial dalam
data teks, ia memiliki keterbatasan dalam menangkap ketergantungan
jangka panjang, urutan kata, dan makna global dalam teks.