Kursus Pembelajaran Mendalam 20MCA283
Kursus Pembelajaran Mendalam 20MCA283
Pendahuluan: Kursus ini bertujuan untuk memberikan wawasan tentang pembelajaran mendalam. Topik ini saat ini adalah
keterampilan yang sangat dicari dan sedang diteliti secara aktif. Siswa harus merujuk pada yang sesuai
makalah penelitian dan beberapa buku untuk mendapatkan pengetahuan mendalam tentang topik-topik. Instruktur mungkin
berikan tugas pemrograman yang sesuai untuk meningkatkan materi yang dibahas di kelas.
Prasyarat: Konsep dasar aljabar linier, probabilitas, dan optimisasi.
Hasil Kursus: Setelah menyelesaikan kursus, siswa akan dapat
CO No. Course Outcome (CO) Bloom's Category Level
Tingkat 2:
CO 1 Jelaskan konsep dasar pembelajaran mendalam.
Mengerti
Tingkat 3:
CO 2 Desain jaringan saraf menggunakan TensorFlow
Terapkan
Tingkat 3:
CO 3 Atasi masalah dunia nyata dengan CNN.
Mendaftar
Tingkat 3:
CO 4 Selesaikan masalah dunia nyata dengan RNN.
Terapkan
Tingkat 2:
CO 5 Deskripsikan konsep GAN.
Mengerti
Pola Penilaian
Penilaian Berkelanjutan
Bloom's Akhir Semester
Ujian
Kategori Pemeriksaan
1 2
Ingat 15 15 10
Mengerti 25 25 30
Lamar 10 10 20
Menganalisis
Evaluasi
Buat
Distribusi nilai
Total CIE ESE ESE
Tanda Durasi
100 40 60 3 jam
Polanya Ujian Akhir Semester: Akan ada dua bagian; Bagian A dan Bagian B. Bagian A
terdapat 10 pertanyaan jawaban singkat wajib, 2 dari setiap modul. Setiap pertanyaan bernilai 3
bagian B berisi 2 pertanyaan dari setiap modul yang harus dijawab oleh siswa salah satu.
Setiap pertanyaan dapat memiliki maksimum 2 sub-bagian dan bernilai 6 poin
Bagian A
Bagian B
Jawablah satu pertanyaan lengkap dari setiap modul, masing-masing bernilai 6 poin.
13. Jelaskan peran normalisasi batch dalam melatih jaringan syaraf dan
deskripsikan cara untuk mengetahui overfitting dari kurva pelatihan dan validasi 6 tanda
ATAU
14. Jelaskan ide-ide Rangking, Bentuk dan Tipe dengan sebuah contoh dalam
konteks Struktur Data Tensor 6 poin
15. Dengan contoh numerik yang sesuai, ilustrasikan operasi konvolusi. 6 tanda
ATAU
16. Jelaskan arsitektur AlexNet. 6 tanda
17. Jelaskan ide dari Truncated backpropagation through time. 6 tanda
ATAU
18. Deskripsikan bagaimana LSTM bekerja. 6 poin
Silabus
Modul I (8 Jam)
Tinjauan Jaringan Saraf: Model neuron biologis, Neuron McCulloch Pitts,
Fungsi Aktivasi, Perseptron, Algoritma Pembelajaran Perseptron dan Konvergensi
Multilayer Perceptron, Back propagation, Learning XOR, Sigmoid Neurons, Gradient
Penurunan, Jaringan Saraf Feed Forward.
Modul II (10 Jam)
Pelatihan Jaringan Saraf: Inisialisasi, dropout, normalisasi batch dan dropout,
overfitting, underfitting, kurva pelatihan dan validasi.
Visualisasi Data: Visualisasi fitur dan bobot, tSNE.
Pengantar TensorFlow: grafik, simpul, struktur data Tensor - peringkat, bentuk, tipe,
Membangun jaringan syaraf dengan TensorFlow, Pengenalan kepada Keras.
Modul III (10 Jam)
Jaringan Saraf Konvolusional: Operasi konvolusi, Lapisan konvolusional dalam
jaringan saraf, pooling, lapisan terhubung penuh.
Studi kasus: Arsitektur Lenet, Alexnet dan VGG 16
Modul IV (8 Jam)
Jaringan Saraf Rekuren: Back propagation, gradien yang memudar, meledak
gradien, pemotongan backpropagation melalui waktu, Gated Recurrent Units (GRUs)
Sel-sel Long Short-Term Memory (LSTM), menyelesaikan masalah gradien yang hilang
dengan LSTM.
Modul V (9 Jam)
Autoencoder, variational autoencoder.
Jaringan Adversarial Generatif (GAN): Model diskriminatif dan generatif,
GAN discriminator, GAN generator, upsampling, GAN Training, GAN challenges,
fungsi kehilangan, entropi silang, kehilangan minimax, kehilangan Wasserstein.
Referensi
Modul 1
[Link]://[Link]/~miteshk/CS6910/Slides/[Link]
b. [Link]
Modul 2
[Link]://[Link]
[Link] Mesin Praktis dengan Scikit Learn dan TensorFlow, Aurélien Géron
c. Pembelajaran Mesin Probabilistik: Suatu Pengantar, Kevin Murphy
d. [Link]
Modul 3
a. [Link]
b. Jaringan syaraf konvolusional untuk komputasi visual (Bab 4), Ragav
Venkatesan dan Baoxin Li CRC press
Modul 4
[Link] kesulitan melatih RNN:Maaf, saya tidak dapat mengakses konten dari tautan tersebut.
b. LSTM:Odisea Ruang Pencarian: [Link]
c. PemahamanMengurai dan Mengembangkan LSTM: [Link]
[Link]
d. Pemahaman Jaringan LSTM: [Link]
Memahami-LSTM
e. [Link]
f. [Link]
Modul 5
[Link] dalam Tindakan: Pembelajaran Mendalam dengan Jaringan Adversarial Generatif Jakub
Langgr, Vladimir Bok
b. Pembelajaran Dalam Generatif: Mengajarkan Mesin untuk Melukis, Menulis, mengomposisi, dan
Mainkan David Foster
[Link]://[Link]/machine-learning/gan
Konten Kursus dan Jadwal Kuliah
Tidak. dari
Tidak Topik
Kuliah
1 Modul 1 8 Jam
1.1 Review of Neural Networks: Model of a biological neuron 1
1.2 Neuron McCulloch Pitts, Fungsi aktivasi 1
1.3 Perceptron, Algoritma Pembelajaran Perceptron 1
1.4 Konvergensi, Perceptron Multilapis 1
1.5 Propagasi balik 1
1.6 Mempelajari XOR, Neuron Sigmoid 1
1.7 Turunan Gradien, Jaringan Saraf Maju 2
2 Modul 2 10 Jam
2.1 Melatih Jaringan Saraf 1
2.2 Inisialisasi, Dropout 1
2.3 Normalisasi batch dan drop out 1
Over fitting, under fitting, kurva pelatihan dan validasi, data
2.4 2
visualisasi, visualisasi fitur dan bobot, tSNE
Pengantar TensorFlow, grafik, simpul, Data Tensor
2.5 2
Structures - rank, shape, type
2.6 Membangun jaringan saraf dengan TensorFlow 2
2.7 Pengenalan ke Keras 1
3 Modul 3 10 Jam
3.1 Jaringan saraf konvolusional 1
3.2 Operasi konvolusi 2
3.3 Propagasi balik dalam jaringan saraf multilapis 1
3.4 Lapisan konvolusi pada jaringan saraf, pengurangan 2
3.5 Lapisan terhubung sepenuhnya 2
3.6 Studi Kasus: Arsitektur Lenet, Alexnet dan VGG 16 2
4 Modul 4 8 Jam
4.1 Jaringan saraf recurrent 1
4.2 Back propagation: gradien yang menghilang, gradien yang meledak 1
4.3 Pemangkasan Backpropagation Melalui Waktu 1
4.4 LSTM 1
4.5 Unit Rekuren Terpagar (GRU) 1
4.6 Sel Memori Jangka Panjang Pendek (LSTM) 1
4.7 Menyelesaikan masalah gradien menghilang dengan LSTM 2
5 Modul 5 9 Jam
5.1 Autoencoder, Autoencoder Variasional 2
5.2 Jaringan Adversarial Generatif (GAN) 1
5.3 Model diskriminatif dan generatif 2
5.4 GAN Discriminator, GAN Generator, upsampling, 1
5.5 Pelatihan GAN 1
Tantangan GAN, Fungsi kerugian, entropi silang, kerugian minimax
5.6 2
Kerugian Wasserstein