Reinforcement Learning
Dr. Sutikno
Pengantar
• AI menjadi dasar inovasi teknologi modern.
• Machine Learning (ML) memungkinkan sistem
belajar dari data.
• Reinforcement Learning (RL) adalah
pendekatan di mana mesin belajar dari
pengalaman.
Apa Itu Reinforcement Learning?
• Reinforcement learning (RL) adalah salah satu
teknik machine learning yang dirancang untuk melatih
model komputer agar mampu mengambil serangkaian
keputusan secara mandiri.
• Proses pembelajaran dilakukan melalui mekanisme trial
and error, di mana setiap tindakan agen yang menghasilkan
hasil positif akan diberikan reward (penghargaan),
sementara tindakan yang kurang tepat atau salah akan
dikenai penalty (hukuman).
• Tujuan utama dari reinforcement learning adalah untuk
memaksimalkan total reward yang dapat diperoleh oleh
agen selama proses pembelajaran berlangsung.
Komponen RL
• Agent – Pengambil keputusan.
• Environment – Lingkungan interaksi.
• Policy – Strategi pengambilan tindakan.
• Reward – Penghargaan atas tindakan.
• Value Function – Menilai tindakan jangka
panjang.
Cara Kerja RL
• Agent mengamati state lingkungan.
• Agent memilih action.
• Environment memberikan reward dan state baru.
• Agent memperbarui policy.
• Proses berulang hingga strategi optimal ditemukan.
Contoh RL
• Mobil otonom
– mempelajari bagaimana mengendalikan kecepatan
dan arah berdasarkan data dari kamera dan sensor
• Chatbot
– mempelajari pola percakapan sehingga mampu
memberikan respons yang lebih relevan, koheren, dan
informatif.
• Robotika
– Google AI menggunakan algoritma QT-Opt untuk
melatih robot memanipulasi objek yang belum pernah
mereka temui sebelumnya.
Kelebihan RL
✓ Fokus pada tujuan spesifik.
✓ Adaptif terhadap lingkungan baru.
✓ Efisien tanpa banyak data.
✓ Dapat dikombinasikan dengan Deep Learning
(Deep RL).
Tantangan RL
• Membuat simulasi realistis sulit.
• Skalabilitas tinggi membutuhkan sumber daya
besar.
• Desain reward system menentukan
keberhasilan model.
Perbandingan ML, DL, RL
• ML:
– belajar dari data.
– Pelatihan model
• Supervised dan unsupervised learning
• DL:
– Terinspisrasi dari otak
– Kemampuan memproses data besar
• RL:
– Belajar berbasis reward-penalty.
– Belajar berinteraksi dengan lingkungan
– Memperbaiki strategi
– Berbasis tujuan
Teknik RL
• Q-Learning (Model-Free)
– Membuat tabel (cheat sheet) berisi nilai kualitas (Q-value) setiap aksi pada tiap keadaan.
– Belajar melalui trial and error.
– Mengikuti jalur dengan nilai Q tertinggi untuk mencapai tujuan.
• SARSA (On-Policy)
– Mirip Q-Learning, tetapi memperbarui nilai Q berdasarkan aksi yang benar-benar diambil.
– Lebih “hati-hati” karena belajar dari kebijakan yang sedang dijalankan.
• Deep Q-Network (DQN)
– Menggantikan tabel Q dengan deep neural network.
– Dapat memperkirakan nilai Q untuk keadaan baru.
– Digunakan oleh DeepMind untuk melatih AI bermain Atari.
• Policy Gradient Methods
– Belajar langsung kebijakan (policy), bukan nilai Q.
– Mengatur probabilitas tindakan (misal: 70% belok kiri).
– Menyesuaikan kebijakan berdasarkan hasil perjalanan keseluruhan.
Online versus offline learning
• Online Learning: Agen belajar langsung dari interaksi dengan lingkungan
secara terus-menerus. Data dikumpulkan dan diperbarui setiap kali agen
berinteraksi.
• Offline Learning: Agen belajar dari data log yang sudah ada tanpa
berinteraksi langsung dengan lingkungan. Cocok untuk situasi di mana
interaksi langsung sulit atau mahal dilakukan.