Resume
zR11FLZ-O9M • MIT 6.S091: Introduction to Deep Reinforcement Learning (Deep RL)
Updated: 2026-02-13 13:24:21 UTC
Back Source
Prev Next

Berikut adalah rangkuman komprehensif dan terstruktur mengenai materi Deep Reinforcement Learning (DRL) berdasarkan transkrip yang diberikan.

Panduan Lengkap Deep Reinforcement Learning: Dari Teori Dasar hingga Penerapan Dunia Nyata

Inti Sari (Executive Summary)

Video ini membahas konsep dasar dan penerapan Deep Reinforcement Learning (DRL), sebuah pendekatan yang menggabungkan Deep Neural Networks dengan kemampuan pengambilan keputusan berbasis pengalaman. Pembahasan mencakup perbedaan mendasar antara pembelajaran supervised dan reinforcement, komponen-komponen utama dalam DRL seperti Policy dan Value Function, serta berbagai metode algoritma mulai dari Q-Learning hingga Actor-Critic. Video juga menyoroti tantangan krusial seperti kesenjangan antara simulasi dan dunia nyata, isu keamanan AI (AI Safety), serta studi kasus sukses seperti AlphaGo.

Poin-Poin Kunci (Key Takeaways)

  • Definisi DRL: Perpaduan antara representasi dunia oleh Deep Learning dan kemampuan bertindak melalui trial and error (Reinforcement Learning).
  • Mekanisme Belajar: Berbeda dengan pembelajaran supervised yang menggunakan contoh, RL belajar dari interaksi dengan lingkungan (experience) untuk memaksimalkan reward.
  • Komponen Utama: Agent, Environment, Policy (strategi), Value Function (estimasi kebaikan keadaan), dan Model (representasi lingkungan).
  • Algoritma Utama: Terbagi menjadi Model-Free (Q-Learning/DQN, Policy Gradients) dan Model-Based (AlphaGo/AlphaZero).
  • Tantangan: Risiko "konsekuensi yang tidak diinginkan" (reward hacking), ketidakstabilan pelatihan, dan kesulitan mentransfer hasil simulasi ke dunia nyata (Sim-to-Real gap).
  • Masa Depan: Peluang penelitian terbuka luas untuk meningkatkan konvergensi, menyelesaikan permainan yang belum terpecahkan, dan menerapkan RL pada robotika otonom.

Rincian Materi (Detailed Breakdown)

1. Pengenalan Deep Reinforcement Learning (DRL)

Deep Reinforcement Learning (DRL) didefinisikan sebagai pernikahan antara Deep Neural Networks—yang bertugas merepresentasikan dan memahami dunia—dengan kemampuan untuk bertindak berdasarkan pemahaman tersebut. Proses intinya adalah pengambilan keputusan berurutan (sequential decision-making) di mana keputusan agen mempengaruhi keadaan dunia.
* Filsafat Pembelajaran: Semua pembelajaran mesin pada dasarnya diawasi oleh loss function, namun sumber pengawasannya berbeda. RL mengajarkan melalui pengalaman/interaksi, bukan sekadar menunjukkan sampel data.
* Definisi Kecerdasan: Proses belajar yang dimulai dari sedikit pengetahuan dan membentuk representasi yang kaya melalui interaksi.
* Arsitektur Agent: Alur kerjanya dimulai dari Environment -> Raw Sensory Data (Input tinggi) -> Representation (Abstraksi oleh Deep Learning) -> Learning -> Aggregation -> Action.

2. Kerangka Kerja dan Komponen RL

RL bekerja dalam kerangka Agent dan Environment. Agent mengamati (sebagian atau penuh), bertindak, menerima reward, dan lingkungan berubah.
* Jenis Lingkungan: Bisa bersifat fully/partially observable (seperti Poker), single/multi-agent (Atari vs Mengemudi), deterministic/stochastic, dan discrete/continuous.
* Komponen Utama Agent:
* Policy: Strategi untuk memetakan keadaan menjadi aksi.
* Value Function: Estimasi seberapa baik keadaan atau aksi tersebut di masa depan.
* Model: Representasi agen terhadap lingkungan.
* Discounted Reward: Hadiah masa depan dinilai lebih rendah daripada hadiah segera (near-term) karena alasan matematis (konvergensi) dan ketidakpastian lingkungan.
* Studi Kasus "Robot di Ruangan": Contoh bagaimana biaya langkah (step cost) dan sifat lingkungan (deterministik vs stokastik) mengubah kebijakan optimal. Jika risiko jatuh ke lubang besar, agen memilih jalan memutar; jika biaya langkah sangat mahal, agen mengambil risiko jalan terpendek.

3. Desain Lingkungan, Risiko, dan Keamanan AI (AI Safety)

Peneliti mendesain lingkungan dan struktur reward. Perubahan kecil pada parameter dapat menghasilkan kebijakan yang sangat berbeda.
* Konsekuensi yang Tidak Diinginkan: Contoh game Coast Runners. Agen RL fokus mengambil poin hijau (power-ups) dengan berputar-putar dan menabrak dinding, dan tidak pernah menyelesaikan balapan karena menyelesaikan balapan menghentikan poin. Ini menunjukkan bahaya jika fungsi objektif tidak selaras dengan tujuan manusia.
* Keamanan AI: Sangat krusial, terutama untuk sistem otonom seperti mobil yang berinteraksi dengan pejalan kaki. Fungsi objektif harus antisipatif terhadap perilaku "eksploitasi" oleh agen.
* Contoh Penerapan: Cart Pole (keseimbangan), Doom (tembak-menembak berbasis pixel), dan Object Manipulation (mengambil objek).

4. Metode Model-Free: Q-Learning dan Deep Q-Networks (DQN)

Dalam metode Model-Free, agen tidak perlu memahami model lingkungan secara eksplisit.
* Kategori: Terbagi menjadi Policy Optimization (On-Policy) dan Q-Learning (Off-Policy).
* Q-Learning: Mempelajari nilai (Q-value) dari mengambil aksi tertentu dalam keadaan tertentu untuk memaksimalkan reward. Menggunakan persamaan Bellman untuk pembaruan nilai.
* Eksplorasi: Dilakukan dengan Epsilon-Greedy (terkadang mengambil tindakan acak).
* Masalah Tabel: Q-learning tradisional menggunakan tabel yang tidak mungkin diterapkan pada data masukan mentah (raw sensory input) seperti piksel game yang ruang statenya sangat besar.
* Solusi DQN: Menggunakan Neural Network sebagai pendekati fungsi (function approximator) untuk menggantikan tabel Q. DQN menggunakan input piksel mentah dan lapisan konvolusi untuk mencapai performa superhuman pada game Atari tanpa pengetahuan fisika sebelumnya.

5. Pengembangan DQN dan Policy Gradients

  • Dueling DQN: Arsitektur yang memisahkan estimasi menjadi Value (kebaikan keadaan) dan Advantage (kualitas relatif aksi). Berguna ketika kualitas aksi tidak terlalu mempengaruhi keadaan.
  • Prioritized Experience Replay: Memprioritaskan pengalaman dengan kesalahan (error) tinggi untuk dipelajari lebih sering, daripada sampling acak.
  • Policy Gradients: Metode On-Policy yang mengoptimalkan kebijakan secara langsung (Input -> Probabilitas Aksi). Contoh: game Pong. Setiap aksi dihukum atau dihargai berdasarkan hasil akhir (menang/kalah).
    • Kelebihan: Bekerja di dunia yang berantakan, konvergen lebih cepat, menangani aksi kontinu secara alami.
    • Kekurangan: Tidak efisien (masalah credit assignment), dan pelatihan yang tidak stabil.
  • Actor-Critic (A2C/A3C): Menggabungkan Value-based dan Policy-based. "Actor" mengambil aksi, "Critic" menilai seberapa baik aksi tersebut (Q-value) di setiap langkah, sehingga lebih efisien sampelnya.

6. Metode Model-Based dan AlphaGo

  • Model-Based: Mempelajari model lingkungan atau menggunakan model yang sudah diberikan (seperti aturan catur).
  • AlphaGo & AlphaZero: Menggunakan Monte Carlo Tree Search (MCTS) yang dipandu oleh jaringan saraf tiruan sebagai "intuisi" untuk menilai kualitas papan dan probabilitas kemenangan.
    • AlphaGo Lee menggunakan pre-training pada permainan ahli.
    • AlphaZero belajar murni dari self-play tanpa pengetahuan awal manusia.
    • AlphaZero mengalahkan mesin catur terbaik (Stockfish) dengan menjelajahi cabang yang lebih sedikit namun lebih akurat, mirip cara Grandmaster manusia berpikir.

7. Penerapan Dunia Nyata dan Tantangan Sim-to-Real

  • Realitas Robotika: Kebanyakan robot dunia nyata (mobil otonom, robot industri) saat ini tidak sepenuhnya menggunakan RL untuk aksi kontrol karena risikonya. Namun, perubahan sedang terjadi, misalnya penggunaan RL untuk long-term planning pada mobil otonom (Waymo) atau kontrol dinamis pada robot humanoid.
  • Kesenjangan Simulasi (Sim-to-Real Gap): Tantangan terbesar adalah mentransfer hasil pelatihan di simulasi ke dunia nyata. Solusinya adalah meningkatkan algoritma transferability atau membuat simulasi semirip mungkin dengan dunia nyata.

Kesimpulan & Pesan Penutup

Deep Reinforcement Learning telah menunjukkan potensi luar biasa, mulai dari menguasai permainan papan kompleks hingga potensi penerapan di robotika otonom. Namun, tantangan besar masih ada, terutama dalam menjembatani kesenjangan antara simulasi dan realitas, serta memastikan keamanan AI agar tujuan agen selaras dengan nilai manusia.

Ajakan/Tindakan Lanjutan:
Bagi mereka yang tertarik mendalami bidang ini, terdapat banyak peluang penelitian terbuka, antara lain:
1. Meningkatkan pendekatan yang ada, terutama dalam hal konvergensi dan performa.
2. Fokus pada tugas-tugas yang belum terpecahkan (permainan tertentu yang belum bisa dikalahkan RL).
3. Mengusulkan masalah baru yang belum pernah ditangani oleh Reinforcement Learning sebelumnya.

Video ditutup dengan undangan untuk menghadiri sesi mendalam mengenai topik terkait ("Deep Traffic") pada keesokan harinya.