Mohammad Farid Hendianto

Membangun AI Pengoreksi Grammar - Presentasi Responsi Deep Learning || Universitas Ahmad Dahlan

Bagaimana cara melatih model AI Transformer dengan dataset yang sangat kecil tapi hasilnya bisa menyerupai State-of-the-Art (SOTA)? 🚀 Di video presentasi Responsi Praktikum Deep Learning ini, saya mendemokan perjalanan membangun model AI pengoreksi tata bahasa Inggris (Grammar Error Correction) dari nol. Kita akan membahas 11 eksperimen arsitektur yang berhasil meningkatkan akurasi model hingga 3 kali lipat (dari 23% menjadi 72.88%) menggunakan dataset JFLEG yang sangat terbatas (~1.200 kalimat). 💡 COBA MODEL & BACA KODE LENGKAPNYA DI SINI: 🔗 Kaggle Notebook (Source Code): https://www.kaggle.com/code/ireddragonicy/transformer-evolution-for-grammar-error-correction 🔗 Hugging Face (Pre-trained Models): https://huggingface.co/IRedDragonICY/jfleg-gec-transformer-ensemble/tree/main Di video ini, kita akan membedah: 1️⃣ Masalah Halusinasi Model: Kenapa Transformer standar gagal total di data kecil. 2️⃣ Modifikasi Arsitektur (V2): Efek ajaib dari Pre-Layer Normalization, GELU, dan Weight Tying. 3️⃣ Mekanisme Pointer-Generator: Cara mengajari AI untuk "copy-paste" kata dari input untuk mengatasi kata langka (Out-of-Vocabulary). 4️⃣ Dynamic Mined Noise: Rahasia menyulap 1.200 kalimat menjadi puluhan ribu data latihan baru yang berubah-ubah setiap epoch. 5️⃣ Weighted Ensemble: Menggabungkan probabilitas beberapa model untuk hasil akhir dengan tata bahasa yang flawless. ⏱️ TIMESTAMPS (Bab Video): 0:00 - Intro & Tantangan Dataset JFLEG (Low-Resource) 1:15 - Demo Model Baseline (Masalah Halusinasi Parah) 3:30 - Modifikasi Arsitektur V2: Pre-LN, GELU & Weight Tying 5:00 - Mengatasi OOV dengan Mekanisme Pointer-Generator 6:45 - Rahasia Augmentasi Data: Dynamic Mined Noise 8:10 - Hasil Akhir Weighted Ensemble (Akurasi Meroket 72.88%!) 9:15 - Kesimpulan, Tips Riset AI, & Umpan Balik Praktikum 🛠️ Tech Stack & Libraries: Python, TensorFlow, Keras, Hugging Face Datasets, NLTK (GLEU Score). Komputasi didukung oleh Modal.com (NVIDIA H100 GPU). 👨‍💻 Dibuat oleh: Mohammad Farid Hendianto (2200018401) Proyek Akhir / Responsi Mata Kuliah Praktikum Deep Learning Jika kalian merasa video ini bermanfaat untuk belajar Natural Language Processing (NLP) dan Deep Learning, jangan lupa untuk LIKE, COMMENT, dan SUBSCRIBE! Jika ada pertanyaan seputar arsitektur kodenya, silakan tulis di kolom komentar. #DeepLearning #TransformerModel #NaturalLanguageProcessing #MachineLearningIndonesia #Kaggle #HuggingFace #TensorFlow #ArtificialIntelligence #NLP #ProgrammingIndonesia