Fine-tuning
Proses menyesuaikan model pre-trained ke domain atau task spesifik dengan melanjutkan training menggunakan dataset yang lebih kecil tapi lebih relevan.
Apa Itu Fine-tuning?
Fine-tuning itu ibaratnya kayak kamu udah bisa masak masakan Eropa dengan baik, terus sekarang mau spesialisasi bikin pasta Italia yang autentik. Kamu nggak belajar dari nol (udah tau teknik dasar masak), tapi kamu perlu latihan ekstra dengan resep dan bahan Italia spesifik supaya beneran jago.
Dalam konteks ML, fine-tuning adalah proses melanjutkan training sebuah pre-trained model dengan dataset yang lebih kecil dan lebih spesifik untuk domain atau task tertentu. Model sudah punya "pengetahuan umum" yang kuat, dan fine-tuning mengasah pengetahuan itu ke arah yang kamu butuhkan.
Bedanya Fine-tuning vs Transfer Learning
Dua istilah ini sering dipakai bergantian, tapi sebenernya berbeda:
| Aspek | Transfer Learning | Fine-tuning |
|---|---|---|
| Scope | Konsep yang lebih luas | Salah satu teknik dalam transfer learning |
| Layer yang di-update | Biasanya hanya layer terakhir | Sebagian besar atau semua layer, dengan LR kecil |
| Perubahan bobot | Layer awal dibekukan (frozen) | Semua bobot bisa berubah, tapi pelan-pelan |
| Kapan dipakai | Ketika domain sangat mirip | Ketika butuh adaptasi lebih dalam ke domain baru |
Jenis-jenis Fine-tuning
Full Fine-tuning: Semua parameter model di-update. Butuh lebih banyak data dan compute, tapi hasilnya biasanya lebih akurat.
Partial Fine-tuning: Hanya beberapa layer di-update (biasanya layer terakhir), layer awal tetap frozen. Lebih cepat dan butuh data lebih sedikit.
Parameter-Efficient Fine-tuning (PEFT): Teknik seperti LoRA, Prefix Tuning, dan Adapters di mana cuma sebagian kecil parameter yang di-update. Sangat populer untuk fine-tuning LLM karena hemat banget secara komputasi.
Contoh Kasus Fine-tuning
- LLM untuk domain hukum: Ambil model bahasa besar, fine-tune dengan ribuan dokumen hukum Indonesia supaya bisa menjawab pertanyaan legal dengan lebih akurat
- Model klasifikasi teks: BERT di-fine-tune dengan dataset review produk berbahasa Indonesia untuk deteksi sentimen
- Computer vision di industri: Model ResNet yang pre-trained di ImageNet di-fine-tune dengan foto produk cacat dari lini produksi pabrik
Hal yang Perlu Diperhatikan
Fine-tuning yang kurang hati-hati bisa menimbulkan catastrophic forgetting, yaitu kondisi di mana model "lupa" pengetahuan umumnya yang berguna karena terlalu fokus belajar task baru. Itulah kenapa learning rate yang kecil jadi kunci.
Untuk LLM skala besar, full fine-tuning seringkali nggak praktis karena butuh GPU yang sangat besar. Di sinilah teknik PEFT seperti LoRA jadi sangat relevan: kamu cuma update sebagian kecil parameter model sambil tetap dapet hasil yang sebanding.
Udah paham Fine-tuning? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.