RAG (Retrieval-Augmented Generation)

Apa itu RAG?

Bayangkan kamu punya asisten yang sangat pintar tapi pengetahuannya berhenti di tahun 2023. Kalau kamu tanya soal kebijakan perusahaan terbaru atau data penjualan bulan ini, dia bakal jawab dengan percaya diri tapi salah, atau ngaku nggak tahu.

RAG (Retrieval-Augmented Generation) adalah solusinya. Sebelum LLM menjawab, sistem pertama-tama "mengambil" dokumen atau data yang relevan dari database eksternal, lalu menyertakannya sebagai konteks tambahan ke LLM. Hasilnya: AI yang bisa jawab berdasarkan informasi aktual yang kamu kontrol.

Cara Kerja RAG: Tiga Tahap

1. Indexing (persiapan satu kali) Dokumenmu diproses dan disimpan sebagai embeddings di vector database. Ini kayak bikin "index buku" yang bisa ditelusuri cepat berdasarkan makna, bukan cuma kata kunci.

2. Retrieval (tiap kali ada query) Saat user bertanya, pertanyaannya diubah ke vector, lalu dicari dokumen yang paling mirip maknanya di vector database.

3. Generation Dokumen yang relevan dikirim ke LLM sebagai konteks, lalu LLM menghasilkan jawaban berdasarkan konteks itu.

RAG vs. Fine-Tuning: Kapan Pakai yang Mana?

Aspek	RAG	Fine-Tuning
Update knowledge	Mudah, cukup update dokumen	Perlu training ulang
Biaya	Relatif murah	Mahal (compute + data labeling)
Transparansi	Bisa trace sumber jawaban	Black box
Cocok untuk	Dokumen dinamis, knowledge base	Gaya bahasa spesifik, format output
Contoh use case	Chatbot FAQ internal	LLM yang selalu jawab dalam format tertentu

Komponen Teknis RAG

Kalau kamu mau bangun sistem RAG, ada beberapa komponen yang perlu kamu kenali:

• Document Loader: mengambil dokumen dari berbagai source (PDF, Google Drive, website, database)
• Text Splitter: memecah dokumen panjang jadi chunk yang lebih kecil
• Embedding Model: mengubah chunk teks jadi vector (pakai model seperti OpenAI Embeddings atau sentence-transformers)
• Vector Store: menyimpan dan mencari embeddings (Pinecone, Weaviate, pgvector)
• Retriever: mengambil chunk yang paling relevan berdasarkan query
• LLM: menghasilkan jawaban akhir dari konteks yang diambil

Kenapa Ini Relevan untuk Data Work?

Sebagai data practitioner, kamu bisa manfaatkan RAG untuk membuat sistem yang bisa menjawab pertanyaan bisnis berdasarkan laporan internal, dokumentasi teknis, atau database perusahaan, tanpa harus share data sensitif ke model eksternal. Jawaban juga bisa di-trace ke sumber dokumennya, bikin sistem lebih auditable.