Evaluasi Asisten AI Data: Kerangka Mengukur Kebenaran Jawaban

Evaluasi asisten AI data adalah proses ngukur seberapa sering jawabannya sama dengan kunci jawaban yang kamu hitung sendiri.

Asisten AI selalu jawab. Nggak pernah bilang nggak tau, dan nggak pernah kelihatan ragu. Itu yang bikin bahaya.

Satu-satunya cara tau dia bisa dipercaya atau nggak adalah nguji pakai soal yang jawabannya udah kamu tau. Panduan ini isinya cara bikin uji itu dari nol, plus hasil nyata dari 30 soal di dataset toko_berkah.

Kenapa asisten AI data perlu diuji?

Karena kesalahan asisten AI biasanya nggak keluar sebagai error. Query-nya jalan, angkanya muncul, formatnya rapi. Yang salah cuma logikanya, dan itu nggak keliatan tanpa pembanding.

Ada tiga tipe kesalahan yang paling sering aku temuin:

• Filter yang meleset. Kamu minta bulan lalu, dia ngambil 30 hari terakhir. Angkanya beda dan dua-duanya masuk akal.
• Baris kelipatan. Join ke tabel detail bikin satu transaksi kehitung 3 kali, jadi omzetnya membengkak.
• Definisi yang beda. Kamu maksud pelanggan aktif adalah yang belanja 30 hari terakhir, dia ngartiin sebagai semua pelanggan terdaftar.

Tanpa uji, kamu baru tau setelah angkanya masuk ke rapat direksi. Itu tempat yang mahal buat ketauan salah.

Apa itu akurasi hasil dan kenapa itu yang diukur?

Akurasi hasil adalah persentase soal yang jawaban akhirnya sama persis dengan kunci jawaban. Ini beda dari kemiripan teks, yang cuma ngecek query-nya mirip apa nggak. Dua query bisa ditulis beda tapi ngeluarin angka sama, dan itu tetap dihitung benar. Yang penting angkanya, bukan gaya nulisnya.

Kenapa bukan kemiripan teks? Soalnya ada banyak cara nulis query yang bener. Kalau kamu nilai berdasarkan teks, asisten yang bener bisa kena nilai salah.

Pendekatan yang sama dipakai di alat evaluasi resmi kayak panduan Evals dari OpenAI. Idenya: bandingin keluaran, bukan cara nyampenya.

Langkah 1: Kumpulin 30 pertanyaan nyata

Jangan bikin pertanyaan karangan. Ambil dari yang beneran ditanya orang ke kamu selama sebulan terakhir.

Sumber paling bagus: chat WhatsApp tim, tiket permintaan data, dan komentar di dashboard. Salin apa adanya, termasuk yang bahasanya berantakan.

Bagi 30 soal itu jadi tiga tingkat kesulitan:

1. Mudah (10 soal). Satu tabel, satu agregasi. Contoh: total omzet bulan Oktober.
2. Sedang (12 soal). Butuh filter berlapis atau gabungan dua tabel. Contoh: omzet produk kategori sembako di Semarang kuartal lalu.
3. Sulit (8 soal). Butuh perbandingan antar periode, pengelompokan bertingkat, atau definisi bisnis. Contoh: pelanggan yang belanja 3 bulan berturut-turut lalu berhenti.

Kenapa 30? Dari pengalaman aku, di bawah 20 soal hasilnya terlalu goyah. Satu jawaban salah ngubah skor 5 poin. Di atas 50, kamu capek bikin kunci jawabannya dan nggak jadi-jadi.

Langkah 2: Bikin kunci jawaban manual

Ini bagian paling makan waktu, dan nggak bisa dilewat. Kamu tulis query sendiri buat tiap soal, jalanin, lalu catat angkanya.

Simpan tiga hal per soal:

• Pertanyaan aslinya, apa adanya.
• Query kunci yang kamu tulis dan udah kamu cek.
• Angka hasilnya, lengkap sampai satuan terkecil.

Contoh satu baris kunci jawaban:

Soal   : "Omzet sembako di Semarang bulan Oktober berapa?"
Query  : SELECT SUM(t.total)
         FROM transaksi t
         JOIN produk p ON p.produk_id = t.produk_id
         WHERE p.kategori = 'sembako'
           AND t.kota = 'Semarang'
           AND t.tanggal >= '2025-10-01'
           AND t.tanggal < '2025-11-01'
           AND t.status = 'selesai';
Jawaban: 412.885.000

Perhatiin status = 'selesai'. Aturan bisnis kayak gini yang paling sering dilewat asisten AI, soalnya dia nggak tau ada transaksi batal di tabelmu.

Sebelum bikin kunci, pastiin datamu sendiri bersih. Kalau kunci jawabannya salah, seluruh uji jadi nggak ada artinya. Cek dulu pakai prinsip data quality.

Langkah 3: Tentuin aturan penilaian

Pakai tiga label saja. Lebih dari itu bikin kamu ragu-ragu waktu nilai.

Label	Artinya	Nilai
Benar	Angkanya sama persis dengan kunci	1
Salah	Angkanya beda, walau query-nya jalan	0
Gagal	Query error atau asisten nolak jawab	0

Bedain Salah dan Gagal walau nilainya sama. Gagal itu masalah kecil karena kamu langsung tau ada yang keliru. Salah itu masalah besar karena diam-diam.

Buat angka yang ada desimalnya, tentuin toleransi di awal. Aku pakai selisih maksimal 1 rupiah buat hasil penjumlahan, dan 0,01 buat rata-rata.

Langkah 4: Jalanin uji dan catat hasilnya

Bikin satu spreadsheet dengan kolom: nomor soal, tingkat kesulitan, pertanyaan, jawaban kunci, jawaban asisten, label, dan catatan penyebab.

Jalanin semua 30 soal dalam sesi terpisah. Ini penting. Kalau kamu tanya berturut-turut di satu percakapan, asisten belajar dari koreksi kamu sebelumnya, dan hasilnya jadi lebih bagus dari kenyataan.

Hitung skornya pakai COUNTIFS:

=COUNTIFS(F2:F31;"Benar")/COUNTA(F2:F31)

Buat skor per tingkat kesulitan, tambahin satu kriteria:

=COUNTIFS(F2:F31;"Benar";B2:B31;"Sulit")/COUNTIFS(B2:B31;"Sulit")

Angka gabungan doang nyembunyiin banyak hal. Asisten bisa dapat 70% total tapi cuma 25% di soal sulit, dan justru soal sulit yang bikin kamu butuh dia.

Langkah 5: Kelompokin penyebab kesalahannya

Skor cuma bilang seberapa sering salah. Yang bikin kamu bisa memperbaiki adalah tau salahnya kenapa.

Pakai lima kategori ini di kolom catatan:

• Filter tanggal. Rentang waktunya nggak sesuai maksud pertanyaan.
• Aturan bisnis kelewat. Nggak ngecualiin transaksi batal, retur, atau akun uji coba.
• Join berlebih. Baris kehitung berkali-kali gara-gara relasi satu ke banyak.
• Salah kolom. Pakai kolom yang namanya mirip, misalnya total dan total_setelah_diskon.
• Ngarang kolom. Nyebut kolom yang nggak ada di skema.

Kategori inilah yang nantinya jadi bahan perbaikan prompt kamu.

Contoh kasus: 30 soal di dataset toko_berkah

Aku uji satu asisten AI umum di database toko_berkah. Skemanya 6 tabel, data 18 bulan, 1,4 juta baris transaksi. Skema aku tempel di awal tiap sesi.

Hasil totalnya:

Tingkat	Jumlah soal	Benar	Akurasi
Mudah	10	10	100%
Sedang	12	7	58%
Sulit	8	2	25%
Total	30	19	63%

Angka 63% itu sendiri nggak terlalu berguna. Yang berguna adalah sebaran penyebab salahnya:

Penyebab	Jumlah kasus
Filter tanggal	5
Aturan bisnis kelewat	3
Join berlebih	2
Salah kolom	1
Ngarang kolom	0

Temuan yang paling kepake buat aku: dari 11 jawaban salah, 8 di antaranya keluar tanpa error sama sekali. Query jalan mulus, angkanya keluar, dan nggak ada tanda apa pun kalau itu keliru.

Yang kedua: 5 dari 11 kesalahan datang dari filter tanggal. Setelah aku tambahin satu kalimat di prompt bahwa bulan lalu berarti tanggal 1 sampai akhir bulan kalender sebelumnya, akurasi total naik dari 63% ke 77% di uji ulang.

Kenaikan 14 poin dari satu kalimat. Itu jauh lebih murah dari ganti model.

Langkah 6: Uji ulang tiap ada perubahan

Soal ujimu jadi alat ukur tetap. Setiap kali ada yang berubah, jalanin lagi.

Yang perlu memicu uji ulang:

1. Kamu ubah prompt sistem atau instruksi skema.
2. Penyedia AI-nya ganti versi model.
3. Ada tabel baru atau kolom yang berubah nama di database.
4. Kamu ganti asisten ke penyedia lain.

Simpan skor tiap uji beserta tanggalnya. Setelah 4 sampai 5 putaran, kamu punya tren, dan tren itu yang bikin kamu bisa jawab kalau ada yang nanya apakah asistennya makin bagus.

Kalau kamu lagi bandingin beberapa pilihan tool, soal uji yang sama bisa kamu pakai buat semuanya. Daftar pilihannya ada di tools text-to-SQL.

Kesalahan umum waktu bikin evaluasi

Soalnya kegampangan semua. Kalau semua soal cuma butuh satu tabel, skormu bakal 95% dan nggak ngasih tau apa-apa. Uji harus punya soal yang bikin asisten kesulitan.

Nilai berdasarkan kesan. Jawaban yang panjang dan rapi kelihatan lebih benar. Nilai cuma dari angkanya.

Nguji di satu percakapan panjang. Konteks percakapan bikin skor naik palsu. Satu soal satu sesi.

Nggak nyimpen kunci jawaban. Enam bulan lagi kamu bakal lupa kenapa jawabannya 412.885.000. Simpan query kuncinya, bukan cuma angkanya.

Nguji pakai data produksi tanpa izin. Kalau datanya berisi info pelanggan, jangan tempel ke layanan publik. Pakai data yang udah disamarkan, atau jalanin model di infrastruktur sendiri kayak yang dibahas di LLM lokal untuk analisa data.

Berapa akurasi yang cukup?

Tergantung apa yang kamu lakuin sama jawabannya.

Kalau asisten cuma bantu bikin draft query yang kamu cek sendiri, akurasi 60% udah nolong. Kamu tetap yang tanggung jawab, dan dia motong waktu nulis.

Kalau jawabannya langsung masuk laporan tanpa dicek manusia, 95% pun masih terlalu berisiko. Satu dari 20 angka salah itu banyak buat laporan bulanan.

Aturan praktis yang aku pakai: makin sedikit manusia yang ngecek, makin tinggi ambang akurasi yang harus dipenuhi. Dan buat angka yang jadi metric resmi perusahaan, selalu ada manusia yang ngecek.

FAQ

Berapa soal minimal buat evaluasi yang layak dipercaya?

Sekitar 30 soal buat gambaran awal. Di bawah 20, satu jawaban salah ngubah skor terlalu besar, jadi kamu nggak bisa bedain perbaikan nyata dari kebetulan. Kalau asistennya bakal dipakai banyak orang tiap hari, naikkan ke 50 sampai 100 soal dan pastiin sebarannya nutupin semua tabel penting. Yang lebih penting dari jumlah adalah soalnya diambil dari pertanyaan nyata, bukan karangan.

Gimana kalau satu pertanyaan punya lebih dari satu jawaban yang benar?

Itu tanda pertanyaannya ambigu, dan justru berguna buat kamu. Perjelas dulu definisinya di kunci jawaban, misalnya tulis pelanggan aktif berarti yang punya transaksi selesai dalam 30 hari terakhir. Kalau ambiguitasnya emang ada di kerjaan nyata, catat kedua jawaban sebagai benar dan tandai soal itu. Pola ini biasanya nunjukin kalau definisi metrik di timmu belum disepakati.

Apakah aku perlu tool khusus buat evaluasi?

Nggak buat 30 soal. Satu spreadsheet dengan tujuh kolom udah cukup, dan kamu bisa hitung skornya pakai COUNTIFS. Tool evaluasi baru kepake waktu kamu jalanin ratusan soal berulang kali secara otomatis, misalnya tiap kali ada perubahan prompt di aplikasi produksi. Mulai dari spreadsheet dulu, pindah ke tool waktu manualnya kerasa berat.

Kenapa akurasi di soal sulit selalu jauh lebih rendah?

Karena soal sulit butuh aturan bisnis yang cuma ada di kepala tim, bukan di skema database. Asisten nggak tau kalau transaksi berstatus batal harus dikecualikan, atau kalau bulan fiskal kalian mulai tanggal 26. Cara memperbaikinya bukan ganti model, tapi nulis aturan itu secara harfiah di prompt. Di uji aku, satu kalimat tambahan soal definisi bulan naikin akurasi 14 poin.

Seberapa sering evaluasi perlu diulang?

Tiap kali ada perubahan di salah satu dari tiga hal: prompt, versi model, atau skema database. Kalau nggak ada perubahan apa pun, sekali per kuartal cukup buat mastiin penyedia AI-nya nggak diam-diam ganti perilaku. Catat tanggal dan skornya tiap kali, soalnya nilai sebenarnya ada di tren, bukan di satu angka tunggal.

Penutup

Asisten AI data nggak bisa dinilai dari kesan. Jawabannya selalu terdengar yakin, termasuk waktu salah.

Tiga puluh soal, kunci jawaban buatanmu sendiri, dan satu kolom label sudah cukup buat ngubah kesan itu jadi angka yang bisa kamu bandingin dari bulan ke bulan.

Mulai sore ini: buka riwayat permintaan data timmu, ambil 10 pertanyaan pertama yang kamu lihat, dan tulis kunci jawabannya. Sisanya nyusul minggu depan. Kalau kamu mau bandingin beberapa asisten sekaligus pakai soal yang sama, daftarnya ada di tools text-to-SQL.