TL;DR
Buat ngukur asisten AI data bener atau nggak, kamu perlu tiga hal: kumpulan pertanyaan nyata dari kerjaan harian, kunci jawaban yang kamu hitung manual, dan aturan penilaian yang jelas. Ukur akurasi hasil, yaitu apakah angka yang dikeluarkan asisten sama persis dengan kunci jawaban, bukan apakah jawabannya terdengar meyakinkan. Dari 30 soal uji di dataset toko_berkah, akurasi hasil asisten yang aku pakai ada di 63%, dan mayoritas kesalahannya datang dari filter tanggal yang salah, bukan dari sintaks yang error.
Evaluasi asisten AI data adalah proses ngukur seberapa sering jawabannya sama dengan kunci jawaban yang kamu hitung sendiri.
Asisten AI selalu jawab. Nggak pernah bilang nggak tau, dan nggak pernah kelihatan ragu. Itu yang bikin bahaya.
Satu-satunya cara tau dia bisa dipercaya atau nggak adalah nguji pakai soal yang jawabannya udah kamu tau. Panduan ini isinya cara bikin uji itu dari nol, plus hasil nyata dari 30 soal di dataset toko_berkah.
Karena kesalahan asisten AI biasanya nggak keluar sebagai error. Query-nya jalan, angkanya muncul, formatnya rapi. Yang salah cuma logikanya, dan itu nggak keliatan tanpa pembanding.
Ada tiga tipe kesalahan yang paling sering aku temuin:
Tanpa uji, kamu baru tau setelah angkanya masuk ke rapat direksi. Itu tempat yang mahal buat ketauan salah.
Akurasi hasil adalah persentase soal yang jawaban akhirnya sama persis dengan kunci jawaban. Ini beda dari kemiripan teks, yang cuma ngecek query-nya mirip apa nggak. Dua query bisa ditulis beda tapi ngeluarin angka sama, dan itu tetap dihitung benar. Yang penting angkanya, bukan gaya nulisnya.
Kenapa bukan kemiripan teks? Soalnya ada banyak cara nulis query yang bener. Kalau kamu nilai berdasarkan teks, asisten yang bener bisa kena nilai salah.
Pendekatan yang sama dipakai di alat evaluasi resmi kayak panduan Evals dari OpenAI. Idenya: bandingin keluaran, bukan cara nyampenya.
Jangan bikin pertanyaan karangan. Ambil dari yang beneran ditanya orang ke kamu selama sebulan terakhir.
Sumber paling bagus: chat WhatsApp tim, tiket permintaan data, dan komentar di dashboard. Salin apa adanya, termasuk yang bahasanya berantakan.
Bagi 30 soal itu jadi tiga tingkat kesulitan:
Kenapa 30? Dari pengalaman aku, di bawah 20 soal hasilnya terlalu goyah. Satu jawaban salah ngubah skor 5 poin. Di atas 50, kamu capek bikin kunci jawabannya dan nggak jadi-jadi.
Ini bagian paling makan waktu, dan nggak bisa dilewat. Kamu tulis query sendiri buat tiap soal, jalanin, lalu catat angkanya.
Simpan tiga hal per soal:
Contoh satu baris kunci jawaban:
Soal : "Omzet sembako di Semarang bulan Oktober berapa?"
Query : SELECT SUM(t.total)
FROM transaksi t
JOIN produk p ON p.produk_id = t.produk_id
WHERE p.kategori = 'sembako'
AND t.kota = 'Semarang'
AND t.tanggal >= '2025-10-01'
AND t.tanggal < '2025-11-01'
AND t.status = 'selesai';
Jawaban: 412.885.000Perhatiin status = 'selesai'. Aturan bisnis kayak gini yang paling sering dilewat asisten AI, soalnya dia nggak tau ada transaksi batal di tabelmu.
Sebelum bikin kunci, pastiin datamu sendiri bersih. Kalau kunci jawabannya salah, seluruh uji jadi nggak ada artinya. Cek dulu pakai prinsip data quality.
Pakai tiga label saja. Lebih dari itu bikin kamu ragu-ragu waktu nilai.
| Label | Artinya | Nilai |
|---|---|---|
| Benar | Angkanya sama persis dengan kunci | 1 |
| Salah | Angkanya beda, walau query-nya jalan | 0 |
| Gagal | Query error atau asisten nolak jawab | 0 |
Bedain Salah dan Gagal walau nilainya sama. Gagal itu masalah kecil karena kamu langsung tau ada yang keliru. Salah itu masalah besar karena diam-diam.
Buat angka yang ada desimalnya, tentuin toleransi di awal. Aku pakai selisih maksimal 1 rupiah buat hasil penjumlahan, dan 0,01 buat rata-rata.
Bikin satu spreadsheet dengan kolom: nomor soal, tingkat kesulitan, pertanyaan, jawaban kunci, jawaban asisten, label, dan catatan penyebab.
Jalanin semua 30 soal dalam sesi terpisah. Ini penting. Kalau kamu tanya berturut-turut di satu percakapan, asisten belajar dari koreksi kamu sebelumnya, dan hasilnya jadi lebih bagus dari kenyataan.
Hitung skornya pakai COUNTIFS:
=COUNTIFS(F2:F31;"Benar")/COUNTA(F2:F31)Buat skor per tingkat kesulitan, tambahin satu kriteria:
=COUNTIFS(F2:F31;"Benar";B2:B31;"Sulit")/COUNTIFS(B2:B31;"Sulit")Angka gabungan doang nyembunyiin banyak hal. Asisten bisa dapat 70% total tapi cuma 25% di soal sulit, dan justru soal sulit yang bikin kamu butuh dia.
Skor cuma bilang seberapa sering salah. Yang bikin kamu bisa memperbaiki adalah tau salahnya kenapa.
Pakai lima kategori ini di kolom catatan:
total dan total_setelah_diskon.Kategori inilah yang nantinya jadi bahan perbaikan prompt kamu.
Aku uji satu asisten AI umum di database toko_berkah. Skemanya 6 tabel, data 18 bulan, 1,4 juta baris transaksi. Skema aku tempel di awal tiap sesi.
Hasil totalnya:
| Tingkat | Jumlah soal | Benar | Akurasi |
|---|---|---|---|
| Mudah | 10 | 10 | 100% |
| Sedang | 12 | 7 | 58% |
| Sulit | 8 | 2 | 25% |
| Total | 30 | 19 | 63% |
Angka 63% itu sendiri nggak terlalu berguna. Yang berguna adalah sebaran penyebab salahnya:
| Penyebab | Jumlah kasus |
|---|---|
| Filter tanggal | 5 |
| Aturan bisnis kelewat | 3 |
| Join berlebih | 2 |
| Salah kolom | 1 |
| Ngarang kolom | 0 |
Temuan yang paling kepake buat aku: dari 11 jawaban salah, 8 di antaranya keluar tanpa error sama sekali. Query jalan mulus, angkanya keluar, dan nggak ada tanda apa pun kalau itu keliru.
Yang kedua: 5 dari 11 kesalahan datang dari filter tanggal. Setelah aku tambahin satu kalimat di prompt bahwa bulan lalu berarti tanggal 1 sampai akhir bulan kalender sebelumnya, akurasi total naik dari 63% ke 77% di uji ulang.
Kenaikan 14 poin dari satu kalimat. Itu jauh lebih murah dari ganti model.
Soal ujimu jadi alat ukur tetap. Setiap kali ada yang berubah, jalanin lagi.
Yang perlu memicu uji ulang:
Simpan skor tiap uji beserta tanggalnya. Setelah 4 sampai 5 putaran, kamu punya tren, dan tren itu yang bikin kamu bisa jawab kalau ada yang nanya apakah asistennya makin bagus.
Kalau kamu lagi bandingin beberapa pilihan tool, soal uji yang sama bisa kamu pakai buat semuanya. Daftar pilihannya ada di tools text-to-SQL.
Soalnya kegampangan semua. Kalau semua soal cuma butuh satu tabel, skormu bakal 95% dan nggak ngasih tau apa-apa. Uji harus punya soal yang bikin asisten kesulitan.
Nilai berdasarkan kesan. Jawaban yang panjang dan rapi kelihatan lebih benar. Nilai cuma dari angkanya.
Nguji di satu percakapan panjang. Konteks percakapan bikin skor naik palsu. Satu soal satu sesi.
Nggak nyimpen kunci jawaban. Enam bulan lagi kamu bakal lupa kenapa jawabannya 412.885.000. Simpan query kuncinya, bukan cuma angkanya.
Nguji pakai data produksi tanpa izin. Kalau datanya berisi info pelanggan, jangan tempel ke layanan publik. Pakai data yang udah disamarkan, atau jalanin model di infrastruktur sendiri kayak yang dibahas di LLM lokal untuk analisa data.
Tergantung apa yang kamu lakuin sama jawabannya.
Kalau asisten cuma bantu bikin draft query yang kamu cek sendiri, akurasi 60% udah nolong. Kamu tetap yang tanggung jawab, dan dia motong waktu nulis.
Kalau jawabannya langsung masuk laporan tanpa dicek manusia, 95% pun masih terlalu berisiko. Satu dari 20 angka salah itu banyak buat laporan bulanan.
Aturan praktis yang aku pakai: makin sedikit manusia yang ngecek, makin tinggi ambang akurasi yang harus dipenuhi. Dan buat angka yang jadi metric resmi perusahaan, selalu ada manusia yang ngecek.
Sekitar 30 soal buat gambaran awal. Di bawah 20, satu jawaban salah ngubah skor terlalu besar, jadi kamu nggak bisa bedain perbaikan nyata dari kebetulan. Kalau asistennya bakal dipakai banyak orang tiap hari, naikkan ke 50 sampai 100 soal dan pastiin sebarannya nutupin semua tabel penting. Yang lebih penting dari jumlah adalah soalnya diambil dari pertanyaan nyata, bukan karangan.
Itu tanda pertanyaannya ambigu, dan justru berguna buat kamu. Perjelas dulu definisinya di kunci jawaban, misalnya tulis pelanggan aktif berarti yang punya transaksi selesai dalam 30 hari terakhir. Kalau ambiguitasnya emang ada di kerjaan nyata, catat kedua jawaban sebagai benar dan tandai soal itu. Pola ini biasanya nunjukin kalau definisi metrik di timmu belum disepakati.
Nggak buat 30 soal. Satu spreadsheet dengan tujuh kolom udah cukup, dan kamu bisa hitung skornya pakai COUNTIFS. Tool evaluasi baru kepake waktu kamu jalanin ratusan soal berulang kali secara otomatis, misalnya tiap kali ada perubahan prompt di aplikasi produksi. Mulai dari spreadsheet dulu, pindah ke tool waktu manualnya kerasa berat.
Karena soal sulit butuh aturan bisnis yang cuma ada di kepala tim, bukan di skema database. Asisten nggak tau kalau transaksi berstatus batal harus dikecualikan, atau kalau bulan fiskal kalian mulai tanggal 26. Cara memperbaikinya bukan ganti model, tapi nulis aturan itu secara harfiah di prompt. Di uji aku, satu kalimat tambahan soal definisi bulan naikin akurasi 14 poin.
Tiap kali ada perubahan di salah satu dari tiga hal: prompt, versi model, atau skema database. Kalau nggak ada perubahan apa pun, sekali per kuartal cukup buat mastiin penyedia AI-nya nggak diam-diam ganti perilaku. Catat tanggal dan skornya tiap kali, soalnya nilai sebenarnya ada di tren, bukan di satu angka tunggal.
Asisten AI data nggak bisa dinilai dari kesan. Jawabannya selalu terdengar yakin, termasuk waktu salah.
Tiga puluh soal, kunci jawaban buatanmu sendiri, dan satu kolom label sudah cukup buat ngubah kesan itu jadi angka yang bisa kamu bandingin dari bulan ke bulan.
Mulai sore ini: buka riwayat permintaan data timmu, ambil 10 pertanyaan pertama yang kamu lihat, dan tulis kunci jawabannya. Sisanya nyusul minggu depan. Kalau kamu mau bandingin beberapa asisten sekaligus pakai soal yang sama, daftarnya ada di tools text-to-SQL.
Mau praktek langsung? Mulai latihan SQL gratis
Latihan interaktif, langsung di browser.
Tools AI bisa bikin chart dan ringkas data dalam hitungan detik. Jadi Python masih perlu dipelajari analis di 2026? Jawabannya iya, tapi alasannya udah beda dari 3 tahun lalu.
Aku tes forecasting AI di data penjualan 4 cabang toko grosir. Hasilnya lebih akurat dari tebakan manual, tapi meleset parah di satu titik yang mahal.
Cara ngolah ribuan review pelanggan jadi insight pakai AI, dari nyusun prompt yang konsisten, ngasih label, sampai ngubah hasilnya jadi rekomendasi yang bisa dieksekusi.