AI untuk Data Cleaning: Sampai Mana Bisa Diandalkan

AI bisa diandalkan buat data cleaning yang sifatnya nyeragamin teks — nama kota, format tanggal, kategori produk. AI nggak bisa diandalkan buat ngisi nilai yang hilang, karena dia bakal nebak angka yang kelihatan masuk akal tapi nggak punya dasar apa pun.

Garis pemisahnya jelas: kalau tugasnya soal bentuk, AI jago. Kalau tugasnya soal kebenaran, jangan.

Aku pakai AI tiap minggu buat bersihin data. Tapi cuma buat tugas tertentu, dan selalu lewat satu aturan yang bakal aku jelasin di bawah.

Apa yang AI beneran jago?

1. Nyeragamin nama yang ditulis beda-beda

Ini tugas favoritnya AI. Kamu punya kolom kota yang isinya:

Jkt
DKI Jakarta
jakarta
JAKARTA PUSAT
Jak-Sel
Jakarta Selatan

Bikin aturan manual buat ini pakai IF bakal makan waktu berjam-jam. AI ngerti konteks bahasa, jadi dia bisa nyamain semuanya jadi "Jakarta" dalam hitungan detik.

Ini namanya fuzzy matching — nyocokin teks yang mirip tapi nggak persis sama.

2. Benerin format tanggal yang campur aduk

Data dari 5 cabang, 5 format berbeda:

12/05/2026
2026-05-12
12 Mei 2026
May 12, 2026
12-05-26

AI bisa baca semuanya dan konversi ke satu format. Yang penting: dia juga bisa ngasih tau mana yang ambigu. 05/06/2026 itu 5 Juni atau 6 Mei? AI bakal nanya, kalau kamu minta dia hati-hati.

3. Ngelompokin teks bebas

Kolom keluhan pelanggan isinya kalimat panjang. Kamu mau kelompokin jadi 5 kategori.

Ini yang dulu makan waktu 2 hari kerja manual. Sekarang AI bisa baca 3.000 keluhan dan kasih label kategori dalam beberapa menit.

Tapi tetap: ambil sampel 50 baris dan cek manual. Kalau akurasinya di bawah 90%, perbaiki instruksinya.

Apa yang AI payah banget?

1. Ngisi nilai yang hilang

Ini yang paling bahaya. Dan ini yang paling sering orang minta.

Kolom penghasilan kosong di 340 baris. Kamu minta AI ngisi. Dia bakal ngisi "Rp 8.500.000" karena profil orangnya mirip sama yang lain.

Angka itu masuk ke analisis kamu. Nggak ada penanda apa-apa. Tiga bulan kemudian, rata-rata penghasilan nasabah kamu bergeser, dan nggak ada yang tau kenapa.

Kalau kamu memang butuh imputasi, pakai metode yang bisa kamu jelasin — isi pakai median, atau pakai model regresi yang kamu dokumentasiin. Dan selalu tandai baris mana yang diisi pakai kolom flag.

penghasilan | penghasilan_diisi
8500000     | TRUE
12000000    | FALSE

Satu kolom itu nyelametin kamu dari salah kesimpulan.

2. Data yang butuh konteks bisnis internal

Kode produk PRD-X7 di sistem kamu artinya "Beras Premium 5kg". AI nggak tau itu. Dia bakal nebak sesuatu yang keliatan masuk akal.

Buat mapping kode internal, kamu butuh tabel referensi — bukan AI.

3. Data sensitif

Jangan tempel nama, nomor HP, NIK, atau angka keuangan asli ke chatbot publik. Data itu keluar dari kendali kamu begitu terkirim.

Kirim struktur kolom dan data dummy yang bentuknya sama. AI nggak butuh data asli buat bikin aturan pembersihan.

Aturan emas: minta aturan, bukan hasil

Ini yang paling penting dari seluruh artikel.

Jangan: "Nih 3.000 baris, tolong bersihin dan kirim balik hasilnya."

Lakukan: "Nih 20 contoh nama kota yang berantakan. Bikinin script Python yang normalisasi ini jadi nama kota standar. Jelasin aturannya."

Kenapa ini jauh lebih baik:

• Bisa diaudit. Kamu baca aturannya, kamu tau apa yang berubah.
• Bisa diulang. Bulan depan data baru masuk, jalanin script yang sama. Hasilnya konsisten.
• Nggak ada halusinasi. Script nggak bisa ngarang nilai baru. Dia cuma ngikutin aturan.
• Data asli nggak keluar. Kamu cuma kirim 20 contoh, bukan 3.000 baris.

Kalau kamu minta AI ngedit data langsung, kamu nggak punya cara buat ngecek apa yang dia ubah. Dan di data 3.000 baris, kamu nggak akan sempet cek satu-satu.

Alur kerja yang aku pakai

1. Profil dulu datanya. Berapa baris kosong? Berapa nilai unik di tiap kolom? Ini yang nunjukin masalahnya di mana.
2. Pisahin masalah bentuk vs masalah isi. Nama kota berantakan = masalah bentuk. Penghasilan kosong = masalah isi.
3. Buat masalah bentuk: minta AI bikin script pembersihan. Baca scriptnya. Jalanin.
4. Buat masalah isi: putuskan sendiri. Buang barisnya, isi pakai median, atau biarin kosong dan tandai.
5. Validasi. Ambil 50 baris acak dari hasil, cek manual.
6. Simpan scriptnya. Bulan depan kamu bakal butuh lagi.

Contoh kasus: bersihin data toko_berkah

Dataset toko_berkah versi mentah — 12.400 transaksi dari 3 cabang, digabung dari 3 sistem kasir yang beda.

Masalahnya:

Masalah	Jumlah baris	Cocok buat AI?
Nama produk ditulis beda-beda	1.847	Ya
Format tanggal campur 3 gaya	4.210	Ya
Nama cabang inkonsisten	892	Ya
Kolom harga_satuan kosong	312	Nggak
Kode produk internal	2.104	Nggak

Buat 3 masalah pertama, aku minta AI bikin script Python. Hasilnya: 6.949 baris beres dalam 12 menit, termasuk waktu aku baca dan revisi scriptnya.

Aku cek sampel 60 baris. Akurasi 96,7% — dua kesalahan, dua-duanya di produk yang namanya mirip ("Beras Pandan Wangi" vs "Beras Pandan Wangi Super"). Aku tambahin aturan manual buat dua itu.

Buat kolom harga_satuan yang kosong di 312 baris, aku nggak pakai AI sama sekali. Aku ambil harga dari tabel master produk berdasarkan tanggal transaksi. Kalau nggak ketemu, baris itu aku tandai dan keluarin dari analisis omzet.

Kalau aku biarin AI nebak harga, omzet total bisa meleset jutaan rupiah dan nggak ada yang tau.

Kesalahan umum

Percaya hasil AI tanpa cek sampel. Akurasi 95% kedengeran bagus. Di 12.400 baris, itu 620 baris salah. Ambil sampel acak, selalu.

Minta AI ngedit langsung tanpa nyimpen aturannya. Bulan depan data baru masuk, kamu harus mulai dari nol. Dan hasilnya bisa beda dari bulan lalu.

Nggak simpan data mentahnya. Selalu simpan file asli. Kalau hasil pembersihan ternyata salah, kamu masih punya jalan pulang.

Nempel data pelanggan asli ke chatbot. Ini bukan cuma soal privasi, tapi juga soal aturan internal perusahaan yang bisa bikin kamu kena masalah.

FAQ

AI bisa bersihin data otomatis?

Sebagian bisa, sebagian jangan. AI jago di tugas yang sifatnya nyeragamin teks, misalnya ngubah Jkt, DKI Jakarta, dan jakarta jadi satu nilai Jakarta. AI buruk di tugas yang butuh kebenaran faktual, misalnya ngisi kolom penghasilan yang kosong. Di situ dia bakal nebak angka yang terlihat masuk akal tapi nggak punya dasar.

Kenapa bahaya kalau AI ngisi nilai yang kosong?

Karena hasil tebakannya kelihatan meyakinkan. Kalau kolom penghasilan kosong dan AI ngisi 8 juta karena profil orangnya mirip, angka itu masuk ke analisis kamu seolah data asli. Nggak ada penanda bahwa itu tebakan. Kalau memang perlu imputasi, pakai metode statistik yang bisa kamu jelasin, dan tandai baris mana yang diisi.

Cara paling aman pakai AI buat data cleaning gimana?

Minta AI bikin aturan atau kode pembersihan, bukan minta dia ngedit data langsung. Misalnya minta script Python yang normalisasi nama kota, lalu kamu baca aturannya dan jalanin sendiri. Dengan begitu kamu bisa audit apa yang berubah, dan proses yang sama bisa diulang bulan depan tanpa hasil yang beda.

Boleh nggak nempel data asli ke ChatGPT?

Jangan buat data yang ada nama, nomor HP, NIK, atau angka keuangan asli. Data itu keluar dari kendali kamu begitu terkirim. Kalau butuh bantuan AI, kirim struktur kolom dan 3 sampai 5 baris data dummy yang bentuknya sama. AI nggak butuh data asli buat bikin aturan pembersihan.

Apa tugas cleaning yang paling cocok buat AI?

Fuzzy matching dan normalisasi teks. Nyamain nama kota, nama produk, atau nama perusahaan yang ditulis beda-beda. AI juga bagus buat nebak format tanggal yang campur aduk, dan buat kategorisasi teks bebas seperti mengelompokkan keluhan pelanggan. Ketiganya butuh pola bahasa, dan itu yang paling kuat dari AI.

Penutup

Ringkasnya:

AI dipakai buat masalah bentuk — nama, format, kategori. Bukan buat masalah isi — nilai yang hilang, kode internal, angka keuangan.

Dan satu kebiasaan yang bikin semuanya aman: minta AI bikin aturan, bukan hasil. Script yang bisa kamu baca, audit, dan jalanin ulang bulan depan.

Mau lanjut ke praktik pembersihan yang lebih dalam? Baca cara bikin query SQL pakai AI tanpa salah logika — prinsipnya sama persis: verifikasi sebelum percaya.

Buat teknik imputasi yang bisa dipertanggungjawabkan, cek dokumentasi resmi scikit-learn soal imputation.