Data Quality

Dimensi kualitas data yang mengukur seberapa benar data merepresentasikan realita atau sumber kebenaran yang seharusnya, termasuk ketepatan nilai, format, dan konteks.

Data yang nilainya nyentil banget dari pola normal, bisa error input, bisa juga signal penting yang perlu diinvestigasi lebih lanjut sebelum diambil kesimpulan.

Proses mengidentifikasi dan memperbaiki data yang tidak akurat, tidak lengkap, duplikat, atau tidak konsisten dalam sebuah dataset agar siap digunakan untuk analisis.

Dimensi kualitas data yang mengukur seberapa lengkap data yang tersedia, yaitu seberapa sedikit nilai yang hilang (null, kosong, atau tidak diisi) dalam dataset.

Data Consistency berarti data yang sama harus punya nilai identik di semua sistem, database, atau format yang menggunakannya. Nggak boleh beda versi.

Pergeseran perlahan pada distribusi atau karakteristik data dari waktu ke waktu, yang bikin model machine learning atau laporan analitik jadi makin nggak akurat meski kodenya nggak berubah.

Data Freshness mengukur seberapa up-to-date data yang tersedia untuk dipakai. Makin segar datanya, makin kecil gap antara kejadian nyata dan data yang kamu lihat di dashboard.

Data Integrity adalah jaminan bahwa data kamu akurat, lengkap, dan konsisten sepanjang perjalanannya, dari sumber data sampai ke laporan akhir.

Proses analisis statistik dan struktural terhadap dataset untuk memahami karakteristik, distribusi, dan kualitas data sebelum melakukan transformasi atau analisis lebih lanjut.

Ukuran seberapa baik data memenuhi kebutuhan penggunaannya, mencakup enam dimensi utama: akurasi, kelengkapan, konsistensi, aktualitas, validitas, dan keunikan.

Proses memverifikasi bahwa data di dua sistem atau dua titik waktu yang berbeda konsisten dan sesuai satu sama lain, biasanya dengan membandingkan angka-angka kunci dan menelusuri gap yang ditemukan.

Data Reliability adalah kepercayaan bahwa data kamu akurat, konsisten, dan selalu tersedia saat dibutuhkan, bukan cuma sesekali benar tapi kadang-kadang error.

Kesepakatan formal tentang standar layanan data: kapan data harus tersedia, seberapa akurat, dan seberapa up-to-date, supaya semua pihak punya ekspektasi yang sama dan terukur.

Proses menyamakan format, representasi, dan struktur data dari berbagai sumber yang berbeda supaya bisa dibandingkan dan dianalisis secara konsisten.

Data Testing adalah automated tests yang memvalidasi kualitas data dalam pipeline: memastikan data tidak null, unik, sesuai format, dan masuk akal secara bisnis sebelum dipakai untuk keputusan.

Proses memastikan data memenuhi aturan, constraint, dan standar format yang telah ditentukan sebelum digunakan dalam analisis, pelaporan, atau sistem produksi.

Proses mengidentifikasi dan menghilangkan record duplikat dalam dataset untuk memastikan setiap entitas hanya diwakili sekali, meningkatkan akurasi analisis dan laporan.

Null Value adalah representasi dari "data yang nggak ada" atau "belum diisi" dalam database. Ini bukan angka nol, bukan string kosong, dan punya sifat unik yang sering bikin bingung.

Outlier adalah nilai dalam dataset yang jauh menyimpang dari pola umum data. Bisa jadi error, bisa juga justru temuan bisnis yang paling penting.

Proses verifikasi otomatis bahwa data yang masuk sesuai dengan struktur yang udah disepakati: tipe data bener, format sesuai, nilai dalam range yang wajar, dan relasi antar tabel terjaga.