Pipeline Data Cleaning: Dari 3 Sistem ke Satu Dataset Production

Deskripsi

Yang Akan Kamu Pelajari

• Audit kualitas data multi-sumber secara sistematis
• Profiling format dan variasi data sebelum mulai cleaning
• Standardisasi format teks supaya konsisten lintas sumber
• Normalisasi nomor telepon dari banyak format jadi satu format baku
• Konversi format tanggal yang campur ke format yang konsisten
• Handle missing values dengan strategi yang sesuai konteks bisnis
• Hapus duplikat di dalam satu sumber data
• Konsolidasi customer records lintas sistem dengan kriteria kanonik yang jelas
• Deteksi data referensial yang invalid (orphan records)
• Validasi data berdasarkan aturan bisnis yang spesifik
• Bangun pipeline cleaning end-to-end yang reproducible dan modular

Prasyarat

• Paham SELECT, WHERE, GROUP BY, JOIN, dan UNION dasar
• Familiar fungsi agregasi (COUNT, SUM, AVG)
• Ngerti konsep CTE (WITH ... AS ...)
• Pernah pakai CASE WHEN dan COALESCE
• Kenal sama window function dasar (ROW_NUMBER OVER PARTITION BY)