Data Observability

Apa itu Data Observability?

Kalau kamu pernah kerja di tim engineering, kamu pasti familiar sama konsep monitoring server: CPU usage, memory, error rate, response time. Nah, data observability itu konsep yang sama tapi diterapkan ke datanya sendiri, bukan infrastrukturnya.

Masalah yang coba diselesaikan data observability: gimana kamu tahu kalau data yang ada di data warehouse kamu itu "sehat"? Gimana kamu detect kalau pipeline kamu tiba-tiba kirim data kosong? Atau kalau distribusi nilai di kolom tertentu tiba-tiba berubah dramatis karena ada bug di upstream? Tanpa observability yang baik, kamu sering baru tahu ada masalah setelah laporan ke stakeholder udah salah, atau lebih parah: setelah keputusan bisnis udah diambil berdasarkan data yang corrupt.

Lima Pilar Data Observability

Istilah ini dipopulerkan oleh Monte Carlo Data, dan mereka mendefinisikan lima dimensi utama:

Pilar	Artinya	Contoh Pertanyaan
Freshness	Seberapa up-to-date data kamu?	"Tabel ini harusnya update tiap jam, kenapa data terakhirnya 6 jam lalu?"
Volume	Berapa banyak data yang masuk atau keluar?	"Hari ini cuma ada 200 transaksi, tapi biasanya 2.000. Ada yang salah?"
Distribution	Gimana distribusi nilai di tiap kolom?	"Tiba-tiba 40% nilai di kolom status jadi NULL, padahal biasanya cuma 2%."
Schema	Apakah struktur tabel berubah?	"Ada kolom baru yang tiba-tiba muncul, atau kolom existing yang hilang."
Lineage	Data ini asalnya dari mana?	"Kalau tabel ini error, tabel atau dashboard mana yang ikut kena dampak?"

Bedanya Data Observability vs Data Quality

Sering dikira sama, padahal beda:

• Data Quality: ngecek apakah data memenuhi standar tertentu pada satu titik waktu ("apakah kolom email terisi semua dan formatnya valid?")
• Data Observability: monitoring perubahan kondisi data secara terus-menerus ("kenapa jumlah record tiba-tiba drop 80% dari kemarin?")

Data quality itu lebih ke assessment statis, data observability lebih ke monitoring dinamis yang berjalan terus.

Kenapa Makin Relevan Sekarang?

Data stack modern makin kompleks: ada ingestion dari berbagai sumber, transformasi di dbt, hasil dipakai di berbagai BI tools dan ML model. Makin banyak "sambungan" dalam pipeline kamu, makin banyak titik yang bisa gagal. Data observability yang baik memungkinkan tim data untuk:

1. Detect anomali sebelum stakeholder yang ngelaporin
2. Identify root cause lebih cepat: tabel mana, pipeline mana, transformasi mana yang bermasalah
3. Hitung impact: siapa dan dashboard mana yang kena dampak dari data yang bermasalah

Mulai dari Mana?

Kalau kamu baru mau mulai, urutan prioritas yang masuk akal:

1. Monitor freshness dulu karena paling mudah dan paling sering jadi masalah
2. Set alert untuk volume yang anomali
3. Track schema changes di warehouse kamu
4. Explore tools dedicated untuk observability kalau skala tim udah cukup besar