Rekam jejak perjalanan data dari sumber asalnya hingga tujuan akhir - menunjukkan asal-usul data, transformasi yang dilakukan, dan semua sistem yang dilalui sepanjang jalan.
Data Lineage adalah dokumentasi visual dan teknis tentang perjalanan data dari sumber asalnya (misalnya database transaksi) hingga laporan akhir atau model ML yang menggunakannya.
Mulai dari sumber, ikuti ke mana data mengalir:
Berguna untuk: Impact analysis - "Jika saya ubah kolom ini, apa yang terpengaruh?"
Mulai dari laporan, lacak ke sumber aslinya:
Berguna untuk: Root cause analysis - "Angka ini dari mana asalnya?"
| Level | Contoh | Tool |
|---|---|---|
| Table-level | orders → stg_orders → fct_revenue | dbt, Apache Atlas |
| Column-level | amount (orders) → amount_idr (stg) → total_revenue (fct) | Alation, Atlan |
| Job-level | Airflow DAG → Spark job → Redshift table | Marquez, OpenLineage |
| Aspek | Data Lineage | Audit Log |
|---|---|---|
| Fokus | Alur transformasi data | Siapa akses apa kapan |
| Tujuan | Impact analysis, root cause | Security, compliance |
| Format | Graf/diagram | Tabel log |
Data tentang data - informasi yang menjelaskan karakteristik, konteks, dan struktur dari sebuah dataset, seperti nama kolom, tipe data, waktu pembuatan, dan pemilik data.
Inventaris terpusat dari seluruh aset data dalam organisasi, dilengkapi dengan metadata, dokumentasi, lineage, dan fitur pencarian untuk memudahkan tim menemukan, memahami, dan mempercayai data.
Dokumen yang mendefinisikan arti, format, aturan, dan konteks bisnis dari setiap field (kolom) dalam sebuah sistem data - menjadi rujukan tunggal agar semua orang memahami data dengan cara yang sama.
Kerangka kebijakan, proses, dan tanggung jawab yang memastikan data dikelola secara konsisten, aman, berkualitas, dan sesuai regulasi di seluruh organisasi.
Udah paham Data Lineage? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.