Data Lineage
Rekam jejak perjalanan data dari sumber asalnya hingga tujuan akhir - menunjukkan asal-usul data, transformasi yang dilakukan, dan semua sistem yang dilalui sepanjang jalan.
Data Lineage adalah dokumentasi visual dan teknis tentang perjalanan data dari sumber asalnya (misalnya database transaksi) hingga laporan akhir atau model ML yang menggunakannya.
Dua Arah Data Lineage
Forward Lineage (Upstream → Downstream)
Mulai dari sumber, ikuti ke mana data mengalir:
- Tabel orders (sumber) → dbt model stg_orders → fct_monthly_revenue → Dashboard Tableau
Berguna untuk: Impact analysis - "Jika saya ubah kolom ini, apa yang terpengaruh?"
Backward Lineage (Downstream → Upstream)
Mulai dari laporan, lacak ke sumber aslinya:
- Dashboard revenue menampilkan angka aneh → fct_monthly_revenue → stg_orders → Tabel orders → ETL Fivetran → Database produksi
Berguna untuk: Root cause analysis - "Angka ini dari mana asalnya?"
Level Granularitas Lineage
| Level | Contoh | Tool |
|---|---|---|
| Table-level | orders → stg_orders → fct_revenue | dbt, Apache Atlas |
| Column-level | amount (orders) → amount_idr (stg) → total_revenue (fct) | Alation, Atlan |
| Job-level | Airflow DAG → Spark job → Redshift table | Marquez, OpenLineage |
Lineage vs Audit Log
| Aspek | Data Lineage | Audit Log |
|---|---|---|
| Fokus | Alur transformasi data | Siapa akses apa kapan |
| Tujuan | Impact analysis, root cause | Security, compliance |
| Format | Graf/diagram | Tabel log |
Istilah Terkait
Metadata
Data GovernanceData tentang data - informasi yang menjelaskan karakteristik, konteks, dan struktur dari sebuah dataset, seperti nama kolom, tipe data, waktu pembuatan, dan pemilik data.
Data Catalog
Data GovernanceInventaris terpusat dari seluruh aset data dalam organisasi, dilengkapi dengan metadata, dokumentasi, lineage, dan fitur pencarian untuk memudahkan tim menemukan, memahami, dan mempercayai data.
Data Dictionary
Data GovernanceDokumen yang mendefinisikan arti, format, aturan, dan konteks bisnis dari setiap field (kolom) dalam sebuah sistem data - menjadi rujukan tunggal agar semua orang memahami data dengan cara yang sama.
Data Governance
Data GovernanceKerangka kebijakan, proses, dan tanggung jawab yang memastikan data dikelola secara konsisten, aman, berkualitas, dan sesuai regulasi di seluruh organisasi.
Udah paham Data Lineage? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.