Serangkaian proses otomatis yang memindahkan dan mengubah data dari sumber ke tujuan secara terstruktur dan terjadwal.
Data Pipeline adalah serangkaian langkah otomatis yang mengalirkan data dari satu sistem ke sistem lain, seringkali dengan transformasi di tengah perjalanan.
Source → Ingest → Transform → Store → Serve
(DB/API) → (Extract) → (Clean/Enrich) → (DWH/Lake) → (BI/ML)
| Aspek | Batch Pipeline | Streaming Pipeline |
|---|---|---|
| Timing | Terjadwal (hourly, daily) | Real-time / near real-time |
| Latency | Menit sampai jam | Milidetik sampai detik |
| Kompleksitas | Lebih sederhana | Lebih kompleks |
| Tools | Airflow, dbt | Kafka, Flink, Spark Streaming |
| Use case | Reporting, DWH | Fraud detection, live dashboard |
Proses integrasi data yang terdiri dari Extract (mengambil data), Transform (membersihkan dan mengubah format), dan Load (memasukkan ke sistem tujuan).
Varian modern ETL di mana data diekstrak dan langsung dimuat ke tujuan, baru kemudian ditransformasi menggunakan kekuatan komputasi cloud data warehouse.
Teknik real-time untuk mendeteksi dan merekam perubahan data di database sumber (INSERT, UPDATE, DELETE) untuk disinkronkan ke sistem tujuan.
Pemrosesan data dalam kumpulan besar (batch) pada waktu tertentu - biasanya terjadwal malam atau minggu - bukan secara real-time saat data masuk.
Pemrosesan data secara real-time saat data masuk - setiap event diproses dalam milidetik hingga detik, tanpa menunggu data dikumpulkan dalam batch.
Udah paham Data Pipeline? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.