Platform orkestrasi workflow open-source yang memungkinkan penjadwalan, monitoring, dan manajemen pipeline data kompleks menggunakan kode Python.
Apache Airflow adalah platform orkestrasi workflow yang digunakan untuk mendefinisikan, menjadwalkan, dan memantau alur kerja (pipeline) data secara programatik menggunakan Python.
Unit utama dalam Airflow. DAG adalah representasi alur kerja - kumpulan task beserta dependensinya yang membentuk graf berarah tanpa siklus.
Setiap langkah dalam DAG. Sebuah task bisa berupa query SQL, script Python, API call, atau bash command.
Template task yang sudah siap pakai. Contoh:
Komponen yang memantau DAG dan menjalankan task sesuai jadwal atau trigger.
| Aspek | Apache Airflow | Prefect | Dagster |
|---|---|---|---|
| Pendekatan | DAG Python | Flow Python | Asset-centric |
| Setup | Kompleks | Lebih mudah | Sedang |
| Observability | Cukup | Bagus | Sangat bagus |
| Learning curve | Tinggi | Sedang | Sedang |
| Managed options | MWAA, Composer, Astronomer | Prefect Cloud | Dagster Cloud |
Tool transformasi data open-source yang memungkinkan data engineer dan analyst menulis transformasi SQL layaknya software engineer, lengkap dengan testing, dokumentasi, dan version control.
Platform integrasi data open-source yang memudahkan pengiriman data dari ratusan sumber (database, API, SaaS) ke data warehouse atau data lake secara otomatis dengan pendekatan ELT.
Platform ELT terkelola (managed) yang secara otomatis menyinkronisasi data dari ratusan sumber seperti database, SaaS, dan API ke data warehouse dengan zero maintenance.
Udah paham Apache Airflow? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.