ELT
Extract Load Transform
Varian modern ETL di mana data diekstrak dan langsung dimuat ke tujuan, baru kemudian ditransformasi menggunakan kekuatan komputasi cloud data warehouse.
ELT (Extract, Load, Transform) adalah proses integrasi data modern yang berbeda dari ETL dalam urutan tahapannya - transformasi dilakukan di dalam data warehouse/lake, bukan di staging area.
ELT vs ETL
| Aspek | ETL | ELT |
|---|---|---|
| Urutan | Extract → Transform → Load | Extract → Load → Transform |
| Transformasi | Di staging server terpisah | Di dalam target DWH |
| Kecepatan muat | Lebih lambat (transform dulu) | Lebih cepat (load raw dulu) |
| Fleksibilitas | Kaku (transform saat load) | Fleksibel (transform on-demand) |
| Cocok untuk | On-premise, data kecil-menengah | Cloud DWH (Snowflake, BigQuery) |
| Tools | Informatica, SSIS | dbt, Spark, SQL |
Kenapa ELT Lebih Populer Sekarang?
Modern cloud data warehouses (Snowflake, BigQuery, Redshift) memiliki:
- Massive compute power: Bisa transformasi data besar dalam detik
- Separation of storage & compute: Simpan data murah, transformasi sesuai kebutuhan
- SQL-based transformations: Gunakan SQL untuk transformasi, bukan kode khusus
- Pay-as-you-go: Bayar hanya saat transformasi dijalankan
ELT Modern dengan dbt
dbt (data build tool) adalah tool utama untuk transformasi dalam ELT:
- Tulis transformasi dalam SQL
- Version control dengan git
- Dokumentasi dan testing otomatis
- Lineage graph otomatis
Istilah Terkait
ETL
Data ProcessingProses integrasi data yang terdiri dari Extract (mengambil data), Transform (membersihkan dan mengubah format), dan Load (memasukkan ke sistem tujuan).
Data Pipeline
Data ProcessingSerangkaian proses otomatis yang memindahkan dan mengubah data dari sumber ke tujuan secara terstruktur dan terjadwal.
CDC
Data ProcessingTeknik real-time untuk mendeteksi dan merekam perubahan data di database sumber (INSERT, UPDATE, DELETE) untuk disinkronkan ke sistem tujuan.
Udah paham ELT? Lanjut latihan SQL dan Excel yuk!
Latihan interaktif, langsung di browser.