dbt

dbt (data build tool) adalah framework transformasi data yang mengubah cara tim data bekerja dengan SQL. dbt menerapkan praktik rekayasa perangkat lunak—seperti modularitas, testing, dan dokumentasi—ke dalam workflow transformasi data.

dbt dalam Ekosistem ELT

dbt berfokus pada tahap T dalam ELT (Extract, Load, Transform):

• Extract & Load: Dilakukan oleh Fivetran, Airbyte, atau tool lain
• Transform: Inilah tugas dbt - mengubah raw data menjadi tabel analitik

Konsep Inti dbt

Model

File SQL (.sql) yang mendefinisikan satu transformasi. dbt mengeksekusi setiap model sebagai CREATE TABLE atau CREATE VIEW di data warehouse.

Ref Function

{{ ref('nama_model') }} - cara dbt mengelola dependensi antar model. dbt otomatis membangun DAG dan menjalankan model dalam urutan yang benar.

Test

Validasi otomatis terhadap data. dbt punya built-in tests: not_null, unique, accepted_values, relationships.

Documentation

Setiap model dan kolom bisa diberi deskripsi di file YAML. dbt generate dokumentasi HTML otomatis.

dbt Core vs dbt Cloud

Aspek	dbt Core	dbt Cloud
Lisensi	Open source, gratis	SaaS berbayar
Interface	CLI	Web IDE + Scheduler
Scheduling	Harus pakai Airflow/dll	Built-in scheduler
Kolaborasi	Via Git	Built-in collaboration
Cocok untuk	Tim teknis	Tim campuran (analyst + engineer)