Roadmap Data Engineer 2026: Dari SQL sampai Pipeline

Roadmap data engineer 2026 punya lima tahap: SQL, Python, data warehouse, orchestration, cloud. Urutannya penting, tiap tahap bikin tahap berikutnya masuk akal.

Realistisnya 9 sampai 12 bulan kalau kamu konsisten 10-15 jam seminggu. Bukan 3 bulan kayak yang dijual bootcamp.

Yang bikin roadmap kebanyakan gagal: isinya daftar 40 tool tanpa urutan. Kamu jadi loncat-loncat, install Kafka di minggu kedua, dan berhenti di bulan ketiga karena bingung.

Yang di bawah ini urutannya sengaja dibikin biar tiap langkah kepake buat langkah selanjutnya.

Apa sih kerjaan data engineer sehari-hari?

Data engineer bikin data itu ada, bersih, dan sampai tepat waktu ke orang yang butuh. Analyst jawab pertanyaan bisnis; engineer bangun sistem yang bikin pertanyaan itu bisa dijawab.

Konkretnya, dalam seminggu kerjaannya kira-kira gini:

• Bikin atau benerin pipeline yang narik data dari sumber (API, database aplikasi, file dari vendor)
• Nulis transformasi SQL biar data mentah jadi tabel yang gampang dipakai analyst
• Nanganin pipeline yang gagal jam 3 pagi
• Diskusi sama analyst soal kenapa angka di dashboard beda sama di sistem

Poin ketiga itu yang jarang disebut di brosur bootcamp. Reliability adalah setengah dari kerjaan ini.

Tahap 1: SQL (3 bulan pertama)

SQL duluan. Bukan Python, bukan cloud.

Alasannya praktis: SQL yang kamu pakai paling sering, bahkan sebagai engineer. Dan SQL cepat sampai level berguna, dalam 2 minggu kamu udah bisa narik data beneran.

Target di tahap ini, kamu harus lancar:

1. SELECT, WHERE, GROUP BY, ORDER BY: minggu 1-2
2. JOIN semua jenis, terutama LEFT JOIN dan kapan hasilnya bikin baris membengkak: minggu 3-4
3. Subquery dan CTE: minggu 5-6
4. Window function: ROW_NUMBER, RANK, LAG, SUM() OVER, minggu 7-10
5. Query performance: index, EXPLAIN, kenapa query kamu lambat, minggu 11-12

Nomor 5 itu pembeda engineer dari analyst. Analyst nulis query yang bener. Engineer nulis query yang bener dan gak bikin database megap-megap.

Kalau kamu mulai dari nol, ikutin panduan belajar SQL dari nol, urutannya udah disusun.

Tanda kamu udah lulus tahap ini

Kamu bisa nulis query 40 baris pakai 2 CTE dan 1 window function, tanpa nyontek, dan hasilnya bener di percobaan pertama.

Tahap 2: Python (bulan 4 sampai 5)

Python buat ngerjain hal yang SQL gak bisa: manggil API, baca file aneh, dan ngejadwalin sesuatu.

Kamu gak perlu jadi software engineer. Tapi kamu perlu nulis kode yang orang lain bisa baca dan perbaiki.

Yang wajib:

• Dasar Python: fungsi, list, dict, error handling pakai try/except
• pandas secukupnya, baca CSV, bersihin kolom, gabungin dataframe
• requests buat narik data dari API, termasuk pagination dan retry
• psycopg2 atau sqlalchemy buat konek ke database
• Git. Ini bukan opsional. Kode yang gak di-version control gak dianggap ada.

Yang gak perlu kamu pelajari sekarang: OOP tingkat lanjut, decorator, async, metaclass. Nanti aja kalau ketemu kasusnya.

Proyek latihan yang bagus: tarik data cuaca dari API BMKG tiap hari, simpan ke Postgres, jalanin otomatis pakai cron. Kecil, tapi udah nyentuh semua bagian.

Tahap 3: Data warehouse dan modeling (bulan 6 sampai 7)

Ini tahap yang paling sering diskip. Dan ini yang paling nentuin kamu dianggap engineer beneran atau cuma "orang yang bisa Python".

Yang kamu pelajari di sini cara mikir: gimana nyusun tabel biar analyst gak nyusahin diri sendiri tiap kali mau bikin laporan.

Materinya:

• OLTP vs OLAP: kenapa database aplikasi dan database analitik dirancang beda
• Dimensional modeling: fact table, dimension table, star schema
• Slowly Changing Dimension: gimana nyimpen riwayat perubahan alamat pelanggan tanpa ngerusak laporan lama
• Layering: raw → staging → mart. Kenapa data mentah gak boleh dipoles langsung.

Buku rujukannya masih The Data Warehouse Toolkit karya Kimball, dan sampai 2026 belum ada penggantinya. Versi ringkasnya bisa kamu baca di dokumentasi teknik dimensional modeling Kimball Group.

Buat warehouse-nya, pilih satu: BigQuery (paling gampang buat mulai, ada free tier), Snowflake (paling banyak di lowongan), atau Postgres biasa (cukup buat latihan).

Tahap 4: Orchestration (bulan 8 sampai 9)

Sekarang kamu punya data dan tau cara nyusunnya. Tinggal bikin semuanya jalan sendiri, tiap hari, tanpa kamu pelototin.

Dua tool yang paling kepake di lowongan Indonesia:

dbt: buat transformasi. Kamu nulis SQL, dbt yang ngurus urutan eksekusi, testing, dan dokumentasi. Ini yang paling cepat kasih hasil, dan paling sering disebut di job description 2026.

Airflow: buat penjadwalan dan dependency. Kamu definisiin pipeline sebagai DAG: tarik data → validasi → transform → kirim notif. Kalau satu langkah gagal, Airflow yang ngasih tau dan nge-retry.

Konsep yang harus kamu ngerti di sini, bukan cuma sintaksnya:

• Idempotency: pipeline yang dijalanin dua kali harus ngasih hasil yang sama, bukan data dobel
• Backfill: gimana ngisi ulang data 3 bulan ke belakang tanpa ngerusak yang udah ada
• Data quality test: cek null, cek duplikat, cek row count masuk akal, sebelum data dipakai orang

Idempotency itu konsep yang paling sering ditanya di interview. Dan paling sering dijawab salah.

Tahap 5: Cloud (bulan 10 sampai 12)

Pilih satu cloud. Dalami. Jangan belajar tiga sekaligus.

Panduan milihnya: GCP kalau kamu incar startup dan perusahaan digital, BigQuery dominan di sana. AWS kalau kamu incar bank, telko, dan korporat besar.

Yang perlu kamu bisa, cuma segelintir layanan:

• Object storage (S3 atau GCS): tempat naruh file mentah
• Warehouse (Redshift atau BigQuery)
• Cara jalanin container (ECS atau Cloud Run)
• IAM dasar: siapa boleh akses apa. Ini yang bikin orang kena masalah.

Sertifikasi cloud? Bantu buat lolos screening HR di korporat. Gak ngaruh di startup. Ambil kalau target kamu bank atau BUMN.

Yang gak usah kamu pelajari dulu

Ini bagian yang jarang ditulis roadmap lain, dan justru paling nghemat waktu kamu.

Spark. Cuma relevan kalau data kamu gak muat di satu mesin. Dari yang aku lihat di lowongan data engineer Indonesia, mayoritas perusahaan datanya masih di bawah 100 GB, Postgres atau BigQuery udah lebih dari cukup.

Kafka. Buat streaming real-time. Kebanyakan bisnis masih cukup dengan batch harian. Belajar ini kalau kamu udah dapat kerjaan yang butuh.

Kubernetes. Itu kerjaan platform engineer. Kamu cukup tau cara deploy container.

Semua tiga di atas bakal muncul di job description sebagai "nice to have". Baca ulang, nice to have, bukan requirement.

Contoh proyek portfolio yang beneran dilirik

Satu pipeline end-to-end lebih berharga dari lima notebook analisis. Ini yang aku sarankan, pakai konteks Indonesia.

Proyek: pipeline penjualan UMKM.

1. Sumber: Bikin generator data transaksi toko kelontong, 12.000 baris, 6 cabang, 3 bulan. Sengaja kasih data kotor: 9% duplikat, 3% harga negatif, nama kota yang gak konsisten ("Bekasi", "bekasi", "Bekasi ").
2. Ingest: Script Python narik file harian ke object storage, lalu load ke Postgres tabel raw_transaksi.
3. Transform: dbt bikin layer staging (bersihin duplikat pakai ROW_NUMBER, standardisasi nama kota) lalu layer mart (fact_penjualan + dim_produk + dim_cabang, star schema).
4. Test: dbt test, gak boleh ada null di no_invoice, gak boleh ada harga negatif, row count harian masuk akal.
5. Orchestrate: Airflow jalanin semuanya tiap jam 2 pagi, kirim notif ke Telegram kalau gagal.
6. Output: Satu dashboard sederhana yang nunjukin omzet per cabang.

Kenapa proyek ini kuat? Karena ada data kotor. Rekruter capek lihat portfolio yang datanya udah bersih dari Kaggle. Yang mereka cari: bukti kamu pernah berhadapan sama data yang berantakan dan bisa nanganin.

Di README-nya, tulis angkanya. "Pipeline nangkep 1.118 baris duplikat (9,0% dari total) yang kalau lolos bikin omzet kelihatan Rp 170 juta lebih gede." Kalimat kayak gitu yang bikin rekruter berhenti scroll.

Detail teknik dedup-nya ada di artikel cara menghapus data duplikat di SQL.

Gaji data engineer di Indonesia 2026

Angka yang aku dengar dari obrolan sama teman-teman di industri, per awal 2026:

Level	Pengalaman	Range (per bulan)
Junior	0-2 tahun	Rp 8-14 juta
Mid	2-5 tahun	Rp 15-28 juta
Senior	5+ tahun	Rp 30-50 juta

Rentangnya lebar karena bedanya gede antara startup, unicorn, dan korporat. Anggap ini ancar-ancar, bukan patokan. Dan angkanya bisa beda jauh di luar Jabodetabek.

Kesalahan umum waktu belajar data engineering

1. Ngumpulin tool, bukan ngerjain proyek. Install Airflow, Spark, Kafka, Docker. Belum pernah bikin satu pipeline yang jalan seminggu penuh. Ini jebakan paling umum.

2. Skip SQL karena "udah bisa dasar". Bisa SELECT dan JOIN itu belum bisa SQL. Window function dan query tuning yang bikin kamu dibayar.

3. Portfolio pakai data bersih dari Kaggle. Gak nunjukin apa-apa. Rekruter mau lihat kamu nanganin data yang jelek.

4. Nunggu "siap" baru ngelamar. Gak akan pernah ngerasa siap. Lamar di bulan ke-8, sambil terus belajar. Interview itu sendiri bahan belajar yang bagus.

5. Belajar sendirian tanpa pernah dikoreksi. Kode kamu bisa jalan tapi tetap buruk, dan kamu gak akan tau. Push ke GitHub, minta orang review.

FAQ

Berapa lama belajar data engineer dari nol?

Realistisnya 9 sampai 12 bulan kalau konsisten 10-15 jam seminggu. Tiga bulan pertama buat SQL dan Python, tiga bulan berikutnya data warehouse dan modeling, sisanya orchestration, cloud, dan portfolio. Kalau kamu udah pernah ngoding atau udah kerja jadi analyst, bisa sekitar 6 bulan. Yang paling lama bukan belajar tool-nya, tapi ngerti kenapa pipeline dirancang begitu.

Apa bedanya data engineer dan data analyst?

Data analyst jawab pertanyaan bisnis dari data yang udah ada. Data engineer yang bikin data itu ada, bersih, dan sampai tepat waktu. Analyst kerjanya di SQL, dashboard, dan presentasi. Engineer kerjanya di pipeline, warehouse, dan sistem yang jalan otomatis. Keduanya butuh SQL, tapi engineer perlu tambahan Python, Git, dan pemahaman infrastruktur.

Harus bisa Python dulu atau SQL dulu?

SQL dulu. SQL yang kamu pakai tiap hari sebagai data engineer, bahkan lebih sering dari Python. Dan SQL lebih cepat dikuasai sampai level berguna, jadi kamu dapat momentum lebih awal. Habis SQL lancar termasuk window function dan CTE, baru masuk Python.

Perlu kuliah IT buat jadi data engineer?

Nggak wajib, tapi kamu harus nutupin gap-nya sendiri. Yang beneran dipakai dari kuliah IT cuma struktur data dasar, cara kerja database, dan sedikit sistem terdistribusi. Semua bisa dipelajari mandiri. Yang gak tergantikan itu portfolio. Rekruter lebih percaya repo GitHub berisi pipeline yang jalan daripada ijazah.

Tool apa yang paling wajib dikuasai data engineer 2026?

Empat yang paling sering muncul di lowongan Indonesia: SQL, Python, dbt, dan satu orchestrator (biasanya Airflow). Buat cloud, pilih satu: GCP kalau incar startup, AWS kalau incar korporat. Jangan belajar Spark, Kafka, dan Flink di awal. Ketiganya baru relevan kalau datanya beneran gede.

Penutup

Tiga hal yang paling nentuin.

Urutan yang bener: SQL → Python → warehouse → orchestration → cloud. Loncat-loncat bikin kamu ngerti tool tapi gak ngerti kenapa.

Satu pipeline end-to-end yang jalan, lengkap dengan data kotor dan testing, lebih berharga dari lima sertifikat.

Dan 9-12 bulan itu wajar. Siapa pun yang janji 3 bulan lagi jualan sesuatu ke kamu.

Mau mulai dari tahap pertama? SQL adalah pintu masuknya, langsung latihan query di panduan belajar SQL dari nol, pakai dataset toko kelontong Indonesia.