Data Engineer

Data Engineer adalah profesional yang bertanggung jawab membangun dan memelihara infrastruktur dan sistem yang memungkinkan pengumpulan, penyimpanan, dan analisis data dalam skala besar.

Tugas Utama Data Engineer

1. Membangun Data Pipeline

• Merancang dan mengimplementasikan ETL/ELT pipeline
• Mengotomatisasi ingestion data dari berbagai sumber
• Memastikan data mengalir dengan andal dan tepat waktu

2. Mengelola Data Infrastructure

• Set up dan maintain Data Warehouse (Snowflake, BigQuery)
• Mengelola Data Lake dan storage
• Optimasi query performance dan cost

3. Data Quality & Reliability

• Implementasi data quality checks
• Monitoring pipeline dan alerting
• Dokumentasi data catalog

4. Kolaborasi Tim

• Menyediakan clean data untuk Data Analyst dan Data Scientist
• Bekerja sama dengan Software Engineer untuk data collection
• Support bisnis dalam mendefinisikan kebutuhan data

Skill yang Dibutuhkan

Kategori	Skill
Programming	Python, Scala, Java
SQL	Advanced SQL, Query Optimization
Distributed Computing	Spark, Hadoop, Flink
Orchestration	Airflow, Prefect, Dagster
Cloud	AWS/GCP/Azure data services
Infrastructure	Docker, Kubernetes, Terraform

Data Engineer vs Data Analyst vs Data Scientist

	Data Engineer	Data Analyst	Data Scientist
Fokus	Infrastructure	Insight	Prediksi/ML
Coding	Advanced	Menengah	Advanced
SQL	Expert	Expert	Menengah
Output	Pipelines, DWH	Reports, Dashboard	Models