Cloud & Modern Data Stack

AWS (Amazon Web Services) adalah platform cloud milik Amazon yang jadi pilihan utama untuk membangun data stack modern, dari storage di S3 sampai data warehouse di Redshift. Kalau ngomongin cloud di dunia data, AWS hampir selalu jadi referensi pertama.

Platform integrasi data open-source yang memudahkan pengiriman data dari ratusan sumber (database, API, SaaS) ke data warehouse atau data lake secara otomatis dengan pendekatan ELT.

Layanan cloud data warehouse terkelola dari AWS yang menggunakan penyimpanan kolumnar untuk analitik cepat pada dataset berskala petabyte, terintegrasi penuh dengan ekosistem AWS.

Platform orkestrasi workflow open-source yang memungkinkan penjadwalan, monitoring, dan manajemen pipeline data kompleks menggunakan kode Python.

Platform event streaming terdistribusi yang memungkinkan pengiriman, penyimpanan, dan pemrosesan aliran data (stream) real-time dalam skala besar dengan throughput tinggi dan latensi rendah.

Framework komputasi terdistribusi open-source yang memungkinkan pemrosesan data skala besar secara in-memory, jauh lebih cepat dari Hadoop MapReduce, dengan dukungan batch, streaming, ML, dan SQL.

Azure (Microsoft Azure) adalah platform cloud milik Microsoft yang jadi favorit kalangan enterprise, terutama yang sudah pakai ekosistem Microsoft seperti SQL Server, Power BI, atau Microsoft 365. Untuk data stack, Azure punya Synapse Analytics, Data Factory, dan Azure Databricks sebagai andalan.

Model komputasi yang memungkinkan akses on-demand ke sumber daya IT seperti server, storage, dan software melalui internet, tanpa harus memiliki infrastruktur fisik sendiri.

Database khusus untuk analisis skala besar yang dijalankan di cloud: nggak perlu setup server fisik, bayar sesuai pemakaian, dan bisa handle data ratusan juta baris dengan cepat.

Pendekatan desentralisasi data di mana setiap domain bisnis (tim marketing, finance, dll) bertanggung jawab atas data mereka sendiri sebagai produk, bukan satu tim data pusat yang ngurus semuanya.

Koordinasi, penjadwalan, dan monitoring semua pipeline data secara otomatis: orchestration tool mastiin task A selesai dulu sebelum task B jalan, dan kalau ada yang gagal, langsung kasih alert.

Pendekatan agile dan DevOps untuk pengelolaan pipeline data: automation, testing, monitoring, dan kolaborasi diterapkan ke proses data supaya kualitas data lebih terjaga dan delivery lebih cepat.

Platform analitik terpadu berbasis cloud yang menggabungkan Apache Spark, SQL, machine learning, dan Delta Lake dalam satu workspace kolaboratif untuk data engineer, analyst, dan data scientist.

Platform ELT terkelola (managed) yang secara otomatis menyinkronisasi data dari ratusan sumber seperti database, SaaS, dan API ke data warehouse dengan zero maintenance.

GCP (Google Cloud Platform) adalah layanan cloud milik Google yang terkenal karena BigQuery, data warehouse serverless yang bisa query data petabyte tanpa perlu manage cluster. Buat tim yang analytics-heavy dan banyak kerja pakai produk Google, GCP sering jadi pilihan paling natural.

Layanan data warehouse serverless dari Google Cloud yang memungkinkan analitik SQL pada dataset berskala petabyte dengan model bayar-per-query dan integrasi native dengan ekosistem Google Cloud.

Arsitektur data yang gabungkan fleksibilitas data lake (bisa simpan data apapun termasuk unstructured) dengan struktur dan kemampuan analitik data warehouse (ACID transactions, fast query, schema enforcement) dalam satu sistem.

Platform Business Intelligence modern dari Google Cloud yang menggunakan LookML sebagai semantic layer untuk mendefinisikan metrik bisnis sekali dan menggunakannya di seluruh laporan secara konsisten.

Platform Business Intelligence open-source yang memungkinkan seluruh tim mengeksplorasi data dan membuat dashboard tanpa coding, dengan fitur SQL native untuk pengguna teknis.

Kombinasi tools cloud-native yang sering dipakai bareng: EL tool (Fivetran/Airbyte) buat tarik data, Cloud Data Warehouse (BigQuery/Snowflake) buat simpan, dbt buat transform, dan BI tool buat visualisasi.

Platform Business Intelligence dari Microsoft yang memungkinkan pembuatan laporan dan dashboard interaktif dengan integrasi mendalam ke ekosistem Microsoft seperti Excel, Azure, dan SQL Server.

Kebalikan dari ETL biasa: kalau ETL tarik data dari source ke warehouse, Reverse ETL kirim data dari warehouse balik ke tools operasional kayak CRM, email marketing, atau ads platform supaya bisa dipakai langsung oleh tim bisnis.

Layer abstraksi yang nyimpen definisi business metrics dan dimensions di satu tempat, supaya kalau ada yang nanya 'apa itu revenue?', jawabannya sama di mana-mana dan nggak beda-beda tergantung siapa yang bikin query.

Platform cloud data warehouse yang memisahkan storage dan compute, memungkinkan skalabilitas independen, berbagi data lintas organisasi, dan analitik SQL berkecepatan tinggi.