Database & Storage
Konsep penyimpanan data seperti Data Warehouse, Data Lake, dan arsitektur database
ACID Properties
ACID adalah empat sifat yang menjamin transaksi database berjalan dengan aman dan benar: Atomicity, Consistency, Isolation, dan Durability. Ini yang bikin kamu bisa transfer uang lewat ATM tanpa takut uangnya hilang di tengah jalan.
Aggregate Function
Fungsi SQL yang melakukan kalkulasi pada sekelompok nilai dan mengembalikan satu nilai ringkasan, seperti COUNT, SUM, AVG, MIN, dan MAX.
CTE
Common Table Expression
CTE (Common Table Expression) adalah cara nulis query sementara yang dikasih nama pakai klausa WITH di awal query, supaya SQL yang panjang jadi lebih terstruktur dan gampang dibaca. Anggap aja kayak ngasih nama ke potongan logika SQL yang bisa kamu referensiin di query utama.
Cache
Penyimpanan sementara untuk data yang sering diakses supaya nggak perlu ambil dari database terus-menerus, hasilnya: respon lebih cepat dan database nggak kelebihan beban.
Columnar Database
Database yang menyimpan data per kolom, bukan per baris, jadi query aggregasi kayak SUM atau AVG bisa jauh lebih cepat karena cuma baca kolom yang dibutuhkan aja.
Data Lake
Repositori penyimpanan terpusat yang menyimpan data dalam format mentah (raw) dari berbagai sumber, baik terstruktur maupun tidak terstruktur.
Data Lakehouse
Arsitektur data modern yang menggabungkan fleksibilitas Data Lake (menyimpan semua tipe data) dengan kemampuan analitik Data Warehouse (ACID, performa query tinggi).
Data Mart
Subset dari Data Warehouse yang difokuskan untuk kebutuhan analitik satu departemen atau fungsi bisnis tertentu, seperti Sales Mart atau Finance Mart.
Data Warehouse
Sistem penyimpanan data terpusat yang dirancang khusus untuk analisis dan pelaporan bisnis, mengintegrasikan data dari berbagai sumber.
Database
Kumpulan data terorganisir yang disimpan secara elektronik dan dapat diakses, dikelola, serta diperbarui dengan mudah.
Denormalization
Teknik sengaja menduplikasi data atau menggabungkan tabel untuk mengurangi kebutuhan JOIN, sehingga query baca jadi lebih cepat, tapi dengan trade-off: storage lebih besar dan proses update lebih kompleks.
Dimension Table
Tabel pendukung dalam Data Warehouse yang menyimpan atribut deskriptif (siapa, apa, di mana, kapan) yang digunakan untuk memfilter dan mengelompokkan data di Fact Table.
Elasticsearch
Elasticsearch adalah distributed search and analytics engine yang dioptimalkan untuk full-text search, analitik log, dan observability. Kalau kamu pernah bikin fitur pencarian yang bisa nemu dokumen meski keyword-nya salah eja, kemungkinan besar ada Elasticsearch di belakangnya.
Fact Table
Tabel pusat dalam Data Warehouse yang menyimpan data kuantitatif (angka yang bisa diukur) dari proses bisnis, dikelilingi oleh Dimension Tables dalam skema bintang.
Foreign Key
Kolom dalam satu tabel yang mereferensikan Primary Key di tabel lain, membentuk hubungan antar tabel dan menjaga integritas referensial data.
Index
Database Index
Struktur data yang mempercepat operasi pencarian pada tabel database dengan membuat lookup cepat, mirip seperti indeks di buku.
Materialized View
Materialized view adalah hasil query yang disimpan secara fisik di disk, bukan dihitung ulang setiap kali dipanggil. Cocok untuk query berat yang hasilnya sering diakses tapi nggak harus selalu real-time.
MongoDB
MongoDB adalah database NoSQL yang menyimpan data dalam format dokumen JSON-like (disebut BSON) - bukan dalam tabel dengan baris dan kolom seperti database relasional. Cocok banget kalau kamu punya data yang strukturnya sering berubah atau bervariasi antar record.
MySQL
MySQL adalah database relasional open-source yang jadi tulang punggung mayoritas aplikasi web di dunia - termasuk platform besar seperti Facebook dan YouTube di awal berdirinya. Kalau kamu pernah ketemu stack LAMP (Linux, Apache, MySQL, PHP), nah MySQL-nya ada di sini.
NoSQL
NoSQL adalah kategori database yang nggak pakai struktur tabel relasional seperti SQL tradisional. Cocok untuk data yang formatnya fleksibel, berubah-ubah, atau perlu di-scale secara horizontal ke banyak server.
Normalization
Database Normalization
Proses mengorganisir tabel database untuk meminimalkan redundansi data dan mencegah anomali, menggunakan bentuk normal (1NF, 2NF, 3NF).
OLTP
Online Transaction Processing
Sistem pengolahan transaksi secara real-time yang dirancang untuk menangani volume tinggi operasi baca-tulis harian seperti pembelian, transfer, dan booking.
Partition
Database Partition
Teknik membagi tabel besar jadi beberapa segmen lebih kecil berdasarkan kolom tertentu, supaya query cuma perlu baca bagian yang relevan dan jadi jauh lebih cepat.
PostgreSQL
PostgreSQL (atau "Postgres") adalah database relasional open-source yang terkenal karena fiturnya lengkap dan sangat patuh pada standar SQL. Ini pilihan utama para data engineer Indonesia kalau butuh database yang bisa diandalkan untuk project serius.