Data Processing

Antarmuka yang memungkinkan dua aplikasi berbicara satu sama lain, memungkinkan pertukaran data dan fungsionalitas secara terstandarisasi.

Pemrosesan data dalam kumpulan besar (batch) pada waktu tertentu - biasanya terjadwal malam atau minggu - bukan secara real-time saat data masuk.

Teknik real-time untuk mendeteksi dan merekam perubahan data di database sumber (INSERT, UPDATE, DELETE) untuk disinkronkan ke sistem tujuan.

Profesional yang membangun dan mengelola infrastruktur data - pipeline, data warehouse, dan sistem yang memungkinkan tim data bekerja dengan data berkualitas.

Cara data disimpan dan distrukturisasi dalam file, mencakup encoding dan layout-nya. Format yang dipilih menentukan seberapa cepat data bisa dibaca, seberapa kecil ukurannya, dan seberapa mudah diproses.

Proses mengambil data dari sumber asalnya, kayak database, API, atau file, terus dipindahkan ke sistem tujuan buat disimpan atau dianalisis lebih lanjut.

Proses menggabungkan data dari berbagai sumber yang berbeda menjadi satu tampilan terpadu supaya bisa dianalisis secara menyeluruh tanpa bolak-balik sistem.

Serangkaian proses otomatis yang memindahkan dan mengubah data dari sumber ke tujuan secara terstruktur dan terjadwal.

Proses menyalin data secara otomatis dari satu sistem ke sistem lain, biar data yang sama tersedia di banyak tempat sekaligus. Tujuannya bisa untuk availability, performa analitik, atau disaster recovery.

Proses mengubah format, struktur, atau nilai data dari bentuk aslinya ke bentuk yang lebih bersih dan siap dipakai untuk analisis atau sistem tujuan.

Proses hands-on untuk membersihkan, mereshape, dan menyiapkan data mentah yang berantakan supaya siap dianalisis. Sering disebut juga data munging.

Varian modern ETL di mana data diekstrak dan langsung dimuat ke tujuan, baru kemudian ditransformasi menggunakan kekuatan komputasi cloud data warehouse.

Proses integrasi data yang terdiri dari Extract (mengambil data), Transform (membersihkan dan mengubah format), dan Load (memasukkan ke sistem tujuan).

Pola arsitektur di mana komponen sistem berkomunikasi lewat events secara asinkron, bukan saling manggil langsung. Satu bagian sistem 'nembak' event, lainnya bereaksi sesuai kebutuhan masing-masing.

Properti sebuah operasi di mana hasilnya selalu sama meski dijalankan berkali-kali. Kalau operasi kamu idempoten, kamu bisa retry tanpa takut data jadi kacau atau duplikat.

Strategi loading data di mana cuma data yang baru muncul atau berubah sejak proses load terakhir yang diproses, bukan seluruh dataset dari awal setiap kali.

Operasi SQL yang menggabungkan baris dari dua atau lebih tabel berdasarkan kolom yang saling berhubungan, memungkinkan query lintas tabel.

Sistem buffer asinkron yang menyimpan pesan sementara antara aplikasi pengirim dan penerima, supaya keduanya bisa bekerja secara independen tanpa harus menunggu satu sama lain.

Pemrosesan data secara real-time saat data masuk - setiap event diproses dalam milidetik hingga detik, tanpa menunggu data dikumpulkan dalam batch.

Mekanisme di mana satu sistem otomatis 'ngetuk pintu' sistem lain via HTTP request saat ada event yang terjadi. Kayak notifikasi push, tapi antar sistem, bukan ke smartphone kamu.