Data Freshness

Coba bayangin kamu lagi beli saham dan butuh harga terkini. Kalau data yang kamu lihat sudah 3 jam lalu, keputusanmu bisa berakhir buruk banget. Sebaliknya, kalau kamu cuma butuh laporan penjualan bulanan, data yang di-refresh setiap hari sudah lebih dari cukup.

Inilah inti dari Data Freshness: bukan soal seberapa sering data diperbarui, tapi seberapa cocok kesegarannya dengan kebutuhan bisnis kamu.

Cara Mengukur Data Freshness

Metrik	Cara Hitung	Kapan Dipakai
Data Age	Waktu sekarang dikurangi waktu data terakhir diperbarui	Monitoring sederhana harian
Freshness SLA	Batas maksimum umur data yang masih acceptable	Kontrak kualitas data antar tim
Update Lag	Waktu antara event terjadi dan data masuk ke sistem	Monitoring pipeline latency
Staleness Rate	Persentase data yang sudah melewati freshness SLA	Dashboard kualitas data keseluruhan

Freshness vs Latency

Freshness dan latency sering dikira sama, tapi ada bedanya yang perlu dipahami:

• Latency adalah waktu yang dibutuhkan data untuk bergerak dari sumber ke tujuan
• Freshness adalah kondisi data saat ini: sudah berapa lama sejak terakhir diperbarui

Latency rendah bisa menghasilkan freshness yang baik, tapi freshness juga dipengaruhi oleh seberapa sering pipeline dijadwalkan untuk jalan.

Kebutuhan Freshness yang Berbeda-beda

Nggak semua data butuh freshness yang sama. Ini yang perlu disesuaikan dengan kebutuhan bisnis:

Near Real-Time (detik sampai menit): Data transaksi keuangan, fraud detection, monitoring sistem, data pengiriman aktif.

Sub-hourly: Stok produk e-commerce, jumlah kursi penerbangan, data demand ride-hailing per area.

Daily: Laporan penjualan harian, metrik marketing, data user behavior untuk optimasi produk.

Weekly atau Monthly: Laporan keuangan, analisis cohort retention, laporan bisnis strategis.

Dampak Data Stale di Bisnis

Bayangkan dashboard driver ride-hailing yang menunjukkan area demand berdasarkan data 30 menit lalu. Driver bisa salah posisi karena demand sudah bergeser. Atau platform iklan digital yang pakai data konversi 12 jam lalu, padahal campaign butuh optimasi real-time: budget bisa habis di placement yang salah.

Data stale bukan cuma masalah teknis, ini bisa langsung berdampak ke revenue dan efisiensi operasional.

Cara Memonitor Data Freshness

Pasang metadata timestamp di setiap tabel atau dataset yang menunjukkan kapan terakhir diupdate dan berapa baris yang diproses. Buat alert kalau data melewati freshness threshold yang sudah ditetapkan. Tools seperti dbt atau Monte Carlo bisa membantu monitoring ini secara otomatis tanpa perlu cek manual.