TL;DR
P-value adalah peluang kamu ngeliat hasil seekstrem data yang kamu punya, kalau kenyataannya sebenernya gak ada efek apa-apa. Angka kecil (misal di bawah 0,05) artinya data kamu susah dijelasin sama skenario "gak ada efek", jadi kamu punya alasan buat ragu sama skenario itu. P-value gak ngasih tau seberapa besar efeknya, dan gak ngasih tau peluang hipotesis kamu benar.
P-value adalah peluang kamu ngeliat hasil seekstrem data yang kamu punya, kalau kenyataannya gak ada efek apa-apa.
Itu definisi lengkapnya. Hampir semua salah kaprah soal p-value lahir dari nge-skip satu bagian di dalamnya.
Aku pernah lihat tim marketing rayain kemenangan A/B test cuma gara-gara angka 0,04 nongol di layar. Padahal efeknya cuma naik 0,3 persen dan biaya implementasinya jutaan.
P-value adalah angka antara 0 dan 1 yang ngukur seberapa aneh data kamu, kalau diasumsikan gak ada efek sama sekali. Makin kecil angkanya, makin susah data kamu dijelasin sama asumsi "gak ada efek". Ambang yang paling sering dipakai adalah 0,05.
Asumsi "gak ada efek" itu punya nama resmi: hipotesis nol. Ini skenario boring di mana tombol baru sama aja hasilnya kayak tombol lama, atau obat baru sama aja kayak placebo.
P-value ngejawab satu pertanyaan doang: kalau skenario boring itu benar, seberapa sering aku bakal dapet hasil seaneh ini?
Kamu lempar koin 10 kali dan keluar angka 9 kali. Kalau koinnya adil, peluang dapet hasil seekstrem itu (9 atau 10 kali) cuma sekitar 1 persen.
Berarti p-value-nya sekitar 0,01. Kecil. Data kamu susah dijelasin sama cerita "koin ini adil", jadi kamu punya alasan buat curiga koinnya berat sebelah.
Sekarang misal kamu lempar 10 kali dan keluar angka 6 kali. P-value-nya sekitar 0,75. Gede banget. Hasil kayak gitu wajar banget muncul dari koin adil, jadi kamu gak punya alasan buat curiga apa-apa.
| P-value | Cara bacanya | Yang biasanya dilakuin |
|---|---|---|
| 0,001 | Hasil ini aneh banget kalau gak ada efek | Kuat banget buat nolak hipotesis nol |
| 0,03 | Hasil ini agak aneh kalau gak ada efek | Lolos ambang 0,05, biasanya dianggap signifikan |
| 0,20 | Hasil ini wajar-wajar aja | Bukti belum cukup, jangan buru-buru nyimpulin |
| 0,80 | Hasil ini persis kayak yang diharapkan | Gak ada sinyal apa-apa di data |
Ada 3 salah kaprah yang paling sering aku temuin di ruang meeting.
Gak. P-value itu peluang data, bukan peluang hipotesis. Dia ngitung seberapa aneh datamu di bawah skenario nol. Dia gak ngitung peluang skenario nol itu sendiri benar atau salah.
Buat jawab "berapa peluang hipotesisku benar", kamu butuh pendekatan Bayesian yang mempertimbangkan seberapa masuk akal hipotesisnya sebelum lihat data.
Ini jebakan paling mahal. P-value dipengaruhi ukuran sampel. Kalau sampel kamu 2 juta baris, efek sekecil 0,01 persen pun bisa nembus p < 0,001.
Signifikan secara statistik artinya "efeknya kayaknya bukan nol". Itu doang. Seberapa gede efeknya, kamu harus lihat angka lain: effect size dan rentang kepercayaan.
Angka 0,05 itu garis yang orang gambar sendiri, bukan tembok yang ada di alam. Hasil 0,049 dan 0,051 itu praktis sama aja kuatnya.
Kalau kamu ngerayain yang satu dan buang yang satunya, kamu lagi bikin keputusan berdasarkan pembulatan, bukan berdasarkan bukti.
Ini dari dataset ngulikdata. Tim toko_berkah nyoba ganti warna tombol checkout dari abu-abu ke oranye, terus ngukur berapa persen pengunjung yang jadi beli.
Selisihnya 1,11 poin persen. Uji proporsi dua sampel ngasih p-value sekitar 0,025.
Cara bacanya begini: kalau warna tombol beneran gak ngaruh apa-apa, peluang tim toko_berkah dapet selisih segede ini (atau lebih) cuma sekitar 2,5 persen. Cukup aneh buat bikin kita ragu sama cerita "warna gak ngaruh".
Tapi berhenti dulu sebelum nge-deploy. Rentang kepercayaan 95 persen buat selisih itu kira-kira 0,14 sampai 2,08 poin persen. Batas bawahnya nyaris nempel nol.
Artinya, efek aslinya bisa aja cuma 0,14 poin persen. Dengan traffic 5.000 orang sebulan, itu cuma tambahan 7 pembeli. Kalau ganti tombol butuh 3 hari kerja developer, hitung dulu apakah worth it.
Ini inti masalahnya: p-value ngasih tau efeknya kemungkinan bukan nol, tapi gak ngasih tau efeknya cukup gede buat dikejar.
Kalau kamu cuma boleh lihat 3 angka dari sebuah tes, ambil ini.
American Statistical Association bahkan udah ngeluarin pernyataan resmi soal p-value di 2016, yang intinya: jangan pernah ambil keputusan cuma dari satu angka p-value.
Ngintip hasil tiap hari sampai signifikan. Kalau kamu cek p-value tiap pagi dan berhenti pas dia turun di bawah 0,05, kamu hampir dijamin bakal nemu "kemenangan" palsu. Tentuin ukuran sampel di depan, terus tahan diri.
Nyoba 20 segmen sampai ada yang lolos. Dengan ambang 0,05, rata-rata 1 dari 20 tes bakal keliatan signifikan padahal cuma kebetulan. Kalau tes banyak segmen, koreksi ambangnya (Bonferroni yang paling gampang).
Nyimpulin "gak ada beda" dari p-value gede. Gak nemu bukti beda itu beda sama nemu bukti gak ada beda. Cek dulu apa sampelnya emang cukup buat deteksi efek sebesar yang kamu peduliin.
Lupa ngecek asumsi. Tiap uji statistik punya syarat. Uji t butuh data yang gak terlalu miring dan sampel yang cukup. Kalau data kamu penuh outlier ekstrem, p-value-nya bisa nyasar. Cek dulu bentuk distribusi datanya.
Artinya, kalau seandainya gak ada efek sama sekali, peluang kamu dapet hasil seekstrem ini cuma 3 persen. Angka itu ngomongin data kamu di bawah skenario nol, bukan peluang hipotesismu benar. Karena 0,03 di bawah ambang 0,05 yang lazim dipakai, biasanya orang bilang hasilnya signifikan secara statistik. Tapi signifikan gak sama dengan penting buat bisnis.
Angka 0,05 itu konvensi, bukan hukum alam. Ronald Fisher nyebut 0,05 sebagai patokan praktis di tahun 1920-an, terus dipakai turun-temurun sampai sekarang. Kamu boleh pakai ambang lain sesuai risiko keputusan. Buat uji obat, orang sering pakai 0,01 atau lebih ketat. Buat tes tombol checkout, 0,1 kadang udah cukup.
P-value cuma kasih satu angka: seberapa aneh data kamu di bawah skenario nol. Confidence interval kasih rentang: kira-kira efeknya sebesar apa. Rentang itu jauh lebih berguna buat ngambil keputusan. Kalau conversion naik 2 persen dengan rentang -0,5 sampai 4,5 persen, kamu langsung tau efeknya masih mungkin nol atau kecil banget.
Gak. P-value gede artinya data kamu belum cukup buat nolak skenario nol. Bisa jadi efeknya beneran nol, bisa juga efeknya ada tapi sampel kamu kekecilan buat nangkapnya. Ini beda besar. Kalau sampel cuma 80 transaksi, hampir semua efek kecil bakal lolos gak kedeteksi. Cek dulu ukuran sampel sebelum nyimpulin apa-apa.
P-hacking itu ngutak-atik analisis sampai p-value-nya turun di bawah 0,05. Contohnya: nambah data terus sambil ngintip hasilnya, nyoba 10 segmen sampai ada satu yang signifikan, atau buang outlier yang bikin hasilnya jelek. Cara ngehindarinnya gampang: tentuin hipotesis, ukuran sampel, dan cara analisis sebelum lihat data.
P-value ngukur seberapa aneh datamu kalau gak ada efek. Bukan peluang kamu benar, dan bukan ukuran besarnya efek.
Angka 0,05 itu kesepakatan, bukan kebenaran. Hasil 0,049 dan 0,051 sama kuatnya.
Sebelum ngambil keputusan, lihat effect size dan confidence interval dulu. Itu yang ngasih tau apakah temuan kamu worth dikejar.
Mau latihan ngitung sendiri dari data mentah? Coba tarik data transaksi per grup pakai SQL, terus hitung conversion-nya. Latihan query-nya bisa kamu kerjain langsung di GROUP BY dan COUNT.
Lanjut baca: hipotesis nol dan distribusi normal. Dua konsep yang bikin p-value akhirnya masuk akal.
Mau praktek langsung? Mulai latihan SQL gratis
Latihan interaktif, langsung di browser.
Cara pakai pandas rolling buat hitung moving average dan haluskan data time series yang naik-turun. Lengkap dengan contoh penjualan harian UMKM.
Data transaksi harian sering terlalu ramai buat dilihat. Pandas resample ngeringkasnya jadi total per minggu atau per bulan cuma dengan satu baris, asal indeksnya tanggal.
Kolom tanggal yang kebaca sebagai teks bikin sortir dan hitung selisih hari jadi kacau. Ini cara pd.to_datetime ubah teks jadi tanggal asli, plus tangani format berantakan.