P-Value: Artinya Apa Sih Sebenarnya (Penjelasan Manusia)

P-value adalah peluang kamu ngeliat hasil seekstrem data yang kamu punya, kalau kenyataannya gak ada efek apa-apa.

Itu definisi lengkapnya. Baca ulang pelan-pelan, karena hampir semua salah kaprah soal p-value lahir dari nge-skip satu bagian di kalimat itu.

Aku pernah lihat tim marketing rayain kemenangan A/B test cuma gara-gara angka 0,04 nongol di layar. Padahal efeknya cuma naik 0,3 persen dan biaya implementasinya jutaan. Di artikel ini aku jelasin apa yang beneran diukur p-value, apa yang gak diukur, dan gimana cara pakainya tanpa nipu diri sendiri.

Apa itu p-value?

P-value adalah angka antara 0 dan 1 yang ngukur seberapa aneh data kamu, kalau diasumsikan gak ada efek sama sekali. Makin kecil angkanya, makin susah data kamu dijelasin sama asumsi "gak ada efek". Ambang yang paling sering dipakai adalah 0,05.

Asumsi "gak ada efek" itu punya nama resmi: hipotesis nol. Ini skenario boring di mana tombol baru sama aja hasilnya kayak tombol lama, atau obat baru sama aja kayak placebo.

P-value ngejawab satu pertanyaan doang: kalau skenario boring itu benar, seberapa sering aku bakal dapet hasil seaneh ini?

Gimana cara baca angkanya?

Bayangin kamu lempar koin 10 kali dan keluar angka 9 kali. Kalau koinnya adil, peluang dapet hasil seekstrem itu (9 atau 10 kali) cuma sekitar 1 persen.

Berarti p-value-nya sekitar 0,01. Kecil. Data kamu susah dijelasin sama cerita "koin ini adil", jadi kamu punya alasan buat curiga koinnya berat sebelah.

Sekarang misal kamu lempar 10 kali dan keluar angka 6 kali. P-value-nya sekitar 0,75. Gede banget. Hasil kayak gitu wajar banget muncul dari koin adil, jadi kamu gak punya alasan buat curiga apa-apa.

P-value	Cara bacanya	Yang biasanya dilakuin
0,001	Hasil ini aneh banget kalau gak ada efek	Kuat banget buat nolak hipotesis nol
0,03	Hasil ini agak aneh kalau gak ada efek	Lolos ambang 0,05, biasanya dianggap signifikan
0,20	Hasil ini wajar-wajar aja	Bukti belum cukup, jangan buru-buru nyimpulin
0,80	Hasil ini persis kayak yang diharapkan	Gak ada sinyal apa-apa di data

Kenapa p-value sering disalahartikan?

Ada 3 salah kaprah yang paling sering aku temuin di ruang meeting.

1. "P-value 0,04 artinya 96 persen aku benar"

Gak. P-value itu peluang data, bukan peluang hipotesis. Dia ngitung seberapa aneh datamu di bawah skenario nol. Dia gak ngitung peluang skenario nol itu sendiri benar atau salah.

Buat jawab "berapa peluang hipotesisku benar", kamu butuh pendekatan Bayesian yang mempertimbangkan seberapa masuk akal hipotesisnya sebelum lihat data.

2. "P-value kecil artinya efeknya gede"

Ini jebakan paling mahal. P-value dipengaruhi ukuran sampel. Kalau sampel kamu 2 juta baris, efek sekecil 0,01 persen pun bisa nembus p < 0,001.

Signifikan secara statistik artinya "efeknya kayaknya bukan nol". Itu doang. Seberapa gede efeknya, kamu harus lihat angka lain: effect size dan rentang kepercayaan.

3. "P-value 0,06 artinya gak ada efek"

Angka 0,05 itu garis yang orang gambar sendiri, bukan tembok yang ada di alam. Hasil 0,049 dan 0,051 itu praktis sama aja kuatnya.

Kalau kamu ngerayain yang satu dan buang yang satunya, kamu lagi bikin keputusan berdasarkan pembulatan, bukan berdasarkan bukti.

Contoh kasus: uji A/B tombol checkout toko_berkah

Ini dari dataset ngulikdata. Tim toko_berkah nyoba ganti warna tombol checkout dari abu-abu ke oranye, terus ngukur berapa persen pengunjung yang jadi beli.

• Versi A (abu-abu): 4.812 pengunjung, 289 beli — conversion 6,01%
• Versi B (oranye): 4.790 pengunjung, 341 beli — conversion 7,12%

Selisihnya 1,11 poin persen. Uji proporsi dua sampel ngasih p-value sekitar 0,025.

Cara bacanya begini: kalau warna tombol beneran gak ngaruh apa-apa, peluang tim toko_berkah dapet selisih segede ini (atau lebih) cuma sekitar 2,5 persen. Cukup aneh buat bikin kita ragu sama cerita "warna gak ngaruh".

Tapi berhenti dulu sebelum nge-deploy. Rentang kepercayaan 95 persen buat selisih itu kira-kira 0,14 sampai 2,08 poin persen. Batas bawahnya nyaris nempel nol.

Artinya, efek aslinya bisa aja cuma 0,14 poin persen. Dengan traffic 5.000 orang sebulan, itu cuma tambahan 7 pembeli. Kalau ganti tombol butuh 3 hari kerja developer, hitung dulu apakah worth it.

Ini inti masalahnya: p-value ngasih tau efeknya kemungkinan bukan nol, tapi gak ngasih tau efeknya cukup gede buat dikejar.

Apa yang harus dilihat selain p-value?

Kalau kamu cuma boleh lihat 3 angka dari sebuah tes, ambil ini.

1. Effect size. Berapa besar selisihnya dalam satuan yang berarti buat bisnis? Rupiah, poin persen, jumlah transaksi.
2. Confidence interval. Rentang efek yang masih masuk akal dari data ini. Kalau rentangnya lebar banget, kamu belum tau apa-apa.
3. Ukuran sampel. Sampel kecil bikin kamu gak bisa deteksi efek kecil. Sampel raksasa bikin efek remeh keliatan signifikan.

American Statistical Association bahkan udah ngeluarin pernyataan resmi soal p-value di 2016, yang intinya: jangan pernah ambil keputusan cuma dari satu angka p-value.

Kesalahan umum waktu pakai p-value

Ngintip hasil tiap hari sampai signifikan. Kalau kamu cek p-value tiap pagi dan berhenti pas dia turun di bawah 0,05, kamu hampir dijamin bakal nemu "kemenangan" palsu. Tentuin ukuran sampel di depan, terus tahan diri.

Nyoba 20 segmen sampai ada yang lolos. Dengan ambang 0,05, rata-rata 1 dari 20 tes bakal keliatan signifikan padahal cuma kebetulan. Kalau tes banyak segmen, koreksi ambangnya (Bonferroni yang paling gampang).

Nyimpulin "gak ada beda" dari p-value gede. Gak nemu bukti beda itu beda sama nemu bukti gak ada beda. Cek dulu apa sampelnya emang cukup buat deteksi efek sebesar yang kamu peduliin.

Lupa ngecek asumsi. Tiap uji statistik punya syarat. Uji t butuh data yang gak terlalu miring dan sampel yang cukup. Kalau data kamu penuh outlier ekstrem, p-value-nya bisa nyasar. Cek dulu bentuk distribusi datanya.

FAQ

P-value 0,03 artinya apa?

Artinya, kalau seandainya gak ada efek sama sekali, peluang kamu dapet hasil seekstrem ini cuma 3 persen. Angka itu ngomongin data kamu di bawah skenario nol, bukan peluang hipotesismu benar. Karena 0,03 di bawah ambang 0,05 yang lazim dipakai, biasanya orang bilang hasilnya signifikan secara statistik. Tapi signifikan gak sama dengan penting buat bisnis.

Kenapa ambangnya 0,05?

Angka 0,05 itu konvensi, bukan hukum alam. Ronald Fisher nyebut 0,05 sebagai patokan praktis di tahun 1920-an, terus dipakai turun-temurun sampai sekarang. Kamu boleh pakai ambang lain sesuai risiko keputusan. Buat uji obat, orang sering pakai 0,01 atau lebih ketat. Buat tes tombol checkout, 0,1 kadang udah cukup.

Apa bedanya p-value sama confidence interval?

P-value cuma kasih satu angka: seberapa aneh data kamu di bawah skenario nol. Confidence interval kasih rentang: kira-kira efeknya sebesar apa. Rentang itu jauh lebih berguna buat ngambil keputusan. Kalau conversion naik 2 persen dengan rentang -0,5 sampai 4,5 persen, kamu langsung tau efeknya masih mungkin nol atau kecil banget.

P-value gede berarti gak ada efek?

Gak. P-value gede artinya data kamu belum cukup buat nolak skenario nol. Bisa jadi efeknya beneran nol, bisa juga efeknya ada tapi sampel kamu kekecilan buat nangkapnya. Ini beda besar. Kalau sampel cuma 80 transaksi, hampir semua efek kecil bakal lolos gak kedeteksi. Cek dulu ukuran sampel sebelum nyimpulin apa-apa.

Apa itu p-hacking?

P-hacking itu ngutak-atik analisis sampai p-value-nya turun di bawah 0,05. Contohnya: nambah data terus sambil ngintip hasilnya, nyoba 10 segmen sampai ada satu yang signifikan, atau buang outlier yang bikin hasilnya jelek. Cara ngehindarinnya gampang: tentuin hipotesis, ukuran sampel, dan cara analisis sebelum lihat data.

Penutup

Tiga hal yang layak kamu inget dari sini.

P-value ngukur seberapa aneh datamu kalau gak ada efek. Bukan peluang kamu benar, dan bukan ukuran besarnya efek.

Angka 0,05 itu kesepakatan, bukan kebenaran. Hasil 0,049 dan 0,051 sama kuatnya.

Sebelum ngambil keputusan, lihat effect size dan confidence interval dulu. Itu yang ngasih tau apakah temuan kamu worth dikejar.

Mau latihan ngitung sendiri dari data mentah? Coba tarik data transaksi per grup pakai SQL, terus hitung conversion-nya. Latihan query-nya bisa kamu kerjain langsung di GROUP BY dan COUNT.

Lanjut baca: hipotesis nol dan distribusi normal — dua konsep yang bikin p-value akhirnya masuk akal.