Statistical Power: Kenapa Eksperimenmu Tidak Pernah Signifikan

Statistical power adalah peluang sebuah uji berhasil nemuin efek yang memang beneran ada di dunia nyata.

Kalau tes A/B kamu selalu berakhir dengan p di atas 0,05, ada dua kemungkinan. Efeknya memang nol, atau alat ukurmu terlalu tumpul buat ngeliatnya.

Kemungkinan kedua jauh lebih sering kejadian, dan itu bisa dihitung sebelum tes jalan. Di bawah ini cara ngitungnya.

Apa itu statistical power?

Statistical power adalah peluang sebuah uji nolak hipotesis nol waktu hipotesis nol memang salah. Bahasa gampangnya: peluang kamu nangkep efek yang beneran ada. Nilainya antara 0 sampai 1, dan standar praktik yang umum dipakai 0,80. Power 0,80 berarti dari 100 percobaan, 80 di antaranya bakal ngasih hasil signifikan.

Sisanya 20 kali bakal ngasih p di atas 0,05 walaupun efeknya nyata. Itu yang disebut kesalahan tipe dua.

	Efeknya memang ada	Efeknya memang nggak ada
Uji bilang signifikan	Benar (power)	Kesalahan tipe satu (alpha)
Uji bilang nggak signifikan	Kesalahan tipe dua (beta)	Benar

Alpha biasanya diset 0,05 dan semua orang inget angka itu. Beta jarang dibahas, padahal dia yang paling sering bikin eksperimen mubazir.

Kenapa eksperimen sering nggak pernah signifikan?

Penyebab paling sering bukan efeknya yang nol, tapi jumlah sampelnya yang kurang buat efek sekecil itu. Selisih konversi 1 poin persen butuh ribuan pengunjung buat kedeteksi. Kalau eksperimen dijalankan ke 200 orang, uji apa pun bakal balik dengan p di atas 0,05, tanpa peduli efeknya nyata atau nggak.

Hasil begitu gampang salah dibaca. Orang nulis "promo terbukti nggak berpengaruh" di slide, padahal yang benar "kita belum punya data cukup buat bilang apa-apa".

Dua kalimat itu ngasih keputusan yang berbeda jauh. Yang pertama nutup ide, yang kedua minta data tambahan.

Cara aman ngelaporin hasil nggak signifikan ada di confidence interval. Rentang selisih ngasih tau efek sebesar apa yang masih mungkin.

Apa saja yang nentuin power?

Empat hal, dan keempatnya saling terkait. Kalau tiga di antaranya kamu tetapkan, yang keempat otomatis ketentuan. Empat itu: ukuran efek yang mau dideteksi, jumlah sampel, ambang alpha, dan keragaman data.

Faktor	Kalau naik	Efek ke power
Ukuran efek yang dicari	Efek yang dicari makin besar	Power naik
Jumlah sampel	Data makin banyak	Power naik
Alpha	Ambang dilonggarin ke 0,10	Power naik, risiko salah alarm ikut naik
Keragaman data	Sebaran makin lebar	Power turun

Faktor terakhir yang paling sering dilupain. Satu transaksi ekstrem bisa nggelembungin simpangan baku dan nurunin power seluruh eksperimen.

Karena itu bersihin data dulu sebelum ngitung. Cara ngenalin nilai ekstrem dibahas di glossary outlier.

Gimana cara ngitung jumlah sampel dari power?

Tetapkan dulu efek terkecil yang layak dikejar, lalu masukin ke rumus. Buat perbandingan dua proporsi dengan alpha 0,05 dua arah dan power 0,80, jumlah sampel per kelompok dihitung dari selisih proporsi dan keragamannya. Efek yang makin kecil bikin kebutuhan sampel naik secara kuadrat.

n per kelompok = (z_alpha + z_beta)^2 x (p1(1-p1) + p2(1-p2)) / (p1 - p2)^2

Dengan z_alpha 1,96 dan z_beta 0,84 buat setelan standar.

Versi Python-nya:

from scipy.stats import norm

def n_per_kelompok(p1, p2, alpha=0.05, power=0.80):
    z_alpha = norm.ppf(1 - alpha / 2)
    z_beta = norm.ppf(power)
    atas = (z_alpha + z_beta) ** 2 * (p1 * (1 - p1) + p2 * (1 - p2))
    return atas / (p1 - p2) ** 2

print(round(n_per_kelompok(0.15, 0.18)))
print(round(n_per_kelompok(0.04, 0.048)))

Hasilnya 2.399 dan 10.314. Fungsi norm.ppf yang dipakai di atas dijelasin di dokumentasi scipy stats.norm.

Baris kedua itu kasus yang bikin banyak tim kaget. Naikin konversi dari 4 persen ke 4,8 persen kedengeran modest, cuma 0,8 poin.

Tapi buat mastiin kenaikan sekecil itu, kamu butuh 10.314 pengunjung per kelompok. Total 20.628 orang buat satu eksperimen.

Buat data numerik kayak nilai belanja, patokan cepatnya beda. Jumlah per kelompok kira-kira 16 dibagi kuadrat ukuran efek Cohen, di mana ukuran efek itu selisih rata-rata dibagi simpangan baku.

Contoh kasus: promo WhatsApp toko_berkah

Toko_berkah pengin tau apakah promo lewat WhatsApp naikin konversi. Konversi kelompok kontrol 15 persen, dan mereka anggap kenaikan ke 18 persen layak dikejar.

Promo dikirim ke 240 pelanggan, kontrolnya 240 juga.

Masukin ke rumus di atas, kebutuhan sampelnya 2.399 per kelompok. Yang tersedia cuma 240, sepersepuluhnya.

Berapa power eksperimen ini? Galat baku selisihnya 0,0339, dan selisih target 0,03 setara 0,89 galat baku.

Powernya keluar di angka 14 persen.

Skenario	n per kelompok	Power	Arti praktisnya
Yang dijalankan	240	14 persen	6 dari 7 percobaan bakal gagal nemu efek
Standar 80 persen	2.399	80 persen	1 dari 5 percobaan masih gagal
Standar ketat	3.212	90 persen	1 dari 10 percobaan gagal

Angka 14 persen itu yang jadi inti masalahnya. Bahkan kalau promo WhatsApp beneran naikin konversi persis 3 poin seperti yang diharapkan, eksperimen ini punya peluang 86 persen buat pulang tanpa hasil.

Uangnya keluar, waktunya kepakai, dan kesimpulannya nol. Bukan karena promonya jelek, tapi karena tesnya dirancang terlalu kecil.

Buat toko sekelas toko_berkah, ngumpulin 2.400 pelanggan per kelompok itu nggak realistis dalam sebulan. Jalan keluarnya bukan maksa tes, tapi ganti metrik.

Nilai belanja rata-rata lebih peka daripada angka konversi, karena tiap orang nyumbang angka bertingkat, bukan cuma ya atau nggak. Dengan metrik itu, jumlah sampel yang dibutuhkan turun banyak.

Kesalahan umum soal power

1. Ngitung power setelah hasil keluar pakai efek teramati. Angkanya cuma nerjemahin ulang p-value dan nggak nambah informasi. Hitung power sebelum tes jalan.

2. Nggak nentuin efek minimal yang layak dikejar. Tanpa angka ini, kamu nggak bisa ngitung sampel. Tanya ke tim bisnis: kenaikan sekecil apa yang bikin keputusan berubah?

3. Ngintip hasil tiap hari lalu berhenti waktu p turun di bawah 0,05. Kebiasaan ini naikin peluang salah alarm jauh di atas 5 persen. Tetapkan durasi di awal dan patuhi.

4. Nyimpulin nggak ada efek dari hasil nggak signifikan. Hasil nggak signifikan artinya bukti belum cukup. Laporin rentang selisihnya biar kelihatan berapa besar efek yang masih mungkin.

5. Ngejar target relatif tanpa lihat angka mutlaknya. Naik 20 persen dari basis 4 persen cuma 0,8 poin. Yang masuk rumus itu angka mutlaknya.

6. Ngabaikan pengaruh ambang alpha. Ngetatin alpha ke 0,01 tanpa nambah sampel nurunin power. Hubungan antara ambang dan kesimpulan dibahas di glossary p-value.

FAQ

Statistical power 80 persen itu artinya apa?

Artinya kalau efek yang kamu cari memang ada sebesar yang kamu tetapkan, uji kamu bakal berhasil nangkepnya di 80 dari 100 percobaan. Sisanya 20 persen bakal berakhir tanpa hasil signifikan walaupun efeknya nyata. Angka 80 persen itu konvensi yang berkembang di praktik, bukan hukum. Buat keputusan mahal, banyak tim naikin ke 90 persen.

Boleh nggak ngitung power setelah hasil eksperimen keluar?

Sebaiknya nggak, kalau kamu masukin ukuran efek yang baru saja kamu amati. Power hasil hitungan begitu cuma nerjemahin ulang p-value, jadi nggak nambah informasi baru. Kalau hasilnya nggak signifikan, angka power-nya otomatis rendah. Yang lebih berguna: laporin confidence interval buat selisihnya, biar kelihatan efek sebesar apa yang masih mungkin.

Gimana kalau aku nggak bisa nambah jumlah sampel?

Ada tiga jalan lain. Turunin keragaman data dengan ngukur lebih rapi atau pakai desain berpasangan, misalnya bandingin pelanggan yang sama sebelum dan sesudah. Naikin dosis perlakuannya biar efeknya lebih besar. Atau ganti metrik ke yang lebih peka, misalnya nilai belanja rata-rata yang lebih halus dibanding angka konversi biner.

Kenapa metrik konversi butuh sampel sebanyak itu?

Karena tiap pengunjung cuma nyumbang satu angka, beli atau nggak. Informasi per orangnya sedikit, jadi butuh banyak orang buat ngeliat pergeseran kecil. Konversi 4 persen naik jadi 4,8 persen kelihatan besar dalam persen relatif, tapi selisih mutlaknya cuma 0,8 poin. Selisih sekecil itu gampang ketutup keacakan harian.

Apa hubungan power sama alpha?

Alpha itu peluang salah bilang ada efek padahal nggak ada. Beta peluang gagal nemuin efek yang ada, dan power sama dengan satu dikurangi beta. Kalau kamu ketatin alpha dari 0,05 ke 0,01 tanpa nambah sampel, power kamu turun. Dua jenis kesalahan ini saling tarik, dan jumlah sampel yang nentuin kamu bisa nekan dua-duanya.

Penutup

Urutan yang bener: tetapkan efek terkecil yang layak dikejar, hitung jumlah sampel, baru jalanin tesnya. Bukan sebaliknya.

Kalau sampel yang dibutuhkan nggak mungkin dikumpulin, itu jawaban juga. Lebih baik tau di awal daripada buang sebulan buat tes yang peluang berhasilnya 14 persen.

Coba ambil satu eksperimen yang pernah kamu jalanin dan hitung ulang kebutuhan sampelnya pakai rumus di atas. Kalau angkanya jauh di atas yang kamu punya, hasil "nggak signifikan" waktu itu ternyata nggak berarti apa-apa. Lanjut baca uji hipotesis buat sisi pengujiannya.