TL;DR
ROC AUC ngukur kemampuan model ngebedain kelas positif dan negatif lewat trade off antara true positive rate dan false positive rate. PR AUC ngukur trade off antara precision dan recall, dan itu jauh lebih ketat waktu kelas positifmu langka. Di data yang cuma 2 persen positif, ROC AUC gampang kelihatan tinggi karena penyebut false positive rate diisi puluhan ribu kasus negatif. Pakai PR AUC kalau kelas positif di bawah 10 persen dan yang kamu peduliin cuma kemampuan model nemuin kasus positif. Nilai acuan PR AUC bukan 0,5, tapi proporsi kelas positif itu sendiri.
ROC AUC ngukur seberapa bagus model kamu misahin kelas positif dari negatif di semua ambang batas. PR AUC ngukur hal yang lebih sempit: seberapa bagus model kamu nemuin kasus positif tanpa kebanyakan bikin alarm palsu.
Di data yang seimbang, dua-duanya cerita hal yang mirip. Di data timpang, mereka bisa nunjuk ke model yang berbeda.
Dan data timpang itu justru yang paling sering muncul di kerjaan nyata. Kecurangan, penyakit, pelanggan yang berhenti, mesin yang rusak. Semua kasus menarik itu langka.
Kurva ROC nggambarin hubungan antara dua angka di berbagai ambang batas.
True Positive Rate = TP / (TP + FN) -- sama dengan recall
False Positive Rate = FP / (FP + TN)Tiap titik di kurva mewakili satu ambang batas. AUC-nya luas area di bawah kurva itu, nilainya antara 0 dan 1.
Tafsiran yang paling gampang dipegang: ROC AUC adalah peluang bahwa satu kasus positif yang diambil acak dapat skor lebih tinggi dari satu kasus negatif yang diambil acak.
ROC AUC 0,90 artinya kalau kamu ambil satu kasus curang dan satu kasus normal, model bakal ngasih skor lebih tinggi ke yang curang di 90 dari 100 percobaan.
Acuan acaknya 0,5, dan itu tetap 0,5 berapapun proporsi kelasmu. Sifat itu kelihatan enak, tapi justru itu sumber masalahnya.
Kurva precision recall nggambarin hubungan antara dua angka lain:
Precision = TP / (TP + FP)
Recall = TP / (TP + FN)Perhatiin penyebut precision. Isinya jumlah tebakan positif, bukan jumlah kasus negatif.
Itu bedanya yang menentukan. False positive rate punya penyebut yang besar banget di data timpang, jadi tambahan seribu alarm palsu cuma bikin angkanya naik sedikit. Precision langsung kena.
Acuan PR AUC bukan 0,5. Acuannya proporsi kelas positif di datamu. Kalau positifmu 2 persen, model asal-asalan dapat PR AUC sekitar 0,02.
Konsep precision dan recall-nya sendiri aku bahas terpisah di precision vs recall.
Ini gampang dilihat pakai angka.
Anggap ada 20.000 transaksi, 400 di antaranya bermasalah. Model kamu nandai 1.200 transaksi, dan 320 di antaranya beneran bermasalah.
TP = 320
FP = 880
FN = 80
TN = 18.720
True Positive Rate = 320 / 400 = 0,800
False Positive Rate = 880 / 19.600 = 0,045
Precision = 320 / 1.200 = 0,267Lihat bedanya. False positive rate cuma 4,5 persen, angka yang kedengarannya kecil dan bagus. Tapi precision-nya 26,7 persen, artinya 3 dari 4 alarm itu palsu.
Dua angka itu ngomongin 880 kesalahan yang sama persis. Yang satu bilang "kecil", yang satu bilang "besar". Bedanya cuma penyebut.
Ini kenapa kurva ROC bisa kelihatan bagus banget di masalah langka, sementara orang yang harus ngecek daftar hasilnya ngerasa modelnya nggak kepakai.
Aku pakai dataset ngulikdata biar keliatan gimana dua ukuran ini bisa kebalik.
Datanya 20.000 transaksi dari 3 cabang toko_berkah, dengan 400 kasus bermasalah yang terverifikasi. Proporsi positif 2 persen.
Dua model dibandingin:
| Ukuran | Model A | Model B |
|---|---|---|
| ROC AUC | 0,932 | 0,911 |
| PR AUC | 0,412 | 0,524 |
| Acuan PR AUC (proporsi positif) | 0,020 | 0,020 |
| Precision di recall 0,80 | 0,214 | 0,338 |
| Jumlah kasus yang harus dicek buat dapat recall 0,80 | 1.495 | 947 |
Model A menang di ROC AUC. Model B menang di PR AUC.
Yang bikin bedanya: Model A lebih rapi misahin kasus negatif yang skornya rendah, dan itu nyumbang ke ROC AUC. Model B lebih tajam di ujung atas daftar, yaitu di kasus-kasus yang skornya paling tinggi.
Buat kerjaan tim audit, cuma ujung atas yang penting. Mereka nggak bakal ngecek 20.000 transaksi. Mereka ngecek beberapa ratus teratas.
Hitungan praktisnya: buat nangkap 320 dari 400 kasus, tim harus periksa 1.495 transaksi kalau pakai Model A, atau 947 kalau pakai Model B. Selisih 548 pemeriksaan.
Dengan 15 menit per pemeriksaan, itu 137 jam kerja per kuartal yang kehemat cuma dari milih model yang benar.
Kalau aku cuma lihat ROC AUC, aku bakal milih Model A dan buang 137 jam itu.
| Situasi | Pakai | Alasan |
|---|---|---|
| Kelas positif di bawah 10 persen | PR AUC | ROC AUC ketutupan sama banyaknya kasus negatif yang gampang |
| Dua kelas seimbang dan sama pentingnya | ROC AUC | Nafsirinnya lebih gampang dan nggak kepengaruh ambang |
| Hasil model dipakai buat nyaring daftar tindak lanjut | PR AUC | Precision langsung nentuin beban kerja tim |
| Bandingin model antar dataset dengan proporsi berbeda | ROC AUC | PR AUC ikut berubah kalau proporsi kelas berubah |
| Peringkat pelanggan buat kampanye terbatas | PR AUC | Cuma bagian atas daftar yang bakal dipakai |
| Nilai negatif juga punya konsekuensi nyata | Dua-duanya | Laporkan berdampingan, jangan pilih salah satu |
Baris keempat sering kelewat. PR AUC nggak bisa dibandingin lurus antar dataset yang proporsi kelasnya beda, karena acuannya ikut geser. Kalau kamu ngebandingin performa model di dua cabang yang tingkat kecurangannya beda, sertakan proporsi positif tiap cabang.
from sklearn.metrics import roc_auc_score, average_precision_score
from sklearn.metrics import precision_recall_curve, roc_curve
roc = roc_auc_score(y_true, y_prob)
pr = average_precision_score(y_true, y_prob)
acuan_pr = y_true.mean() # proporsi kelas positif
print(f"ROC AUC : {roc:.3f} (acuan acak 0.500)")
print(f"PR AUC : {pr:.3f} (acuan acak {acuan_pr:.3f})")Pakai average_precision_score, bukan auc dengan interpolasi. Cara interpolasi bisa ngasih angka yang terlalu bagus di kurva precision recall karena bentuk kurvanya nggak halus.
Buat lihat precision di tingkat recall tertentu, yang biasanya lebih berguna dari angka ringkasannya:
import numpy as np
prec, rec, ambang = precision_recall_curve(y_true, y_prob)
for target in [0.60, 0.70, 0.80, 0.90]:
idx = np.argmin(np.abs(rec - target))
print(f"recall {rec[idx]:.2f} -> precision {prec[idx]:.3f}")Tabel empat baris itu jauh lebih dipahami orang non-teknis dibanding satu angka AUC. Aku selalu bawa versi ini ke rapat.
Definisi lengkap tiap fungsi ada di dokumentasi resmi scikit-learn soal evaluasi model.
Ngelaporin PR AUC tanpa nyebut proporsi kelas positif. PR AUC 0,41 itu bagus kalau positifnya 2 persen, dan jelek kalau positifnya 40 persen. Tanpa acuan, angkanya nggak bisa dibaca.
Ngebandingin PR AUC antar dataset dengan proporsi berbeda. Model yang sama bisa dapat PR AUC 0,52 di satu cabang dan 0,31 di cabang lain cuma karena tingkat kejadiannya beda.
Nyeimbangin data lalu ngukur di data yang udah diseimbangkan. Kalau kamu oversampling kelas positif sampai 50 persen lalu ngitung PR AUC di sana, angkanya nggak nyambung sama kenyataan. Ukur di data uji dengan proporsi asli.
Ngejar AUC tanpa pernah milih ambang. Dua ukuran ini ngerangkum performa di semua ambang. Waktu model dipakai, kamu tetap harus milih satu ambang, dan itu keputusan terpisah yang butuh hitungan biaya.
Nganggap ROC AUC tinggi berarti model siap produksi. ROC AUC 0,95 di masalah dengan 0,5 persen positif masih bisa ngasih precision di bawah 10 persen. Cek precision di tingkat recall yang kamu targetkan.
Lupa ngecek kualitas label. Kalau kasus positif di data uji ada yang belum terverifikasi, dua ukuran ini ikut salah. Cek dulu, dan konsepnya ada di glosarium data quality.
Bukan satu angka AUC. Empat baris ini:
Baris keempat yang paling sering bikin diskusi berubah arah. Begitu orang lihat angkanya 947 pemeriksaan per kuartal, pembicaraan pindah dari "modelnya bagus nggak" ke "tim kita sanggup nggak".
Nyambungin ukuran model ke ukuran kerja itu bagian yang paling sering kelewat, dan aku bahas dasarnya di glosarium KPI.
Pakai PR AUC kalau kelas positifmu di bawah 10 persen dan yang kamu peduliin cuma kemampuan model nemuin kasus positif. Contohnya deteksi kecurangan, skrining penyakit langka, atau nyari pelanggan yang bakal berhenti. Pakai ROC AUC kalau dua kelas sama pentingnya dan proporsinya nggak terlalu jomplang, misalnya klasifikasi jenis dokumen.
Acuan acaknya 0,5, jadi apapun di atas itu lebih baik dari nebak. Tapi angka bagus tergantung bidangnya. Di kredit dan asuransi, 0,70 sampai 0,80 udah dipakai produksi. Di masalah yang sinyalnya jelas, di bawah 0,90 dianggap kurang. Yang lebih penting dari angkanya: bandingkan sama model pembanding paling sederhana di kasusmu, bukan sama patokan umum.
Proporsi kelas positifmu sendiri. Kalau 2 persen datamu positif, model asal-asalan dapat PR AUC sekitar 0,02. Jadi PR AUC 0,41 itu sekitar 20 kali lebih baik dari acak, bukan angka jelek walaupun kelihatan rendah. Selalu tulis proporsi kelas positif di sebelah nilai PR AUC waktu ngelaporin hasil.
Average precision adalah cara ngitung luas di bawah kurva precision recall dengan penjumlahan bertahap, tanpa interpolasi. Di scikit-learn, fungsi average_precision_score itu yang disarankan buat ngitung PR AUC, karena cara auc dengan interpolasi bisa ngasih hasil yang terlalu bagus. Buat pelaporan sehari-hari, dua istilah ini sering dianggap sama.
Ikut yang cocok sama tujuan kerjamu. Kalau kamu mau nyaring daftar yang bakal ditindaklanjuti manusia, ikut PR AUC, karena precision langsung nentuin berapa banyak waktu tim kebuang. Lalu pastikan dengan hitungan biaya rupiah dari false positive dan false negative. Ukuran ringkasan cuma alat bantu, keputusan akhir tetap dari biaya kesalahan.
Tiga hal yang perlu kamu bawa.
ROC AUC gampang kelihatan tinggi di data timpang karena penyebut false positive rate diisi puluhan ribu kasus negatif. PR AUC lebih ketat, dan acuannya bukan 0,5 melainkan proporsi kelas positifmu. Dua ukuran ini bisa nunjuk model yang berbeda, dan di contoh toko_berkah bedanya 137 jam kerja per kuartal.
Ambil model yang lagi kamu kerjain, hitung dua-duanya, lalu tulis proporsi kelas positif di sebelahnya. Kalau urutannya beda, itu tanda kamu perlu lihat precision di tingkat recall yang beneran mau kamu pakai.
Lanjut baca precision vs recall buat dasar dua angka penyusunnya, atau confusion matrix dari sisi bisnis kalau kamu perlu ngejelasin hasil model ke orang non-teknis.
Mau praktek langsung? Mulai latihan SQL gratis
Latihan interaktif, langsung di browser.
Kolom datetime nyimpen tanggal, jam, hari, semuanya nempel jadi satu. Accessor .dt di pandas ngeluarin tiap bagian jadi kolom sendiri buat dianalisa.
Nama toko ketik campur huruf besar-kecil, spasi nyasar di ujung, atau kode produk nempel jadi satu. Accessor .str di pandas ngerapiin semua itu tanpa loop.
Model machine learning cuma ngerti angka, bukan teks kayak merah atau biru. get_dummies ngubah kolom kategori jadi kolom 0/1 dalam satu baris kode.