Bismillah….
“Sebagaimana tidak ada Area Under Curve yang mencapai nilai 1, maka manusia juga tidak ada yang sempurna” se mpurna” Jangan membusung dada, membuat hati orang Sakit. Di atas langit masih ada langit…
Kurva Receiver operating Characteristic Characteristic (Bagian 1) Catatan materi kuliah dr Iwan Ariawan, MS Pengukuran Skala Sikap “
”
By :
[email protected] [email protected]
ROC Curve adalah grafik antara sensitifitas (true positive rate) pada sumbu Y dengan 1-spesifisitas pada sumbu X (false positive rate), seakan-akan menggambarkan tawar menawar antara sensitivitas dan spesifisitas. Tujuan
1. Untuk menilai seberapa akuratkah sebuah uji dapat mengidentifikasi ada-tidaknya penyakit atau dengan kata lain untuk menilai kualitas suatu uji dalam membedakan antara kasus dan bukan bukan kasus (Metz, 1978; Zweig & Campbell,1993). 2. untuk menentukan cut off point pada uji diag nostic yang bersifat kontinyu (ari awan,2009). 3. untuk membandingkan kualitas dari dua atau lebih uji diag nostik (Griner, et. Al,1981). Review Uji Diagnostik
Pengukuran Pada Uji Diagnostik 1. Sensitivity Probabilitas hasil tes+ jika hasil baku emas + 2. Specificity Probabilitas hasil tes- jika hasil baku emas 3. Positive predictive value (+PV) Probabilitas hasil baku emas + jika tes+ 4. Negative predictive value (-PV) Probabilitas hasil baku emas – jika tes 5. Likelihood ratio positive (LR+) Rasio hasil tes+ jika baku emas + dengan tes+ jika baku emas 6. Likelihood ratio negative (LR-) Rasio hasil tes- jika baku emas + dengan tes- jika baku emas -
Tentang Cut-Off Point
Titik potong atau Cut-off point adalah nilai batas antara kelompok dengan penyakit dan kelompok tanpa penyakit, atau nilai batas hasil uji positif dan hasil uji negative. Dalam menentukan titik potong ini harus dilakukan tawar-menawar, karena peningkatan sensivitas akan menyebabkan penurunan spesifitas, dan sebaliknya. Untuk itu, peneliti harus memperhatikan kepentingan uji dignostik tersebut dalam keadaan sebenarnya. Ilustarsi distribusi hasil uji pada kelompok dengan dan tanpa penyakit sbb :
Kelompok merah=penyakit+, kelompok
biru=penyakit- berdasarkan hasil uji baku emas
Garis hijau adalah batas nilai untuk nilai
uji diagnostic
Dampak perubahan cut off point 1. Menggeser batas cut-off point untuk meningkatkan sensitifitas akan berdampak pada meningkatnya hasil positif palsu 2. Sebaliknya menggeser cut-off point untuk meningkatkan spesifisitas akan berdampak pada meningkatnya hasil negatif
Simulasi Sederhana ROC (sebagai alat bantu menetapkan cut-off point).
Dimisalkan ada 10 orang, 4 di antaranya positif (+) sakit dengan baku emas, selanjutnya dilakukan Sakit
Uji
>5
>6
penilaian terhadap ke 10 orang tersebut (dimisalkan
1 2
+ +
6 5
+ +
+ -
nilai 1 - 10) hasilnya 6, 5, 3…2
3 4
+ -
3 3
-
-
begitu pula dilakukan uji dengan cut-off point >6.
5 6
-
5 4
+ -
-
Apabila ditabulasi 2 x 2, maka hasilnya sebagaimana di
7
+
7
+
+
8
-
3
-
-
9
-
2
-
-
10
-
2
-
-
No
Selanjutnya dilakukan uji dengan cut-off point >5,
bawah :
COP = >5
COP = >6 Gold Standar +
t s e T
Gold Standar -
+
3
1
-
1
5
4
6
t s e T
+
-
+
2
0
-
2
6
4
6
sen = 3/4 = 0.75
sen = 2/4 = 0.5
spe = 5/6 = 0.83
spe = 6/6 = 1
1-spe = 1-0.83 = 0.17
1-spe = 1-1= 0
Apabila diplot maka visualisasinya (bentuk kurvanya) sbb :
COP >5
Sen COP >6
0
1-spe
Demikian seterusnya dibuat untuk COP dengan nilai yang lain ….
Contoh ROC dengan MedCalc
1. Buka aplikasi MedCalc 2. Pilh File open, lalu cari alamat file anda (mis untuk contoh kali ini, di C:\Program Files/MedCalc/Sample Files/Data for ROC curve analysis.mc1)
3. Selanjutnya pilih Statistics ROC curves ROC curve analysis… Variable : berisi uji yang akan diukur kualitasnya (nilai uji
haruslah berbentuk numerik, apabila m asih dalam bentuk kategorik harus dikoding terlebih dahulu). Classification Classification variable : berisi variabel dikotomis yang
menunjukkan hasil diagnosis tiap pasien. Kode untuk kasus dengan penyakit = 1, kasus tanpa penyakit = 0 Select : kolom ini bersifat opsional, berisi kriteria untuk
menyeleksi kelompok subjek agar lebih spesifik (mis AGE>21,SEX=”Laki-laki”)
Options : Apabila data kasus dan non kasus
menggambarkan prevalensi penyakit yang sebenarnya di populasi maka berikan tanda centang, atau apabila tidak bisa dengan mengetikkan langsung prevalensinya, atau abaikan saja bila prevalensinya tidak diketahui.
4. Setelah mengklik OK maka hasinya sebagai berikut :
5. Dari output pertama diketahui : a.
Jumlah sampel untuk kelompok kasus dan non kasus 55:45
b. Prevalensi penyakit = 55% c.
Luas area di bawah kurva (AUC) = 0.947 (very good). AUC
dapat
diinterpretasikan
sebagai rata-rata sensifitas untuk semua
nilai
spesifitas
yang
mungkin. Nilai AUC ini dipakai untuk
mengukur
akurasi
uji
diagnostic secara umum. Nilai AUC 0 s/d 1, semakin mendekati 1 maka semakin baik uji diagnostic tersebut. Pedoman instrumentasi nilai AUC sbb :
0.50 - 0.75 = Fair
0.75 - 0.92 = Good
0.92 - 0.97 = Very good
0.97 - 1.00 = Excellent
Batas bawah nilai AUC = 0.5, jadi apabila AUC < 0.5 berarti hanya hasil tebak-tebakan saja. Uji dengan nilai AUC demikian “mendingan dilupakan saja or di cut-off saja” kata Pa Iwan. d. Nilai p = 0.0001. Diketahui :
Ho = Nilai AUC sama dengan 0.5 Ha = Nilai AUC tidak sama dengan 0.5
Karena nilai p<0.05 maka hipotesis null ditolak, maka terdapat perbedaan yang signifikan AUC dengan 0.5 atau dengan kata lain l ain uji tersebut terbukti memiliki kemampuan untuk membedakan antara dua kelompok (kasus-non kasus). e. Nilai sensitivitas, spesifisitas, keduanya pada CI tertentu, likelihood ratio, PPV, NPV pada masingmasing kriteria cut-off point. f.
Tanda * pada nilai kriteria cut-off point 108.9 * menunujukkan hubungan antara sensitivitas dan spesifisitas pada rata-rata tertinggi.
Apabila kita memilih cut-off point yang nilainya rendah, maka TPF dan sensitivitas akan naik. Selanjutnya FPF akan ikut naik, sehingga TNF dan spesifisitas akan menurun.
Sebaliknya apabila kita memilih cut-off point yang tinggi, maka FPF akan turun bersamaan dengan meningkatnya spesifisitas akan tetapi TPF dan sensitivitas akan naik.
Untuk tujuan skrining, maka digunakan cut-off point dengan sensitivitas dan spesifisitas pada rata-rata tertinggi seperti contoh kasus di di atas. Untuk mengkonfirmasi mengkonfirmasi hasil skrining, maka pada objek yang sudah terseleksi sebelumnya dilakukan uji lagi, kali ini dengan spesifisitas dan PPV yang lebih tinggi.
6. Dari output kedua terlihat kurva yang merupakan hasil plot-an true positive rate (Sensitivitas) di sumbu Y dengan false positive rate (1-spesifisitas) di sumbu X pada nilai cut-off point yang berbedabeda. Garis merah diagonal menunjukkan AUC = 0.5 uji diagnostic tidak berguna Garis biru menunjukkan AUC uji pada contoh kasus = 0.947 Walhamdulillah…
(Bersambung)
