Definisi ROC
Receiver Operating Characteristic ( ROC ) kurva adalah cara yang berguna untuk menafsirkan sensitivitas dan spesifisitas tingkat dan untuk menentukan nilai cut terkait . Kurva ROC adalah generalisasi dari himpunan k ombinasi potensial sensitivitas dan spesifisitas mungkin bagi prediktor ( Pepe , Janes , Longton , Leisenring , & Newcomb , 2004) . Kurva ROC analisis tidak hanya han ya memberikan informasi tentang nilai cut , tetapi juga menyediakan skala umum alami untuk membandingkan prediktor yang berbeda yang diukur dalam unit yang berbeda b erbeda , sedangkan rasio odds dalam analisis regresi logistik harus ditafsirkan sesuai dengan peningkatan unit dalam n ilai prediktor , yang dapat membuat perbandingan antara prediktor sulit ( Pepe , et al . , 2004) . Sebuah indikasi keseluruhan akurasi diagnostik kurva ROC adalah area di bawah kurva ( AUC ) . Nilai AUC lebih dekat ke 1 menunjukkan ukuran skrining andal membedakan antara siswa dengan kinerja membaca memuaskan dan tidak memuaskan , sedangkan nilai-nilai di .50 menunjukkan prediktor tersebut tidak lebih baik dari kesempatan ( Zhou , Obuchowski , & Obuschowski , 2002) . Menghitung ROC Curve di SPSS Untuk menghitung kurva ROC di SPSS ( ay 16 ) , prosedur berikut harus diikuti : 1 . Mengukur skrining Anda harus menggunakan nilai standar 2 . Ukuran hasil Anda harus recoded menjadi variabel dikotomis " Tidak berisiko " - " 0 " , dan " At- Risk " - " 1 " 3 . Di bawah menu atas opsi " Analisis " , pilih " ROC Curve " 4 . Anda akan memiliki kotak dialog yang mengatakan ROC Curve . Dalam kotak ini , Anda harus menyeret mengukur skrining Anda ke kotak yang mengatakan "Test Variable
1
" . Anda harus menyeret variabel hasil dichotomized Anda ke " Negara Variabel " kotak . 5 . Pada kotak yang meminta untuk " Nilai Negara Variable " , menempatkan " 1 " - ( Anda mencoba untuk memprediksi yang anak-anak beresiko ) . 6 . Pada kotak berlabel " Display" memeriksa pilihan untuk " ROC Curve " " dengan garis Diagonal referensi " dan " Standar Kesalahan dan Confidence Interval " 7 . Di sudut kanan atas kotak dialog Curve ROC , Anda akan melihat kata " Options" klik di atasnya . 8 . Sebuah kotak dialog baru harus terbuka yang disebut " ROC Curve Analysis ; Options" . Dalam kotak ini , di bawah "Test Direction " pilih opsi yang sesuai . Anda mungkin akan perlu memilih " hasil tes yang lebih kecil menunjukkan tes yang lebih positif " - ini berarti bahwa skor yang lebih rendah pada instrumen layar berarti siswa lebih mungkin berada pada risiko . 9 . Pilih " Lanjutkan " dan Anda harus kembali ke kotak dialog Curve ROC , pilih " Ok " dan analisis akan berjalan . 10 . Statistik bunga akan : a . Pengolahan Ringkasan Kasus - ini memberikan total N , serta jumlah siswa beresiko dan tidak beresiko b . ROC Curve Graph - memberikan gambaran visual dari utilitas skrining ukuran itu c . Lokasi Berdasarkan tabel Curve - menyediakan AUC bersama dengan standard error & confidence interval Menghitung ROC Curve di Excel Untuk menghitung kurva ROC menggunakan Excel , berkonsultasi dengan situs berikut untuk men-download template : http://www.analyse-
2
it.com/products/method_evaluation/roc.aspx?gclid=COba5eWAw5cCFRxNagodZ3sxSw
Referensi Pepe , M. , Janes , H. , Longton , G. , Leisenring , W. & Newcomb , P. ( 2004) . keterbatasan rasio odds dalam mengukur kinerja suatu diagnostik , prognostik , atau penanda screening . American Journal of Epidemiology , 159 , 882-890 . Zhou, XH , Obuchowski , NA , & Obushcowski , DM ( 2002) . Metode statistik dalam kedokteran diagnostik . Wiley & Sons : New York .
Receiver Operating Characteristic (ROC) curves are a useful way to interpret sensitivity and specificity levels and to determine related cut scores. ROC curves are a generalization of the set of potential combinations of sensitivity and specificity possible for predictors (Pepe, Janes, Longton, Leisenring, & Newcomb, 200 4). ROC curve analyses not only provide information about cut scores, bu t also provide a natural common scale for comparing different predictors that are measured in different units, whereas the odds ratio in logistic regression analysis must be interpreted according to a unit increase in the value of the predictor, which can make comparison between predictors difficult (Pepe, et al., 2004). An overall indication of the diagnostic accuracy of a ROC curve is the area under the curve (AUC). AUC values closer to 1 indicate the screening measure reliably distinguishes among students with satisfactory and
3
unsatisfactory reading performance, whereas values at .50 indicate the predictor is no better than chance (Zhou, Obuchowski, & Obuschowski, 2002). Compute a ROC Curve in SPSS To compute a ROC curve in SPSS (v. 16), the following procedures should be followed: 1. Your screening measure should use a standard score 2. Your outcome measure should be recoded into a dichotomous variable of “Not atrisk” – “0”, and “At-Risk” – “1” 3. Under the top menu option “Analysis”, select “ROC Curve” 4. You will have a dialog box that says ROC Curve. In this box, you should drag your screening measure to the box that says “Test Variable”. You should drag your dichotomized outcome variable into the “State Variable” box. 5. In the box that asks for the “Value of the State Variable”, put “1” – (you are trying to predict which kids are at risk). 6. In the box labeled “Display” check the options for “ROC Curve” “with Diagonal reference line” and “Standard Error and Confidence Interval” 7. In the upper right corner of the ROC Curve dialog box, you’ll see the word “Options” – click on it. 8. A new dialog box should open called “ROC Curve Analysis; Options”. In this box, under “Test Direction” select the appropriate option. You will likely need to select “Smaller test result indicates more positive test” – this means that a lower score on the screen instrument means the student is more likely to be at risk.
4
9. Select “Continue” and you should be returned to the ROC Curve dialog box, select “Ok” and the analysis will run. 10. The statistics of interest will be: a. Case Processing Summary - this gives the total N, as well as the number of students at risk and not at risk b. ROC Curve Graph – gives a visual depiction of the screening measure’s utility c. Area Under the Curve table – provides the AUC along with the standard error & confidence interval Compute a ROC Curve in Excel To compute a ROC curve using Excel, consult the following website to download a template: http://www.analyseit.com/products/method_evaluation/roc.aspx?gclid=COba5eWAw5cCFRxNagodZ3sxSw
5
References Pepe, M., Janes, H., Longton, G., Leisenring, W. & Newcomb, P. (2004). Limitations of the odds ratio in gauging the performance of a diagnostic, prognostic, or screening marker. American Journal of Epidemiology, 159, 882-890. Zhou, X. H., Obuchowski, N. A., & Obushcowski, D. M. (2002). Statistical methods in diagnostic medicine. Wiley & Sons: New York.
6
