Verifikasi dan Validasi Metoda di Laboratorium Verifikasi merupakan suatu uji kinerja metode standar. Verifikasi ini dilakukan terhadap suatu metode standar sebelum diterapkan di laboratorium. Verifikasi sebuah metode bermaksud untuk membuktikan bahwa laboratorium yang bersangkutan mampu melakukan pengujian dengan metode tersebut dengan hasil yang valid. Disamping itu verifikasi juga bertujuan untuk membuktikan bahwa laboratorium memiliki data kinerja. Hal ini dikarenakan laboratorium yang berbeda memiliki kondisi dan kompetensi personil serta kemampuan peralatan yang berbeda. Sehingga, kinerja antara satu laboratorium dengan laboratorium lainnya tidaklah sama. Didalam verifikasi metode, kinerja yang akan diuji adalah keselektifan seperti uji akurasi (ketepatan) dan presisi (kecermatan). Dua hal ini merupakan hal yang paling minimal harus dilakukan dalam verifikasi sebuah metode. Suatu metoda yang presisi (cermat) belum menjadi jaminan bahwa metode tersebut dikatakan tepat (akurat). Begitu juga sebaliknya, suatu metode yang tepat (akurat) belum tentu presisi. Hubungan antara akurasi dan presisi dalam uji metode dapat terjadi dalam empat hal:
Akurasi dan presisi sama-sama rendah
Presisi tinggi, akurasi rendah
Presisi rendah, akurasi tinggi
Akurasi dan Presisi tinggi. Jika diimajinasikan kedalam dunia nyata, akurasi dan presisi digambarkan dengan anak-anak panah yang dilepaskan dari busur dan sasaran tembak. Dikatakan akurat dan presisi atau cermat dan tepat, jika anak panah yang dilepaskan dari busur tepat mengenai pusat sasaran panah yang dituju. Ketika anak panah kedua dilepaskan, maka harus tepat mengenai pusat sasaran, dan seterusnya. Artinya, setiap kali pengulangan berada pada sasaran yang hendak dituju. Meskipun demikian, akurasi tidaklah sama dengan presisi dan tidak sama dengan reliabilitas/keandalan suatu data. Akurasi diartikan sebagai kedekatan hasil analisa terhadap nilai yang sebenarnya. Presisi diartikan sebagai kedekatan antara sekumpulan hasil analisa. Sedangkan reliabilitas data adalah gabungan antara presisi dan akurasi. Dengan kata lain, akurasi bertujuan untuk mendapatkan suatu nilai yang
benar. Presisi bertujuan untuk mendapatkan nilai yang sama. Sedangkan reliabilitas data adalah untuk mendapatkan nilai yang benar dan sama. Reliabilatas data (keandalan suatu data) merupakan syarat mutlak yang harus dimiliki oleh suatu laboratorium analisa. Suatu laboratorium yang berkualitas harus dapat mengeluarkan data-data yang andal dan dapat dipercaya (memiliki akurasi dan presisi tinggi). Dalam skala industri, laboratorium bertugas sebagai “pabrik” yang memproduksi data, kemudian data ini akan diteruskan kepada pihak proses yang memproduksi barang yang sebenarnya. Dan tentu saja mereka akan memproduksi barang sesuai dengan data-data yang dikeluarkan laboratorium. Apa jadinya jika formula dan analisa yang dikeluarkan laboratorium (misalnya farmasi) salah ? Bisa jadi obat yang akan diproduksi akan tidak sesuai dengan fungsinya. Validasi Metode Berdasarkan SNI 19-17025-2000, validasi adalah konfirmasi suatu metode melalui pengujian dan pengadaan bukti bahwa syarat-syarat tertentu dari suatu metode telah dipenuhi. Validasi perlu dilakukan oleh laboratorium terhadap :
Metode non standar
Metode yang dikembangkan sendiri
Metode standar yang digunakan diluar lingkup yang dimaksud
Metode standar yang dimodifikasi
Metode standar untuk menegaskan dan mengkonfirmasikan bahwa metode tersebut sesuai dengan penggunaannya. Dalam melakukan validasi metode parameter yang harus diuji meliputi :
1. Limit of detection (LOD) Limit of detection merupakan batas deteksi yang bisa diuji pada konsentrasi paling rendah. 2. Limit of Quantitation Limit of quantitation merupakan konsentarsi terendah dari analit yang dapat ditentukan dengan akurasi yang dapat diterima. 3. Working Range Working range merupakan rentang kerja, mulai dari batas terendah sampai batas tertinggi.
4. Linear Range Linear range merupakan rentang linear dalam rentang kerja. 5. Sensitivitas/ Kepekaan Sensitivitas merupakan kemampuan untuk mengukur analit dengan akurat tanpa adanya gangguan dari komponen matriks dalam sampel. 6. Ketahanan Metode Ketahanan metode merupakan ukuran agi suatu metode dalam mempertahankan kinerja dimana pengaturan kondisi analisa tidak se-sempurna seperti yang ditetapkan didalam metode yang digunakan. 1. Akurasi Akurasi diartikan sebagai kedekatan hasil analisa terhadap nilai yang sebenarnya. Akurasi menggambarkan kesalahan sistematik atau bias. 2. Presisi Presisi diartikan sebagai kedekatan antara sekumpulan hasil analisa. Presisi menggambarkan kesalahan acak. Sedangkan dalam verifikasi tidak selengkap dalam melakukan validasi, parameter minimal yang diuji adalah akurasi dan presisi.
VALIDASI DALAM CLINICAL CHEMISTRY Oleh : Bettia M Bermawi, dr., Sp.PK PDS Patklin Jakarta Presentasi PATELKI : 26 Juni 2010 (Seminar Nasional PATELKI 2010) Pengertian • Validasi adalah konfirmasi, dengan melakukan tindakan obyektif, bahwa suatu kebutuhan untuk tujuan tertentu atau aplikasi telah terpenuhi. • Istilah VALIDASI dijumpai pada dokumen Akreditasi dan Guidelines : KALK, ISO, CLIA, CLSI Mengapa validasi diperlukan ? • Jika hasil suatu tes tidak dapat dipercaya, maka tesmenjadi tidak berharga dan tidak akan digunakan. • ISO 15189. 5.5.2. : Metode dan prosedur yang dipilih untuk penggunaan harus dievaluasi dan diketahui memberi hasil yang memuaskan, sebelum digunakan untuk pemeriksaan medik…
Ragam validasi dalam bidang kimia klinik • Acuan : ISO 15189 : • Validasi harus seluas yang diperlukan untuk memenuhi kebutuhan dalam penerapan dan bidang penerapan yang ditetapkan
• Validasi prosedur & metoda pemeriksaan • Validasi Klinis (Clinical Diagnostic) • Validasi hasil
Apa yang anda harapkan untuk tes baru di lab? • Akurat • Reproducible • Cepat • Ketersediaan (reagen & kalibrator) • Melewati uji pemantapan mutu • …….. • Bagaimana anda menguji karakter / performans tes?
Faktor kunci dalam seleksi dan validasi prosedur & metoda pemeriksaan • Kegunaan klinis • Analytical performans di laboratorium anda • Beberapa syarat performans parameter harus ditetapkan dan terpenuhi sebelum metoda dapat digunakan • Faktor ekonomi: • Saat seleksi peralatan, perlu diperhatikan unsur penggunaan energi dan limbah • Biaya bukan pertimbangan utama, tetapi lingkungan adalah salah satu pembatasan ekonomis. • Peduli terhadap pelestarian lingkungan, kesehatan dan keselamatan kerja, performans dan kualitas, laboratorium harus memilih prosedur paling "cost-effective" sehingga laboratorium dapat menghasilkan pelayanan kualitas tinggi.
Validasi Prosedur • ISO 15189. 5.5.2. : Laboratorium harus hanya menggunakan prosedur yang telah divalidasi untuk menegaskan bahwa prosedur pemeriksaan sesuai untuk penggunaan yang dimaksudkan. … • Validasi prosedur merupakan kebutuhan penting dalam proses analitik. • Maka laboratorium harus mempunyai tanggung jawab untuk menetapkan bahwa proses analitik telah dilakukan benar, atau hasil menunjukkan sesuai untuk kebutuhan (fitness for purpose).
Dokumentasi Validasi Prosedur / Metoda • Deskripsi alat / kit tes / prosedur kerja. • Spesifikasi rinci kebutuhan alat / kit tes. • Tujuan validasi dan alasan menggunakan metoda tertentu, bukan metoda lain. • Rincian metoda dapat meliputi : - Jenis sampel yang diuji - Tipe reagen dibandingkan dengan jumlah kebutuhan tes yang diperiksa - Jumlah operator alat / analis • Risk assessment.
Validasi metoda dilakukan untuk menilai :
• Peralatan (termasuk alat yang ada) • Tes baru • Kit tes baru • Reagen baru • Modifikasi dari prosedur lama (kecuali CE marked –prosedur CE marked test tidak boleh diubah). • Perubahan penggunaan alat (Contoh : dari alat analyzer menggunakan alat POCT)
Kapan validasi metoda dilakukan? • Metoda baru • Metode yang telah digunakan diganti untuk memperbaiki atau diperluas karena dijumpai masalah baru • Penetapan metoda pada laboratorium berbeda, analis berbeda atau alat berbeda. • Memperlihatkan kesesuaian dari 2 metoda pemeriksaan: baru dan standar. • Jika laboratorium menggunakan 2 alat untuk 1 pemeriksaan (main & backup), harus ada agreement / "kesesuaian" dari performans tes kedua alat
Dokumentasi untuk validasi metoda • Jenis alat • Nomor lot reagen • Nomor lot kalibrasi • Waktu kalibrasi dan re-kalibrasi • Prosedur preventive maintenance • Perubahan metoda • Tindakan koreksi
Metoda dengan lambang CE • In-vitro Diagnostic Medical Devices Directive 98/79/EC diterapkan pada alat dan aksesoris yang digunakan dalam bidang diagnostik. • Umumnya metodologi yang dibeli oleh laboratorium mempunyai standar CE sehingga untuk validasi data dianggap dapat menggunakan data yang tercantum dalam kemasan.
Validasi metoda dan prosedur pemeriksaan dengan lambang CE Laboratorium harus mempertimbangkan : 1. Apakah data validasi yang ada mencukupi kebutuhan atau membutuhkan validasi lanjut? 2. Jika data validasi yang ada cukup, apakah laboratorium mampu mencapai tingkat performans yang dicantumkan?
Apa yang dilakukan untukmenguji performans test? • Akurasi : apakah tes menghasilkan hasil benar? • Reproducibility/precision : Apakah hasil benar dihasilkan secara konsisten ? • Robustness : Apakah semua analis yang menjalankan metoda ini sesuai jadwal? • Nilai rujukan : apakah nilai rujukan populasi yang diberikan produsen sesuai dengan populasi lab kita? • Rencana kalibrasi : Apa yang direkomendasi produsen dan dapatkah kita lakukan? • Rencana QC : bagaimana kita mendeteksi error yang bermakna?
Validasi Metoda pada prosedur Non-CE marked • Masih banyak tes menggunakan prosedur bukan CE marked atau "in-house". • Diperlukan validasi metoda yang tepat dan didokumentasi • Menetapkan performans analitik dan klinik (diagnostik) dari tes agar dapat diterapkan untuk kegunaannya. • Uji verifikasi
Uji verifikasi • Tujuan : untuk menetapkan analytical error pada tes, sehingga dapat mengenali perubahan yang tidak dapat diterima
Uji : • Akurasi - Perbandingan metode tes : uji sensitivitas dan spesifisitas. - linearitas • Presisi - Within-run (repeatability), - Between-run ireproducibility) • Analytical Sensitivity (detection limits) • Analytical specificity - interferensi & recovery
Pemantapanmutu Quality Assurance dan / QC internal harian adalah
Proses berkesinambungan yang meneguhkan verifikasi & validasi Error… Dua jenis error utama! (sebenarnya ada tiga…) • Random error : peningkatan pada standard deviasi (sd) • Systematic error : shift pada mean Data dasar untuk mean dan sd ditetapkan pada uji verifikasi. Program QC dapat memantau perubahan ini. Yang ketiga adalah sporadic error : hal yang terjadi pada suatu sekwens pemeriksaan sampel pasien. QC tidak dapat mendeteksi error ini, tetapi dikenali dari pengalaman dan perbandingan delta check.
Total allowable error :…. • Total error adalah : Jumlah random error (sd) + systematic error Jika total error dari metoda tes anda lebih besar dari total (medically) allowable error, inilah bencana !
• Jadi Total error allowable (tEA)adalah … - Perbedaan hasil yang akan memicu tindakan medik - Jika %CV didapatkan di bawah regulasi CLIA untuk beberapa parameter kimia klinik
Pendekatan untuk validasi metoda • Uji statistik : - Mean, sd, %CV - Sensitivity, specificity - Confidence intervals - ROC curve untuk cutoff determination - Agreement – kappa & Mc Nemar • Menggunakan Method Decision Chart (Westgard) • Menggunakan Six Sigma metrik : suatu tolok ukur universal untuk menguji berbagai performans. Skala 2 –6. Hambatan dalam melakukan validasi metoda • Uji validasi metoda sulit diinterpretasi • Data besar. • Pengujian berulang. • Perlu berbagai perhitungan statistik dan grafik untuk mendapatkan kesimpulan. • Biaya.
Sebelummengeluarkan hasil pasien, laboratoriumharus menetapkan karakteristik performans tes. • Accuracy • Precision • Reference and Reportable ranges • Analytical sensitivity • Analytic specificity • Interfering substances • Diagnostic (Clinical) Validity Clinical (Diagnostic) Validation Makna klinis dan kegunaan tes : • Diagnosis penyakit atau beratnya penyakit (staging) • Konfirmasi hasil dari tes lab lain atau diagnosis klinis • Pemantauan dan penetapan perjalanan penyakit, prognosis atau resolusi (penyembuhan)
Clinical (Diagnostic) Validation… • Membandingkan tes pada gold standard - Tes lain (kultur, EIA, FISH) - Gambaran klinik atau respons terapi • Gunakan nilai PPV dan NPV • Perhatikan variasi etnik dan geografi : - kasus DM banyak dijumpai di Manado - Kasus Ca Nasofaring pada etnis Cina • Telusuri kepustakan uji klinis (publikasi jurnal, penelitian)
Validasi Hasil Tujuan validasi hasil: • Menghindari memberikan hasil tes yang tidak sesuai pada klinisi. Apa yang biasa kita hadapi? • Dengan banyak penggunaan alat otomatis, error yang paling sering terjadi adalah human error. • Validasi sejumlah besar hasil tes dilakukan dengan inspeksi / pengamatan visual (mata).
Validasi Hasil Pemeriksaan • Pada beberapa laboratorium, pengamatan ini terbatas pada hasil abnormal atau sangat abnormal (critical value). • Hasil test disaring dengan informasi tes lain dan informasiklinis pasien (tetapi sering tidak ada…) • Hasil yang : - "jika tertangkap mata" memberikan keraguan pada validator akan memicu tindakan seperti pengulangan atau konsultasi pada ahli patologi klinik. - Bila tidak ? …..
Pendekatan Total quality management dalambentuk tingkat validasi hasil • Administratif: - No ID Pasien, tanggal lahir, jenis kelamin, - No ID sampel, - Tanggal dan waktu sampel • Teknis, - Kalibrasi, Data quality-control harian, Usia reagen, • Sampel, - Jumlah tes, - Jenis sampel, - Volume sampel • Pasien - Plausibility of test results, - Hasil Ekstrim - Kemungkinan Carry over dari pasien sebelumnya • Clinical validation - Tes lanjutan, - LDL-calculation check, - SOP, protokol
Dokumentasi validasi hasil Dokumentasi dengan : • Semua hasil pemeriksaan • Semua hasil di luar rentang yang diharapkan • Setiap perbedaan hasil yang dihasilkan oleh analisberbeda • Setiap kegagalan / kesalahan dari alat / kit tes / media /prosedur / listrik atau komputer (hang) • Log maintenance sesuai anjuran
• Hasil kalibrasi • Pengamatan lain yang relevan • Tindakan yang dilakukan pada hasil yang tidak diharapkan (incident report)
