Implementasi dan Analisis Performance testing pada Aplikasi Toko Online Menggunakan Cloud Based Testing Tools
Proposal Tugas Akhir Kelompok Keahlian : Software Engineering, Information System and Data Engineering (SIDE)
Muhammad 113100010
Program Studi Sarjana Teknik Informatika Departemen Informatika Fakultas Teknik Universitas Telkom Bandung 2013
Lembar Persetujuan Implementasi dan Analisis Performance testing pada Aplikasi Toko Online Menggunakan Cloud Based Testing Tools Performance testing Implementation and Analysis on Online Store Application with Cloud Based Testing Tools
Muhammad NIM : 113100010
Proposal ini diajukan sebagai usulan pembuatan Tugas Akhir pada Program Studi Sarjana Teknik Informatika Departemen Informatika Fakultas Teknik Universitas Telkom
Bandung, 8 Oktober 2013 Menyetujui
Calon Pembimbing 1
Calon Pembimbing 2
Dana S. Kusumo, Ph.D, 02780291-1
Bayu Munajat, ST., 10870713-3
Lembar Persetujuan Implementasi dan Analisis Performance testing pada Aplikasi Toko Online Menggunakan Cloud Based Testing Tools Performance testing Implementation and Analysis on Online Store Application with Cloud Based Testing Tools
Muhammad NIM : 113100010
Proposal ini diajukan sebagai usulan pembuatan Tugas Akhir pada Program Studi Sarjana Teknik Informatika Departemen Informatika Fakultas Teknik Universitas Telkom
Bandung, 8 Oktober 2013 Menyetujui
Calon Pembimbing 1
Dana S. Kusumo, Ph.D, 02780291-1
Abstraksi Penggunaan aplikasi web terutama toko online saat ini sudah menjadi hal umum. Pada setiap aplikasi web, performansi adalah hal yang sangat penting. Kemampuan aplikasi web dalam menangani dan memproses request dari user menjadi hal yang berpengaruh terhadap reliability dari aplikasi web tersebut. Terlebih pada toko online di mana transaksi jual beli pasti menggunakan data dan informasi sensitif yang menuntut reliability yang tinggi. Performance testing merupakan salah satu cara pengujian untuk mengukur tingkat performansi suatu aplikasi. Pengujian ini berguna untuk mengetahui kesalahan-kesalahan yang berkaitan dengan performansi pada suatu aplikasi dan membantu developer untuk memperbaiki dan meningkatkan performansi aplikasi tersebut sampai kepada tingkat performansi yang diharapkan. Kata kunci: performance testing, load testing, stress testing, soak testing, performance metric, key scenario.
PENDAHULUAN 1.1.
Latar belakang masalah
Saat ini, penggunaan toko online sudah menjadi hal umum. Selain situssitus yang mengkhususkan menyediakan toko online untuk orang-orang yang ingin menjual barang, perusahaan-perusahaan menengah ke atas juga sudah mulai memiliki toko online masing-masing yang menjual produk-produk mereka sendiri. Pada transaksi yang berkaitan dengan jual beli, tentunya situs-situs toko online ini perlu memastikan bahwa sistem yang mereka miliki memiliki performansi yang bagus untuk menangani banyaknya user yang mengakses situs tersebut. Penggunaan resource hardware yang sesuai dengan demand diperlukan untuk mendapatkan hasil yang memuaskan. Overestimating sebuah sistem bisa berakibat resource yang terbuang sia-sia sementara underestimating sistem bisa berakibat kekurangan resource yang berakibat pada sistem crash, overload, dan lain sebagainya. Penurunan performansi seperti melambatnya response time karena bertambahnya jumlah user aktif sampai ke server down atau sistem crash bisa berakibat fatal pada transaksi jual beli dikarenakan informasi yang sangat sensitif. Berdasarkan permasalahan di atas, penulis ingin mengimplementasikan satu set metodologi pengujian untuk menguji performansi dari web application, terutama toko online. Secara keseluruhan, uji performansi terdiri dari baseline testing, load testing, stress testing, soak testing, dan volume testing [1]. Namun penulis membatasi hanya melakukan load testing, stress testing dan soak testing. Hal ini berdasarkan studi literatur, penulis menemukan bahwa dua pengujian yang paling sering dibahas dan dilakukan adalah load testing dan stress testing, sementara soak test (endurance test) merupakan pengujian yang menggabungkan load testing dengan pengkondisian stress testing. Baseline testing menurut Meier et al. (2007)1 merupakan proses pembentukan baseline yang pasti dilakukan pada setiap performance testing dan volume test hanya diterangkan oleh Du Plessis (2008)2. Penggunaan load testing bertujuan untuk mengetahui performansi toko online dalam keadaan normal maupun pada kondisi load tertentu. Kondisi load ini dipengaruhi oleh jumlah user aktif maupun jumlah thread yang bekerja secara bersamaan. Stress testing berguna untuk mengukur kemampuan maksimal web application bekerja, dengan cara dibebani hingga batas maksimum web / sebelum aplikasi crash. Pengukuran ini berguna untuk mengetahui perubahan kondisi setiap kali beban bertambah dan mengetahui error-error yang terjadi selama penambahan beban ke server. Sementara soak testing atau endurance testing digunakan untuk menguji ketahanan aplikasi web untuk bekerja dalam periode waktu yang panjang. Pengujian ini digunakan untuk mengetahui error-error yang berkaitan dengan ketahanan sistem seperti memory leak dan connection time-out. Untuk ketiga pengujian di atas, faktor terbesar yang mempengaruhi adalah 1 2
Performance testing Guidance for Web Applications, hal. 21 White Paper Performance test Methodology, hal. 11
concurency baik user maupun thread. Kedua hal tersebut juga yang menjadi input pada performance testing. Permasalahan yang muncul pada saat melakukan performance testing adalah pembuatan virtual user. Load testing yang dilakukan secara lokal membutuhkan sangat banyak resource yang tentu memakan waktu dan biaya yang besar. Berdasarkan hal tersebut, mulai bermunculan performance testing tools yang ditanamkan di cloud. Tools ini yang nantinya akan penulis gunakan untuk melakukan performance test untuk aplikasi web, terutama toko online.
1.2.
Perumusan masalah
Berdasarkan latar belakang di atas, maka didapatkan permasalahan utama sebagai berikut: 1. Bagaimana merancang test plan, test case dan test scenario untuk ketiga jenis pengujian tersebut (load testing, stress testing, soak testing)? 2. Bagaimana mengukur performansi aplikasi toko online berdasarkan hasil pengujian? 3. Bagaimana mengukur objektifitas atau memvalidasi hasil dari pengujian yang dilakukan? 4. Apakah hasil pengujian ini bisa mewakili performansi aplikasi tersebut di dunia nyata? 5. Bagaimana memberikan solusi terhadap permasalahan yang ditemukan dari analisis hasil pengujian dan memvalidasi solusi tersebut? Adapun batas permasalahan untuk tugas akhir ini adalah sebagai berikut: 1. Aplikasi yang diuji hanyalah aplikasi toko online. 2. Behavior yang diuji pada load testing adalah response time, throughput, dan resource utilization. 3. Menggunakan cloud-based testing tools saja dalam eksekusi pengujian.
1.3.
Tujuan
Dari permasalahan di atas, didapatkan bahwa tujuan yang ingin dicapai dari tugas akhir ini adalah: 1. Melakukan pengujian dan analisis terhadap performansi aplikasi toko online 2. Mendapatkan behavior aplikasi dalam keadaan-keadaan tertentu yang mungkin muncul. 3. Memberikan dan mengimplementasikan solusi dari permasalahan yang didapatkan melalui analisis hasil pengujian
1.4.
Metodologi penyelesaian masalah
Metodologi yang digunakan untuk menyelesaikan permasalahan pada tugas akhir ini adalah sebagai berikut :
1.
Studi literatur
Pada tahapan ini, kegiatan yang dilakukan adalah mengumpulkan materi dan referensi yang berkaitan dengan performance testing dan melakukan pendalaman terhadap materi performance testing. Hal lain yang dilakukan adalah mengumpulkan dan mempelajari dokumentasi dari sistem informasi i-Gracias. 2.
Pengumpulan data (project assessment)
Pada tahapan ini dilakukan pengumpulan informasi dari software requirement dan arsitektur sistem. Termasuk di dalamnya adalah penentuan test environment, tools, testing requirement, permasalahan waktu, dan hal-hal yang harus dimonitor dari project tersebut. 3.
Tahap Pengujian
Tahapan ini terdiri dari perencanaan pengujian (planning), pembuatan test case dan test scenario berdasarkan test plan, penulisan script pengujian (scripting) berdasarkan test case dan test scenario, eksekusi pengujian pada clous based tools, dan analisis hasil pengujian. Pada tahapan pengujian ini, eksekusi pengujian diulang beberapa kali agar hasil pengujian yang didapat tidak bias dan bisa diukur validitasnya. 4.
Penentuan solusi dan implementasi
Setelah hasil pengujian selesai dianalisa dan error-error serta hasil pengukuran performansi aplikasi diketahui, tentunya akan terlihat apa saja yang harus diperbaiki atau ditambah untuk menangani masalah performansi yang muncul. Dari sanalah penulis akan mencoba memberi solusi yang langsung diimplementasikan ke aplikasi yang bersangkutan. 5.
Validasi solusi dan hasil pengujian
Setelah keseluruhan solusi selesai diimplementasikan, perlu diadakan pengujian hasil solusi tersebut untuk menyatakan bahwa solusi yang diberikan dan permasalahan yang muncul dalam pengujian sebelum implementasi solusi adalah valid. Pengujian dilakukan dengan perencanaan yang sama dengan test sebelumnya. 6.
Pembuatan laporan
Merupakan tahap terakhir dalam tugas akhir ini. Pada tahap ini dilakukan penyusunan laporan berdasarkan hasil yang didapat dan hasil analisis dalam buku laporan tugas akhir.
1.5.
Jadwal kegiatan
Bulan Minggu Pengumpul an Data Pengujian Implement asi solusi Pengujian solusi Pembuatan Laporan
I 1
2
II 3
4
1
2
III 3
4
1
2
IV 3
4
1
2
V 3
4
1
2
VI 3
4
1
2
3
4
TINJAUAN PUSTAKA 2.1.
Toko online
Atau online shopping merupakan bagian dari e-commerce berupa aplikasi web yang memungkinkan konsumen untuk membeli barang langsung melalui internet. Penggunaan toko online mengharuskan user untuk terkoneksi ke internet dan memiliki metode pembayaran yang valid. Beberapa metode pembayaran yang valid adalah paypai dan kartu kredit, namun beberapa toko online terutama yang masih bersifat lokal masih menggunakan metode pembayaran transfer uang antar rekening bank atau pembayaran saat menerima barang (Cash on Delivery). Dalam pelaksanaan bisnisnya, toko online terbagi menjadi Bussiness to Customer (B2C) dan Bussiness to Bussiness (B2B). Contoh dari toko online B2C adalah Amazon dan Ebay. Sementara contoh dari toko online B2B adalah Alibaba. Pada toko online, informasi yang dikirimkan dari user pada saat pembayaran merupakan informasi private yang sensitif, seperti alamat, nomor rekening, nomor telepon. Untuk memastikan informasi-informasi ini aman, security merupakan isu toko online yang paling diperhatikan. Tidak ada user yang ingin tertipu oleh scammer, karenanya saat ini banyak sekali sertifikasi untuk menyatakan bahwa suatu toko online terjamin keamanan dalam melakukan transaksi di dalamnya. Hal lain yang perlu diperhatikan adalah performansi aplikasi dari toko online tersebut. Bottleneck yang terjadi ketika banyak user melakukan transaksi akan membuat transaksi terhambat.
2.2.
Software Testing IEEE Std 610.12 (IEEE, 1990) mendefinisikan software testing sebagai: “(1) The process of operating a system or component under specified conditions, observing or recording the results, and making an evaluation of some aspect of the system or component. (2) The process of analyzing a software item to detect the differences between existing and required conditions (that is, bugs) and to evaluate the features of the software item.”
Dari definisi tersebut didapatkan bahwa software testing adalah suatu proses menjalankan software dalam keadaan tertentu, kemudian membandingkan hasil yang didapat dengan hasil yang diinginkan untuk mengetahui apakah ada kekurangan dan kesalahan yang perlu diperbaiki dari software tersebut. Menurut Galin (2009, Chapter 9), dari definisi kedua dapat disimpulkan bahwa software testing tidak harus dilakukan dengan menjalankan software tersebut. Secara umum, tujuan dan target dari software testing adalah untuk mendapatkan sebanyak mungkin error yang ada pada software yang diuji untuk dikoreksi agar mencapai tingkat di mana kualitasnya layak. Software testing terdiri dari banyak jenis test yang keseluruhannya secara umum memiliki tujuan yang sama namun dengan objektif yang berbeda-beda. Sebagai contoh, unit testing memiliki tujuan untuk menguji software pada poin yang paling rendah
yaitu setiap unit dari suatu software. Functional test memiliki objektif untuk menguji setiap fungsionalitas yang ada pada suatu software, sementara performance test memiliki objektif menguji performansi / kinerja dari suatu software. Secara konsep, software testing terbagi menjadi dua, Black box testing dan Clear box (White box) testing. -
Black box testing atau bisa juga disebut functionality testing mengidentifikasi bug dari output yang didapat. Jika output yang didapatkan benar, maka black box testing tidak memperhatikan apakah terjadi kesalahan pada internal software tersebut (code, arsitektur, dsb).
-
Clear box (White box) testing atau bisa juga disebut structural testing merupakan kebalikan dari black box testing. Ia mendeteksi bug dengan cara memeriksa internal software tersebut (code review, dll).
Baik black box testing maupung white box testing bisa dilakukan menggunakan tools. Penggunaan tools dalam software testing disebut juga automated testing karena pada saat pengujian, tester tidak menjalankan software yang akan diuji namun menjalankan tools yang secara otomatis akan melakukan pengujian terhadap software target uji menggunakan script yang dibuat berdasarkan test case dan test scenario.
2.3.
Performance testing Criteria
2.3.1. Response Time Merupakan rentang waktu dari saat user mengirimkan request ke server hingga server selesai merespon request tersebut. Pada aplikasi web, response time didefinisikan sebagai jumlah network time (N1, N2, N3, N4) dan jumlah application time (A1, A2, A3, A4)[3]. Keterangan lebih lanjut ada pada gambar berikut:
Gambar 1: response time pada aplikasi web [2]
2.3.2. Concurrency User Concurency adalah jumlah user ataupun thread yang mengakses resource dalam waktu bersamaan. Concurency user di sini adalah jumlah keseluruhan user yang mengakses aplikasi dalam waktu bersamaan. User yang dihitung adalah user aktif, meskipun user non aktif tetap mengambil jumlah resource namun jumlahnya relatif sedikit dibandingkan dengan user aktif.
Pu dan Xu (2009) menyatakan bahwa rata-rata concurency user bisa dirumuskan sebagai berikut : (
)
(1)
(
)
√
(2)
Di mana C adalah rata-rata concurency user, n adalah jumlah login session, L adalah rata-rata login session, dan T adalah waktu yang diperiksa (waktu pengujian). Pada formula (2), jika C berdistribusi Poison, maka Cp adalah jumlah maksimum concurency user. 2.3.3. Throughput Adalah jumlah request yang ditangani dalam satu detik. Pada software testing, throughput merupakan batasan jumlah request yang mampu ditangani aplikasi tiap satuan waktu. Jika request yang masuk melebihi throughput suatu aplikasi, maka hal ini akan menyebabkan queue. Pada web engineering hal ini lah yang menyebabkan terjadinya bottleneck. Hasil analisis throughput pada performance testing disebut dengan Transaction Per Second (TPS) [3]. Throughput ketika tidak terjadi bottleneck dapat didefinisikan sebagai (
)
(3)
Di mana F adalah throughput, Nvu adalah jumlah virtual user, dan T adalah performance testing time [2]. 2.3.4. Resource Utilization Sesuai dengan nama, resource utilization adalah ukuran tingkat penggunaan dari tiap-tiap resource hardware pada sistem. Ada banyak metrik yang bisa diukur untuk menentukan, namun setidaknya ada 4 hardware yang pasti diukur: 2.3.4.1. CPU Pengukuran penggunaan CPU bisa digunakan untuk menentukan seberapa efektif pengujian yang kita lakukan. Penggunaan CPU yang terlalu tinggi, bahkan mencapai 100% menjadikan CPU tidak dapat mengeksekusi proses-proses tambahan. Pada best practice, diusahakan agar kerja CPU tidak melebihi 80% untuk tiap prosesor. Pengukuran CPU juga dapat dengan mudah menunjukkan server mana yang berpotensi mengalami bottleneck. 2.3.4.2. Memory Pengukuran ini digunakan untuk menemukan memory leak. Memory leak dapat ditemukan dengan memonitor memory (byte yang tersedia), Process (private bytes), ataupun proses (working sets) [4]. Ketika terjadi memory leak, proses baik private bytes maupun working sets mengalami peningkatan, sementara byte memory yang tersedia mengalami penurunan. 2.3.4.3. Disk Permasalahan yang mungkin muncul pada disk bukan hanya space. Sebagai kriteria performansi, hal yang mempengaruhi dari disk adalah waktu
akses / time. Beberapa unit pengukuran untuk membantu pengukuran penggunaan disk ini adalah sebagai berikut: -
Average disk queue length
-
Average disk read queue length
-
Average disk write queue length
-
Average disk sec/read
-
Average disk sec/transfer
-
Disk read/sec
-
Disk write/sec
Untuk menemukan disk bottleneck, digunakan rumus berikut: [
(
)]
(4)
2.3.4.4. Network Untuk aplikasi web, resource ini merupakan resource terpenting yang harus diperhatikan. Hal-hal yang harus diperhatikan adalah
2.4.
-
Network latency – waktu yang dibutuhkan untuk mengirimkan data melalui koneksi jaringan.
-
Network round trip – client server request dan response yang dibuat oleh aplikasi tersebut.
-
Data transfer – jumlah informasi yang dipindahkan dari web server ke browser dan sebaliknya.
Software Performance testing
Adalah jenis pengujian untuk mengukur kinerja dari suatu software. Performance test terdiri dari beberapa test yang masing-masing memiliki tujuan dan metode pengujian yang berbeda-beda. 2.4.1. Baseline Testing Baseline testing adalah aktivitas membuat baseline untuk performance test dengan cara menjalankan satu set pengujian untuk mendapatkan data performance metrik. Data ini digunakan untuk mengevaluasi efektivitas dari perubahan yang akan dilakukan pada sistem yang bertujuan menambah performansi sistem. Pada aplikasi web, baseline digunakan untuk menentukan apakah performansi suatu sistem mengalami kenaikan atau penurunan, dan untuk menemukan deviasi di antara versi sistem [5]. Kelebihan dari baseline testing ini adalah pengukuran dilakukan hanya dengan satu proses atau transaksi spesifik. Yang dari sana bisa didapatkan standar pengujian untuk keseluruhan performance testing.
2.4.2. Load testing Load testing adalah pengujian sistem pada satu load condition. Load condition ini bisa merupakan jumlah user yang mengakses aplikasi secara bersamaan maupun jumlah proses yang dilakukan secara online. Qiang et.al (2013) menyatakan bahwa load testing merupakan pengujian suatu aplikasi dalam satu load condition dengan cara mengirimkan request dan mengukur respon dari aplikasi tersebut. hal ini digunakan untuk mengidentifikasi maksimum kapasitas yang bisa ditangani oleh aplikasi dan juga potensi terjadinya bottleneck dan penyebab penurunan performansi. Macam-macam input dari load testing adalah sebagai berikut: -
Performance-critical usage scenario
-
Workload models
-
Performance acceptance criteria
-
Performance metric
-
Feedback dari desainer atau developer aplikasi.
-
Feedback dari end user
-
Feedback dari operasional aplikasi web tersebut.
Sementara output dari load testing yang bisa didapatkan adalah -
Update untuk test plan dan test design untuk keseluruhan performance testing
-
Macam-macam hasil pengukuran performansi seperti throughput, response time, dan resource utilization.
-
Potensi terjadinya bottleneck.
-
Behavior aplikasi pada bermacam-macam load condition
2.4.3. Stress testing Stress testing adalah pengujian yang menempatkan sistem pada kondisi ekstrim. Pengujian ini mengukur availability dan reliability sistem pada kondisi tersebut. Kondisi ekstrim di sini bisa berupa sangat banyaknya jumlah user yang mengakses dan mengirimkan request ke sistem, beban sistem (data yang diproses) sangat banyak, ataupun kurangnya jumlah resource untuk menangani proses. Inti dari stress testing ini adalah untuk memaksa sistem hingga ke breaking point untuk menemukan bug yang membuat breaking point tersebut berbahaya. Stress testing berguna untuk menemukan kesalahan yang berkaitan dengan masalah prioritas, sinkronisasi, dan resource loss. Input dari stress testing ini adalah sebagai berikut: -
Hasil dari stress test sebelumnya
-
Karakteristik / skenario penggunaan aplikasi.
-
Peak load capacity yang didapat dari load testing
-
Arsitektur hardware dan network dan data
Output dari stress testing yang mungkin adalah -
Hasil pengukuran aplikasi dalam stress condition (kondisi ekstrim)
-
Hal-hal yang terjadi dalam stress condition.
-
Informasi yang dapat digunakan untuk mengukur availability dan reliability.
2.4.4. Soak testing Merupakan versi extend dari load testing, soak testing adalah load testing yang dilakukan dalam periode waktu yang relatif panjang. Hal ini dilakukan untuk mengamati perubahan behavior sistem dalam kondisi tersebut. Sebagai contoh pada saat sistem diuji dengan load testing dalam waktu satu jam, behavior sistem masih normal sesuai dengan yang diperkirakan, namun dalam waktu tiga jam, behavior sistem bisa berubah. Permasalahan seperti memory leak, connection time-out ataupun database growth bisa terjadi. Untuk soak test, semakin lama waktu yang digunakan semakin banyak problem yang terlihat. Gunakan waktu selama mungkin, atau hentikan ketika sudah terlihat trend spesifik dari object test yang diamati [1].
2.5.
Cloud Testing
Cloud testing adalah software testing yang menggunakan infrastruktur cloud. Cloud testing dikembangkan berdasarkan permasalahan yang muncul ketika mengadakan testing seperti budget dan waktu yang terbatas, keterbatasan hardware resource, banyaknya jumlah test case, dan lain sebagainya. Dengan cloud, biaya pengujian bisa berkurang dengan berkurangnya jumlah hardware, masalah distribusi geografis teratasi, dan kebutuhan virtual user dengan variasi requirement dan behavior bisa dengan mudah ditangani. Jenis-jenis testing yang menggunakan cloud testing adalah sebagai berikut:
2.6.
-
Stress testing
-
Load testing
-
Performance testing
-
Compability testing
-
Functional testing
-
Browser performance testing
-
Latency testing
Testing tools
Saat ini, tester seringkali menggunakan software khusus (bukan software yang diuji) untuk mengontrol dan mengeksekusi pengujian. Software-software ini membantu tester untuk melakukan monitoring terhadap hasil testing yang dilakukan. Pada dasarnya performance test untuk aplikasi web harus dilakukan
menggunakan tools. Hal ini dikarenakan kebutuhan virtual user yang digunakan pada load testing dan stress testing. Performance testing tools yang terkenal di antaranya: a. HP LoadRunner b. LoadStorm c. LoadUI d. Apache Jmeter e. Loadster f. Rational Performance tester g. Visual Studio Team Foundation Server h. Cloudtest Dari contoh di atas, yang sudah ditanamkan pada infrastruktur cloud adalah HP LoadRunner, LoadStorm, Cloudtest, Visual Studio Team Foundation Server. Tools lain yang sudah merupakan cloud-based tools adalah blitz spirent.
PERANCANGAN SISTEM 3.1.
Metodologi Riset
Penulis menggunakan metode testing yang digunakan sebagaimana dipaparkan oleh Du Plessis (2008) terdiri dari 7 step sebagai metodologi riset. Dari step tersebut kemudian ditambahkan step implementasi solusi yang didapat dari analisis hasil pengujian. Gambaran dari keseluruhan metodologi riset ada pada gambar berikut:
Gambar 2 : Blok umum metodologi performance testing
Dari blok umum di atas, blok planning phase, execution phase dan implement solution phase bisa dipecah menjadi bagian-bagian yang lebih kecil. Planning phase terdiri dari planning dan scripting, execution phase terdiri dari eksekusi pengujian dan analisa hasil, dan implement solution phase terdiri dari pembuatan solusi berdasarkan kesalahan yang ditemukan pada analisa hasil pengujian dan implementasi solusi tersebut pada aplikasi yang diuji. Setelah melalui fase implement solution, dilakukan pengujian ulang dari fase planning hingga eksekusi untuk memvalidasi apakah solusi yang diberikan sudah bisa menangani permasalahan yang muncul selama uji performansi sebelum solusi tersebut diimplementasikan. Keseluruhan detail aktifitas pada metodologi ini ada pada gambar 3.
Gambar 3: Flowchart metodologi pengujian
3.1.1. Project Assessment Merupakan tahap pencarian informasi yang mendetail mengenai software yang akan diuji. Informasi yang dicari mulai dari requirement software,
requirement untuk testing, apa yang ingin dicapai dari testing, test environment, dan lain sebagainya. Detail dari poin-poin requirement yang didapatkan dari project assessment ada pada tabel berikut: Tabel 1: Detail key project Assessment3
Project Assessment Bussiness problem yang harus - Jumlah penggunaan sistem diselesaikan - Response time yang layak - Proses bisnis yang akan diuji - Baseline Arsitektur - System components (hardware & software). Test Environtment - Kelayakan - Hardware - Software Tools yang akan digunakan - Compability - Tools requirement Monitoring - Objek yang harus dimonitor - Apa saja yang bisa dimonitor? - Monitoring requirement Available time - Available time vs required time - Expectation management Testing requirements - Akses ke sistem - Hardware requirement - Software requirement - Data requirement 3.1.2. Planning Setelah seluruh informasi dan requirement terkumpul pada tahap sebelumnya, informasi tersebut digunakan untuk membuat performance test plan. Pada tahap ini dilakukan identifikasi scenario yang akan digunakan, termasuk perencanaan load condition yang terdiri dari jumlah virtual user yang akan digunakan, aktivitas / transaksi yang akan dilakukan oleh virtual user dan persebarannya, waktu pengujian, target metrik yang ingin dikumpulkan sebagai hasil pengujian, dan kriteria kelayakan (performance accepted criteria). Dari test plan yang dihasilkan dibuat test case dan test scenario untuk diimplementasikan pada tools yang menjadi dasar automated testing. Penentuan input dari tiap-tiap jenis testing dan target output juga merupakan bagian dari planning. 3.1.3. Scripting Pada tahap ini dilakukan persiapan test environment, tools, dan resource yang dibutuhkan untuk mengeksekusi test. Pada tahap ini juga dilakukan penulisan script dari test case ke tools yang digunakan. Penulisan script ini merupakan permulaan dari eksekusi test dan untuk setiap perubahan yang terjadi pada sistem, dilakukan penulisan dan running individual script untuk memonitor 3
Diambil dengan perubahan dari white paper Performance test Methodology [1]
perubahan secara langsung. Script ini nantinya yang akan digunakan pada tools untuk melakukan automated testing. 3.1.4. Execute Testing Jalankan dan monitor test yang sudah direncanakan menggunakan tools dengan script yang sudah dibuat pada tahapan-tahapan sebelumnya. Pada tahap ini juga dilakukan validasi pengujian, data pengujian dan kumpulan hasil pengujian. Untuk tiga jenis performance test, masing-masing memiliki perbedaan pada cara pengujian dan desain, lebih lanjut akan diterangkan pada subbab 3.2. 3.1.5. Result Analysis Tahap ini merupakan penentuan apakah sebuah skenario test dengan satu konfigurasi akan diulang atau tidak. Test akan diulang ketika masih ada hasil yang di luar batas kelayakan dan belum semua informasi didapatkan. Jika kedua faktor tadi sudah dipenuhi, maka pengujian bisa dikatakan selesai dan pengujian bisa dilanjutkan ke jenis pengujian selanjutnya. Pengujian dikatakan selesai seluruhnya ketika ketiga jenis pengujian sudah selesai dilakukan. 3.1.6. Create and implement solution Berdasarkan hasil analisis pengujian, ditentukan kesalahan-kesalahan yang muncul selama pengujian. Kemudian dibuatlah solusi untuk menangani masalahmasalah tersebut. Pada saat pembuatan solusi, dilakukan kerjasama dengan pihak developer untuk mengimplementasikan solusi yang sudah dibuat ke sistem tersebut langsung ke aplikasi yang diuji. 3.1.7. Test the solution Setelah mengimplementasikan solusi, perlu dilakukan pengujian terhadap sistem yang telah mengalami perubahan. Skenario pengujian yang dilakukan sama seperti pengujian yang pertama dilakukan. Hal ini dilakukan untuk memvalidasi bahwa solusi yang sudah diimplementasikan berhasil mengurangi atau menghilangkan kesalahan-kesalahan yang muncul selama fase pengujian sebelumnya.
3.2.
Testing Approach
Ada perbedaan pada langkah-langkah yang dilakukan pada load testing dan stress testing dalam planning phase dan execute phase. Stress testing memerlukan iterasi berkali- pada bagian-bagian yang ada pada execute phase sementara load test melakukan pengulangan untuk satu load condition berdasarkan analisa hasil. 3.2.1. Load testing 3.2.1.1. Planning phase Langkah-langkah yang dilakukan pada planning phase meliputi: a. Identifikasi kriteria kelayakan Kriteria kelayakan ini ditentukan untuk test object sebagaimana dijelaskan pada bab 2, yaitu Response time, Throughput, Resource Utilization, dan Concurency User (Maximum user load). Hal lain yang bisa dijadikan object test adalah metrik yang terkait dengan bisnis proses seperti berapa jumlah order yang bisa ditangani dalam waktu tertentu.
b. Identifikasi key scenario Scenario adalah urutan-urutan aksi yang mungkin dilakukan oleh user untuk melakukan suatu aktivitas / transaksi tertentu. Key scenario adalah scenario khusus yang memiliki target performansi tertentu, scenario yang umum terjadi, scenario yang memiliki efek tertentu pada performansi dan scenario yang memiliki resiko tinggi atas terjadinya error. Untuk mendapatkan key scenario, dilakukan langkah-langkah berikut : 1) Identifikasi seluruh skenario yang mungkin muncul 2) Identifikasi seluruh aktivitas yang terlibat dalam skenario tersebut. 3) Dari seluruh skenario tersebut, identifikasi skenario yang paling sering dieksekusi atau yang paling memberi pengaruh terhadap resource. c. Pembuatan workload model Key scenario yang didapat pada langkah sebelumnya digunakan untuk membuat workload model. Workload adalah distribusi load pada seluruh skenario yang teridentifikasi. d. Menentukan load condition berdasarkan target load level Pertama, tentukan target load level untuk setiap distribusi workload yang teridentifikasi. Penentuan ini dilakukan untuk memastikan bahwa pengujian yang dilakukan dapat digunakan untuk memprediksi atau membandingkan hasil dari bermacam-macam load condition. Setelah itu, ditentukan load condition yang akan digunakan untuk menguji sistem. e. Identifikasi metrik Identifikasikan metrik berdasarkan target dari pengujian. Adapun metrik bisa termasuk salah satu dari kelompok metrik berikut: -
Network-specific metric
-
System-related metric
-
Platform specific metric
-
Application-specific metric
-
Service-level metric
-
Bussiness metric
3.2.1.2. Execute phase Hal yang dilakukan pada execute phase untuk load testing adalah eksekusi pengujian dan analisa hasil yang didapat untuk menentukan apakah perlu dilakukan pengujian ulang dengan load condition yang sama ataukah dilanjutkan ke skenario berikutnya.
3.2.2. Stress testing 3.2.2.1. Planning phase a. Identify objectives Tentukan outcome yang diingingkan dari stress testing. Beberapa hal yang diinginkan ketika mengadakan stress testing adalah untuk melihat behavior sistem ketika mengalami kondisi ekstrim. Dari behavior yang diamati, dapat disimpulkan apakah secara fungsionalitas sistem mengalami perubahan, dan jika ada perubahan yang mengarah kepada catastrophic failure, pihak developer bisa membangun pertahanan dari kesalahan tersebut. b. Identify key scenario Pada stress testing, identifikasi key scenario dilakukan dengan cara menentukan dan memilih skenario yang paling penting bagi aplikasi tersebut. Untuk toko online, skenario paling penting adalah skenario pembelian. c. Identify workload Dilakukan dengan cara mengidentifikasi pendistribusian work (proses) yang terjadi. Cara lain adalah dengan mengidentifikasi peak user load / maksimum user yang mampu ditangani oleh sistem. Hal ini bsia didapatkan dari hasil load testing. 3.2.2.2. Execute phase Pada fase ini, seluruh aktivitas yang terjadi dilakukan secara berulangulang. Aktivitas-aktivitas tersebut adalah a. Identify metric Proses mengidentifikasi metrik-metrik yang dibutuhkan berdasarkan permasalahan yang mungkin muncul pada tahap identify objective. Metrik ini akan bertindak sebagai indikator dari objektif dari pengujian yang dilakukan. b. Create test case Hasil dari tahapan-tahapan di atas digunakan untuk membuat test case, yang dibuat berdasarkan objektif pengujian, karakteristik workload, test data, test environment, dan metrik yang berhasil diidentifikasi. Setiap test case hendaknya memiliki hasil yang diharapkan untuk mengukur apakah test case bisa dikatakan “pass”, “fail” atau “inconclusive” setelah eksekusi pengujian. c. Simulate load Sebelum melakukan pengujian formal, harus dipastikan bahwa test environment terkonfigurasi sesuai dengan rancangan pengujian yang ada dan mampu menghasilkan hasil pengujian yang diharapkan. d. Analyze result Dilakukan perbandingan antara hasil yang didapatkan dari pengujian dengan batas kelayakan pada metric. Jika hasil yang didapatkan belum mencapai performance level yang diharapkan, lakukan pencarian terhadap penyebab
masalah tersebut dan gunakan problem yang ditemukan untuk membuat solusi agar performance level yang diharapkan dapat tercapai.
DAFTAR PUSTAKA [1] J. Du Plessis, "Performance Testing Methodology," Micro to Mainframe, Parktown, 2008. [2] Y. Pu and M. Xu, "Load Testing for Web Applications," The 1st International Conference on Information Science and Engineering, pp. 2954-2957, 2009. [3] J. Colantonio, “joecolantonio,” 5 July 2011. [Online]. Available: http://www.joecolantonio.com/performance-testing-what-is-throughput/. [Diakses 7 November 2013]. [4] J. Colantonio, “joecolantonio,” 5 October 2011. [Online]. Available: http://www.joecolantonio.com/performance-test-basics-%E2%80%93-what-isresource-utilization/. [Diakses 7 October 2013]. [5] J. Meier, C. Farre, P. Bansode, S. Barber dan D. Rea, Performance Testing Guidance for Web Applications, Microsoft Corporation, 2007. [6] G. Qiang, W. Wang, G. Wu, X. Li, J. Wei dan H. Zhong, “Migrating Load Testing to the Cloud: A Case Study,” IEEE Seventh International Smposium on ServiceOriented System Engineering, pp. 429-434, 2013. [7] D. Galin, “Chapter 9 : Software Testing - Strategies,” dalam Software Quality Assurance From theory to implementation, Harlow, Pearson Education Limited, 2009, p. 180. [8] IEEE, “IEEE Std 610.12-1990 – IEEE Standard Glossary of Software,” IEEE Software Engineering Standards Collection, 1990. [9] V. Shinde, “Top 15 Performance Testing Tools – Comprehensive List of In-Demand Tools with Download Link,” [Online]. Available: http://www.softwaretestinghelp.com/performance-testing-tools-load-testing-tools/. [Diakses 5 October 2013]. [10] D. Galin, “Chapter 10: Software testing - Implementation,” dalam Software Quality Assurance from Theory to Implementation, Harlow, Pearson Education, 2009, pp. 216-251. [11] Agile Support Team, “AgileLoad "your load testing solution",” 12 Juni 2013. [Online]. Available: http://www.agileload.com/agileload/blog/2013/06/12/performance-test-workloadmodeling. [Diakses 7 Oktober 2013]. [12] “Software Performance Testing,” 15 February 2002. [Online]. Available: http://en.wikipedia.org/wiki/Software_performance_testing. [Diakses 3 October 2013].
