PERANCANGAN PROTOTIPE ANTARMUKA OLAM INTERNATIONAL MOBILE APP MENGGUNAKAN METODE LEAN UX
MUHAMMAD MUHAMMAD ALIF SYAFRI
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2017
PERNYATAAN MENGENAI SKRIPSI DAN SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA Dengan ini saya menyatakan bahwa skripsi berjudul Perancangan Prototipe Antarmuka Olam International Mobile App Menggunakan Metode Lean UX adalah benar karya saya dengan dengan arahan dari komisi komisi pembimbing pembimbing dan belum diajukan dalam dalam bentuk apa pun pun kepada perguruan perguruan tinggi mana pun. pun. Sumber informasi yang yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini. Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor. Bogor, Oktober 2017 Muhammad Alif Syafri NIM G64130002
ABSTRAK MUHAMMAD ALIF SYAFRI. Perancangan Prototipe Antarmuka Olam International Mobile App Menggunakan Metode Lean UX. Dibimbing oleh IRMAN HERMADI. Olam International menyadari bahwa para trader komoditas komoditas membutuhkan suatu aplikasi yang bisa memenuhi kebutuhan informasi dalam menentukan pembelian komoditas. Sehingga mereka ingin mengembangkan satu aplikasi yang memudahkan para trader dalam dalam menentukan pembelian dan penjualan komoditas. Tujuan dari penelitian ini adalah merancang prototipe antarmuka Oltrade untuk Olam International yang memenuhi kebutuhan dengan memperhatikan aspek user experience . Penelitian ini menggunakan metode Lean UX yang terdiri dari 4 tahapan yaitu, Declare Assumptions, Create an Minimum Viable Product , Run an Experiment Experiment , dan Feedback and Research. Hasil dari prototipe ini sudah diuji kepada 5 responden dan mendapat nilai success rate sebesar 90% pada iterasi pertama. Pada iterasi kedua dilakukan pengujian parameter efektivitas dengan metode levels of success . Prototipe antarmuka Oltrade dikatakan efektif karena tidak ditemukan masalah mayor dan tidak ada responden yang menyerah/ gagal pada saat pengujian. pe ngujian. Kata kunci: e-trading , Olam, Lean UX, user experience
ABSTRACT MUHAMMAD ALIF SYAFRI. Designing Interface Prototype of Olam International Monile App Using Lean UX Method. Supervised by IRMAN HERMADI. Olam International awares that the commodity trader needs an application that provides the required information to make a decision in buying the commodities. Therefore, it needs to develop an application to ease the commodity trader to make a decision in buying and selling the commodities. The purpose of this research is to design interface prototype Oltrade for Olam International etrading application based on the needs as well as to feature the us er experience. This research uses Lean UX method which consists of 4 phases: Declare Assumptions, Create an Minimum Viable Product, Run an Experiment, as well as Feedback and Research. The prototype has been tested by 5 respondents, where the success rate obtained is 90% at the first iteration. The Prototype's effectivity parameter was tested using success of levels method at the second iteration. The result shows that the prototype is effective because there are no major problem and failure task found during the testing. Keywords: e-trading, Olam, Lean UX, user experience
PERANCANGAN PROTOTIPE ANTARMUKA OLAM INTERNATIONAL MOBILE APP MENGGUNAKAN METODE LEAN UX
MUHAMMAD ALIF SYAFRI
Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer
DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2017
Penguji: 1 Dean Apriana Ramadhan, SKomp MKom 2 Firman Ardiansyah, SKom MSi
PRAKATA Puji dan syukur kepada Allah subhanahu wa ta’ala atas segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Desember 2016 ini adalah user experience , dengan judul Perancangan Prototipe Antarmuka Olam International Mobile App Menggunakan Metode Lean UX. Banyak kendala dan tantangan dari awal penelitian dilaksanakan. Berkat doa, dukungan, dan kasih sayang dari Ibu Neneng Susilowati dan Ayah Syafri S yah Noer menjadi kekuatan untuk menyelesaikan penelitian ini. Terima kasih juga penulis sampaikan kepada Bapak Irman Hermadi, SKom MS PhD selaku dosen pembimbing yang senantiasa membantu, mengarahkan, dan memberi solusi ketika terjadi kesulitan dan ikhlas memberikan waktunya untuk membimbing penulis selama penelitian. Penulis juga menyampaikan terima kasih kepada: 1. Bapak Dean Apriana Ramadhan, SKomp MKom dan Bapak Firman Ardiansyah, SKom MSi selaku penguji. 2. Seluruh dosen, staf tata usaha, dan staf pegawai Departemen Ilmu Komputer IPB. 3. Seluruh teman sebimbingan yang membantu hingga skripsi ini terselesaikan yaitu Shalhan, Dikna, Rizqi dan Hafiz 4. Sahabat terkasih yaitu Anindita Komala Dewi yang selalu memberikan semangat serta masukan kepada penulis sampai saat ini. 5. Teman-teman kontrakan “Blowjews” dan “Kelly” yaitu, Rafif, Aga, Shalhan, Dikna, Wildan, Dipa, Bayulisar, dan Denny yang selalu menghibur penulis dikala jenuh. Semoga segala bantuan, bimbingan, motivasi dan dukungan yang telah diberikan kepada penulis senantiasa dibalas oleh Allah subhanahu wa ta’ala. Semoga karya ilmiah ini memberikan dan wawasan kepada pembaca.
Bogor, Oktober 2017 Muhammad Alif Syafri
DAFTAR ISI DAFTAR TABEL
vi
DAFTAR GAMBAR
vi
DAFTAR LAMPIRAN
vi
PENDAHULUAN
1
Latar Belakang
1
Perumusan Masalah
2
Tujuan Penelitian
2
Manfaat Penelitian
2
Ruang Lingkup Penelitian
2
METODE
2
Declare Assumptions
3
Create an MVP
3
Run an Experiment
3
Feedback and Research
4
HASIL DAN PEMBAHASAN Iterasi Pertama Iterasi Kedua SIMPULAN DAN SARAN
4 4 13 19
Simpulan
19
Saran
19
DAFTAR PUSTAKA
19
LAMPIRAN
21
RIWAYAT HIDUP
35
DAFTAR TABEL
Tabel fitur aplikasi pembanding yang sudah ada Daftar task utama prototipe antarmuka Oltrade Hasil pengujian parameter success rate dengan menggunakan metode binary success tahap run an experiment iterasi pertama Respon negatif pada tahap run an experiment iterasi pertama Hasil pegujian parameter success rate dengan menggunakan metode binary success tahap feedback and research iterasi pertama Daftar masalah responden pada tahap feedback and research iterasi pertama Hasil evaluasi parameter efektivitas tahap run an experiment iterasi kedua Hasil evaluasi parameter efektivitas tahap feedback and research iterasi kedua
7 7 13 13 14 15 17 18
DAFTAR GAMBAR
Metode Lean UX Proto-persona prototipe antarmuka Oltrade Tampilan antarmuka halaman home Tampilan antarmuka halaman markets Tampilan antarmuka halaman news Tampilan antarmuka halaman weather Tampilan antarmuka halaman currencies Tampilan antarmuka halaman settings Halaman login sebelum dan sesudah perbaikan Halaman home sebelum dan sesudah perbaikan Halaman currencies sebelum dan sesudah perbaikan Proses pengujian prototipe metode think -aloud
3 5 9 9 10 11 11 12 16 16 17 18
DAFTAR LAMPIRAN
Proses wireframe menggunakan Adobe Experience Design dan prototype dengan menggunakan InVision App Custom Style Guidelines prototipe antarmuka Oltrade Antarmuka prototipe Oltrade Dokumentasi feedback and research
20 23 26 32
PENDAHULUAN Latar Belakang
Olam International merupakan salah satu perusahaan agribisnis terkemuka yang telah beroperasi selama 27 tahun dan tersebar di 70 negara di dunia. Olam international memiliki 47 produk unggulan, antara lain produk kacang-kacangan, rempah-rempah, sayuran, kopi, dan kapas (Olam 2017). Seiring dengan kemajuan teknologi saat ini, banyak sektor yang mulai menerapkan teknologi di dalam proses bisnisnya. Hal tersebut membuka peluang baru bagi para pelaku bisnis, termasuk Olam International. Agribisnis online telah menjadi sebuah tren baru dan Olam International mencoba mengintegrasikan sektor agribisnisnya dengan sebuah aplikasi e-trading komoditas dengan nama Oltrade. E -trading adalah suatu sistem perdagangan jual beli secara online sehingga dengan sistem ini investor tidak perlu datang atau harus menelepon kantor pialang ( broker ) lagi (Investopedia 2017). Bagaimana pun juga, para pedagang (trader ) komoditas selama ini masih menggunakan beberapa sumber yang berbeda untuk mendapatkan informasiinformasi penting terkait komoditas-komoditas yang mereka dagangkan seperti harga komoditas, laporan cuaca, berita penting dan konversi mata uang saat ini. Olam International bekerja sama dengan perusahaan konsultan Bain Consulting dari Singapore untuk mengembangkan suatu aplikasi e-trading pada sektor agribisnis ini. Mereka menginginkan para trader komoditas ini hanya perlu satu sumber untuk mendapatkan seluruh informasi yang mereka butuhkan. Berdasarkan data dari Statista (2017), pengguna smartphone di dunia pada tahun 2016 mencapai 2.1 miliar pengguna dan diproyeksikan meningkat sampai dengan 2.87 miliar pada tahun 2020. Smartphone dengan sistem operasi android dan iOS mendominasi penjualan pasar dunia dengan 1.5 miliar unit smartphone yang terjual pada tahun 2016. Sistem operasi android mendominasi dengan angka 80% dan sistem operasi iOS hanya 20% saja, oleh karena itu pihak stakeholder menginginkan aplikasi Oltrade ini dikembangkan pada sistem android untuk peluncuran pertamanya. Garret (2011) menjelaskan bahwa disamping kebutuhan fungsional sistem, aspek usability dan user experience juga patut diperhatikan dalam pengembangan suatu aplikasi mobile. Usability adalah nilai kualitatif yang menentukan tingkat kemudahan suatu antarmuka digunakan (Nielsen 2012) dan user experience adalah bagaimana perasaan pengguna ketika berinteraksi dengan antarmuka (Winter 2015). Kedua indikator tersebut adalah salah satu faktor apakah pengguna akan kembali menggunakan aplikasi yang dirancang atau tidak. Jika kedua indikator tersebut baik, maka kemungkinan besar pengguna akan menggunakan aplikasi tersebut lagi. Aplikasi juga harus dirancang sesuai dengan target dan kebutuhan pengguna. Metode perancangan user experience yang digunakan dalam penelitian ini adalah metode Lean UX oleh Gothelf (2013). Metode ini memungkinkan perancangan user experience yang cepat dan tepat sasaran. Terdapat 3 landasan penting pada metode ini, yaitu design thinking, agile software development, dan lean startup method . Design thinking merupakan landasan yang paling penting dalam metode ini. Dengan mengadopsi lean startup method , metode ini berfokus terhadap waktu pengiriman produk yang cepat dan mendapat feedback yang cepat
2 juga. Sehingga dapat dilakukan perbaikan dalam waktu singkat. Proses ini biasa disebut dengan “ build -measure-learn”. Perumusan Masalah
Rumusan permasalahan pada penelitian ini adalah bagaimana merancang user experience aplikasi Oltrade yang ramah pengguna. Prototipe harus dirancang sedemikian rupa agar memudahkan para pengguna yang menggunakan aplikasi ini nantinya. Tujuan Penelitian
Merancang prototipe antarmuka Oltrade untuk Olam International yang memenuhi kebutuhan dengan memperhatikan aspek user experience .
Manfaat Penelitian
Penelitian ini diharapkan dapat memudahkan pengembangan aplikasi Oltrade kepada pengembang ( front-end developer ) yang terkait.
Ruang Lingkup Penelitian
Ruang lingkup penelitian ini adalah prototipe antarmuka dirancang sampai tingkat medium- fidelity dan dirancang pada smartphone dengan ukuran 5 inci dengan orientasi portrait .
METODE Perancangan prototipe antarmuka pada penelitian ini menggunakan metode Lean UX (Gothelf 2013). Metode Lean UX digunakan karena belum adanya informasi atau kebutuhan dari pengguna sehingga harus dilakukan pembuatan asumsi untuk memperkirakan tujuan dari pengguna yang nantinya akan divalidasi kebenarannya. Metode ini juga cocok untuk perancangan user experience yang membutuhkan waktu cepat. Penelitian ini dilakukan pengulangan iterasi sebanyak dua kali. Iterasi kedua merupakan perbaikan dari hasil pengujian iterasi pertama. Gambar 1 merupakan tahapan Lean UX. Metode Lean UX juga dikenal sebagai metode dengan pengembangan yang kolaboratif. Pada penelitian ini 3 orang mahasis wa Ilmu Komputer IPB yang sudah lulus mata kuliah Interaksi Manusia dan Komputer (IMK) memberi masukan dan saran pada tahap run an experiment . Seorang product owner dan 2 desainer juga ikut terlibat dalam tahapan declare assumptions dan create an mvp. Serta 5 responden yang memiliki pengetahuan tentang trading atau sedang aktif melakukan aktivitas trading yang serupa dalam 5 tahun terakhir pada tahap feedback and research .
3
Gambar 1 Metode Lean UX Declare Assumptions Delare Assummptions memiliki 4 fokus yang harus dilakukan. Hal pertama adalah membuat asumsi yang bertujuan untuk memperkirakan apa saja kebutuhan pengguna. Asumsi dibuat berdasarkan hasil focus group discussion (FGD) oleh pihak Olam International, Bain Consulting dan SILVERFOX TECHNOLOGIES. Selanjutnya asumsi akan ditransformasikan ke dalam bentuk hi potesis yang akan diuji nantinya. Proses selanjutnya adalah membuat persona. Persona adalah model yang
dibuat untuk merepresentasikan kebutuhan dari pengguna sebenarnya. Hal ini bertujuan untuk tetap mengingatkan kita kebutuhan dari para pengguna dalam proses desain (Garrett 2011). Pada persona akan ditampilkan 4 poin yaitu biodata pengguna seperti nama dan umur, sifat-sifat dan kebiasaan pengguna, masalah yang dihadapi oleh pengguna, dan solusi dari masalah tersebut. Terakhir akan dilakukan task analyisis untuk menentukan fitur apa saja yang akan dirancang. Task analysis dilakukan bersama dengan product owner dan rekan desainer lainnya. Create an MVP Pada tahap ini prototipe medium-fidelity akan dibangun. Pada iterasi pertama akan dibuat wireframe dengan menggunakan aplikasi Adobe Experience Design dan akan dilakukan prototype dengan menggunakan InVision App. Pada iterasi kedua dilakukan perbaikan prototipe berdasarkan dari hasil pengujian iterasi pertama. Perancangan interface mengacu pada Google Material Design Guidelines dan Custom Style. Run an Experiment Pada tahap ini akan dilakukan pengujian internal terhadap prototipe yang sudah dirancang sebelumnya. Pengujian dilakukan dengan cara demo dan review kepada responden yang memiliki pengetahuan dalam bidang user experience . Pada iterasi pertama prototipe diuji kepada 3 responden dan kemudian akan dimintai masukan dan sarannya. Selanjutnya Pada iterasi kedua, prototipe yang telah diperbaiki akan diuji dan dimintai masukan dan saran kembali. Hal ini bertujuan
4 untuk membantu mendapat pandangan hasil dari prototipe yang telah dirancang sebelum dilakukan pengujian kepada pengguna. Feedback and Research Setelah dilakukan pengujian internal, dilakukan pengujian kepada pengguna. Pada iterasi pertama pengujian dilakukan dengan menggunakan metode think-aloud. Pengujian ini dilakukan kepada 5 responden yang memiliki pengetahuan tentang trading atau sedang aktif melakukan aktivitas trading yang serupa dalam 5 tahun terakhir. Pada metode think-aloud responden diharuskan mengekspresikan opini dan pikiran mereka ketika menggunakan prototipe tersebut (Nielsen 1993 dalam Gupta 2015). Tujuannya adalah untuk mengetahui pemikiran responden lebih baik dengan melihat ekspresi mereka secara verbal maupun non-verbal. Responden nantinya diberikan daftar sejumlah task yang harus dikerjakan dan diminta untuk mengemukakan apapun yang dirasakan saat menggunakan prototipe tersebut. Pada saat menggunakan prototipe, responden juga diminta untuk merekam waj ah mereka dan layar dari smartphone. Hal ini bertujuan untuk memudahkan ketika melakukan analisis nantinya. Hasil analisis akan menjadi acuan untuk melakukan perancangan iterasi selanjutnya. Pada iterasi pertama prototipe dievaluasi dengan menggunakan salah satu usability metric oleh Tullis dan Albert (2013) yaitu menghitung nilai success rate. Success rate adalah persentase jumlah task yang berhasil dilakukan dengan benar terhadap jumlah keseluruhan task . Success rate dihitung dengan menggunakan metode binary success. Pada metode binary success ada tiga nilai pada saat melakukan task, yaitu Y (berhasil), N (gagal), atau NA (tidak dilakukan). Selanjutnya pada iterasi kedua prototipe dievealuasi dengan menggunakan usability metric efisiensi dan efektivitas. Sutau task dikatakan efisien jika waktu penyelesainnya tidak lebih dari 2 kali waktu standar yang telah ditentukan, sedangkan untuk menghitung tingkat efektivitas dari suatu task digunkan metode levels of success . Metode ini terbagi menjadi 4 tingkatan yaitu, 1 (tidak ada masalah), 2 (terjadi masalah minor), 3 (masalah mayor), dan 4 (gagal/menyerah).
HASIL DAN PEMBAHASAN Iterasi Pertama
Declare Assumptions Asumsi Pada tahap ini asumsi dibuat berdasarkan hasil Focus Group Discussion (FGD) dengan pihak stakeholder (Olam International) dan perusahaan konsultan (Bain Consulting) yang dilakukan di kantor SILVERFOX TECHNOLOGIES Jakarta. Diasumsikan bahwa target umum pengguna ialah seorang trader yang berusia dari 25-50 tahun dan aktif menggunakan smartphone setiap harinya dan menggunakan perbandingan yang sama pada pengguna pria dan wanita, yaitu 50:50. Hal ini dikarenakan belum adanya data yang konkrit dan belum ada riset yang dilakukan dari pihak konsultan. Diasumsikan juga dengan adanya aplikasi ini
5 akan memudahkan para trader untuk mendapatkan informasi terkait komoditas yang mereka dagangkan dengan mempertimbangkan aspek user experience . Hipotesis Hipotesis dibuat berdasarkan asumsi sehingga dipercaya aplikasi ini akan memudahkan para trader untuk mendapatkan informasi terkait komoditas yang mereka dagangkan dengan mempertimbangkan aspek user experience .
Proto Persona Persona yang dibuat adalah hasil asumsi atau disebut dengan proto-persona. Berdasarkan asumsi yang telah dibuat, dirancang proto- persona seorang laki-laki bernama Nugroho Pradipta yang memiliki umur 33 tahun dan memiliki pengetahuan tentang trading komoditas dan aktif menggunakan smartphone setiap harinya. Beberapa dari masalah yang digambarkan dari proto- persona adalah terlalu banyak sumber yang dibutuhkan untuk mendapatkan informasi-informasi terkait komoditas, mendapatkan informasi yang tidak valid dan tidak terpercaya, menginginkan tampilan yang simpel dan bisa mel akukan quick access, oleh karena itu dibuat solusi membuat prototipe yang mengakomodasi seluruh informasi terkait di dalam satu aplikasi saja dan memiliki tampilan yang clean. Proto-persona dapat dilihat pada Gambar 2.
Gambar 2 Proto-persona prototipe antarmuka Oltrade
6 Fitur
Fitur yang dirancang pada prototipe antarmuka Oltrade dibuat berdasarkan pengujian a/b testing . A/B testing adalah teknik untuk membandingkan dua hal yang serupa untuk melihat nilai apa yang lebih baik, dalam hal ini adalah fitur (Andrasec et al. 2011). A/B testing dilakukan bersama product owner dan rekan desainer lainnya. Aplikasi yang dibandingkan adalah Bloomberg, Bloomberg Professional, Thomson Reuters dan situs theice.com. Aplikasi pembanding yang dijadikan acuan didapat dari permintaan stakeholder . Setelah dilakukan uji a/b testing didapat beberapa fitur utama yang akan dirancang pada aplikasi ini. Berdasarkan hasil a/b testing aplikasi tersebut, dapat dilihat bahwa rata-rata aplikasi yang dibandingkan memliki fitur melihat data pasar dan berita terkait komoditas yang didagangkan secara real time. Aplikasi Bloomberg bahkan memiliki fitur untuk mendengarkan dan menonton berita-berita terkait secara live dan membuat watchlist untuk tracking komoditas yang diminati. Fitur melakukan online chatting juga dimiliki oleh aplikasi Bloomberg Professional dan Thomson Reuters. Online chatting berguna untuk mengirim pesan kepada sesama trader yang menggunakan aplikasi tersebut sehingga mereka bisa saling bertukar informasi. Bloomberg Professional juga memiliki fitur untuk melihat kalender ekonomi. Kalender ekonomi adalah sebuah alat yang digunakan investor untuk memonitor acara-acara ekonomi penting yang dapat menggerakkan pasar. Aplikasi Thomson Reuters memiliki fitur untuk melihat detail profil perusahaan seperti berita perusahaan, data investor perusahaan, dan riset-riset yang yang dilakukan. Hanya situs theice.com yang memiliki fitur untuk melakukan jual beli komoditas secara real time juga melihat rekapitulasi profil trader seperti jumlah beli dan jual, keuntungan, dan kerugian trader . Tabel 1 merupakan tabel fitur aplikasi pembanding yang sudah ada. Setelah itu ditentukan fitur yang dirancang pada prototipe antarmuka berdasarkan fitur-fitur yang ada aplikasi pembanding tersebut. Teradapat 5 menu utama, yaitu menu home, markets, news, weather, dan currencies . Serta 1 menu pendukung yaitu settings . Pada menu markets fitur utamanya adalah pengguna dapat melihat statistik harga komoditas seperti, grafik harga untuk melihat tren, harga per hari ini, dan perubahan harga komoditas. Pengguna juga dapat melihat detail suatu komoditas untuk melihat data bulan-bulan sebelumnya yang ditampilkan dalam bentuk tabel dan grafik serta melakukan pencarian komoditas yang ingin dilihat datanya. Menu news merupakan menu untuk membaca berita berita terkait komoditas. Fitur utama menu ini adalah melihat daftar berita, membaca berita, dan mencari berita tertentu. Menu weather berfungsi sebagai menu laporan cuaca kepada pengguna. Fitur utama dari menu ini adalah pengguna dapat melihat laporan cuaca terbaru yang terkait dengan komoditas yang didagangkan. Pengguna juga dapat melihat detail cuaca yang terjadi pada daerah tertentu dan melakukan pencarian terhadap lokasi komoditas yang lain. Pada menu currencies pengguna dapat melihat daftar konversi mata uang umum dan dapat melakukan perhitungan mata uang tertentu. Lalu pada menu settings , pengguna dapat memilih preferensi komoditas, mengubah profil, mengganti password , dan sign out . Daftar task utama dapat dilihat pada Tabel 2.
7 Tabel 1 Tabel fitur aplikasi pembanding yang sudah ada Nama Aplikasi Bloomberg Professional
Fitur Utama Mengirim pesan online. Melihat berita dan notifikasi terbaru. Memonitor data pasar, Eco Calendar , dan acara.
Bloomberg
https://play.google .com/store/apps/de tails?id=com.bloo mberg.android.an ywhere&hl=en
Melihat, menonton dan mendengarkan berita terbaru Melihat data pasar secara real time. Membuat watchlist untuk tracking komoditas.
Bloomberg
https://play.google .com/store/apps/de tails?id=com.bloo mberg.android.plu s&hl=en
Melihat data pasar secara real time. Melihat detail profil perusahaan termasuk berita, riset, dan investor. Notifikasi untuk berita dan data pasar. Melakukan save berita dan membacanya secara offline. Mengirim pesan online.
Eikon
https://play.google .com/store/apps/de tails?id=com.thom sonreuters.eikon& hl=en
Melihat data pasar secara real time. Melakukan jual dan beli komoditas secara real time. Melihat rekapitulasi profil trader seperti jumlah jual beli, keuntungan dan kerugian.
Ice
https:www.theice. com
• •
•
Bloomberg
•
• •
Thomson Reuters
Developer Link
• •
•
•
•
Theice.com
• •
•
Tabel 2 Daftar task utama prototipe antarmuka Oltrade No Task 1 Membaca list data komoditas
Menu Markets
2 Membaca detail data satu komoditas 3 Mencari harga komoditas tertentu 4 Membaca daftar berita
News
5 Membaca satu berita 6 Mencari satu berita tertentu 7 Membaca daftar cuaca
Weather
8 Membaca detail data cuaca satu komoditas 9 Melakukan pencarian cuaca pada komoditas tertentu 10 Melihat daftar konversi beberapa mata uang mayoritas
Currencies
8 Create an MVP Pada tahap ini prototipe medium-fidelity akan dibangun. Wireframe dibuat dengan menggunakan aplikasi Adobe Experience Design dan prototype dengan menggunakan InVision App. Proses pembuatan prototipe dapat dilihat pada Lampiran 1. Acuan desain prototipe antarmuka Oltrade adalah Goole Material Design yang dapat di akses pada link https://material.io/guidelines/ dan Custom Style yang dapat dilihat pada Lampiran 2. Warna putih dengan kode hexa #FFFFFF dipilih sebagai primary color pada prototipe antarmuka Oltrade karena cocok digunakan pada antarmuka yang menginginkan kesan simplicity. Secondary color dan button digunakan warna hijau gelap dengan kode hexa #3603E. Warna ini diambil sebagai secondary color karena merupakan warna dari corporate Olam sehingga tetap memberi kesan bahwa prototipe ini merupakan produk dari Olam. Warna abu-abu dengan kode hexa #EEEEEE digunakan sebagai warna background dan sebagai divider / pembatas dari list yang ada. Pada primary text digunakan warna light black dengan kode hexa #333333 dan warna biru untuk caption text dengan kode hexa # 0C4F9D. Warna pada icon juga mengikuti warna primary text yaitu light black . Color palette prototipe antarmuka Oltrade dapat dilihat pada Lampiran 2. Custom Style yang digunakan pada prototipe antarmuka ini antara lain yaitu, typeface dan icon. Typeface yang digunakan pada prototipe antarmuka Oltrade ini adalah Segoe UI. Segoe UI merupakan sub- family dari typeface Segoe yang banyak digunakan oleh Microsoft. Segoe UI digunakan karena target pengguna memiliki latar belakang terbiasa dengan menggunakan sistem operasi Windows. Keseluruhan typeface Segoe UI dapat dilihat pada Lampiran 2. Beberapa icon yang digunakan juga tidak mengikuti icon dari Google Material Design. Icon-icon yang digunakan juga dapat dilihat pada Lampiran 2. A. Home Terdapat 4 card view pada menu ini. Card tersebut merupakan objek untuk mengakses menu-menu yang ada. Posisi paling atas adalah card untuk menu markets. Menu markets diletakkan pada posisi teratas dan memiliki panjang yang lebih besar daripada menu weather dan menu currencies karena menu markets adalah menu utama yang paling sering dibuka oleh pengguna. Selanjutnya dibawahnya adalah menu news dengan panjang yang sama dengan menu markets . Pada baris ketiga terdapat menu weather dan currencies yang memiliki porsi penggunaan yang lebih rendah daripada menu markets dan menu news. Gambar 3 merupakan tampilan antarmuka halaman home. B. Markets Terdapat daftar data beberapa komoditas yang pengguna dagangkan pada menu ini. Pada setiap daftar terdapat grafik harga komoditas yang berguna untuk melihat tren pergerakan harga, harga terbaru saat ini dan perubahan harga hari ini. Perubahan harga hari ini mempunyai tiga nilai warna, yaitu hijau, merah, dan hitam. Nilai perubahan harga hijau menjadi indikasi bahwa harga hari ini naik dan menjadi sinyal baik untuk melakukan penjualan komoditas. Warna merah menunjukkan bahwa harga hari ini turun dan warna hitam menunjukkan bahwa tidak ada perubahan harga yang terjadi. Fitur pencarian, mengganti tanggal, dan filter
9 terdapat bada top navigation bar . Gambar 4 merupakan tampilan antarmuka halaman markets .
Card view menu markets Card view menu news
Card view menu weather Card view menu currencies
Gambar 3 Tampilan antarmuka halaman home
Grafik harga komoditas untuk melihat tren harga
Button untuk search, memilih tanggal, dan filter
Harga komoditas yang naik memiliki nilai warna hijau
Harga komoditas saat ini
Harga komoditas yang turun memiliki nilai warna merah
Gambar 4 Tampilan antarmuka halaman markets
10 C. News Carousel pada menu news berfungsi sebagai overview berita terbaru saat ini dan diikuti daftar berita dalam bentuk list . Komponen yang terdapat pada list adalah foto berita, judul berita dengan maksimal 2 baris, waktu muncul berita, jenis komoditas, dan sumber berita. Lalu pada detail berita terdapat banner image yang merupakan ilustrasi dari berita terkait dan diikuti oleh konten berita. Gambar 5 merupakan tampilan antarmuka halaman news.
3 Carousel banner sebagai overview berita terbaru
Jenis komoditas
Sumber berita
Waktu update berita
Thumbnail berita
Gambar 5 Tampilan antarmuka halaman news D. Weather Daftar laporan cuaca ditampilkan dalam bentuk list . Komponen yang terdapat pada setiap list adalah jenis cuaca yang terjadi, tingkat keparahan cuaca (severity level), lokasi, overview detail, jenis komoditas, dan waktu update. Tingkat keparahan cuaca dibagi menjadi lima nilai yaitu, low (tidak parah), low moderate (tidak begitu parah), moderate (sedang), high moderate (agak parah), dan high (parah). Gambar 6 merupakan tampilan antarmuka halaman weather . E. Currencies Terdapat 2 sub-menu pada menu ini yaitu, currency calculator dan currency pairs. Currency calculator berfungsi untuk melakukan konversi satu mata uang ke mata uang lainnya dan currency pairs adalah pasangan konversi beberapa mata uang yang umum digunakan di dunia. Gambar 7 merupakan tampilan antarmuka halaman currencies . F. Settings Menu settings merupakan menu tambahan yang memiliki sub-menu preferences sebagai pilihan komoditas yang ingin ditampilkan, edit profile untuk melakukan perubahan profil, change password untuk melakukan perubahan
11 password , dan sign out untuk mengeluarkan akun dari aplikasi. Gambar 8 merupakan tampilan antarmuka halaman settings.
Jenis komoditas
Waktu update
Jenis cuaca
Tingkat keparahan cuaca
Overview detail laporan cuaca
Lokasi
Gambar 6 Tampilan antarmuka halaman weather
Button swap mata uang Field nilai mata uang
Konversi mata uang yang naik memiliki nilai warna hijau
Konversi mata uang yang turun memiliki nilai warna merah
Gambar 7 Tampilan antarmuka halaman currencies
12
Gambar 8 Tampilan antarmuka halaman settings Run an Experiment Pengujian prototipe antarmuka Oltrade ini dilakukan dengan cara demo dan review kepada 3 orang responden yang memiliki pengetahuan dibidang user experience , yang dalam penelitian ini adalah mahasiswa yang telah lulus mata kuliah Interaksi Manusia dan Komputer. Responden pertama (WM) adalah Wildan Muhammad, responden kedua (SR) adalah Shalhan Radifan, dan responden ketiga (ARB) adalah Bayulisar. Hasil evaluasi pengujian parameter usability metric success rate iterasi pertama dapat dilihat pada Tabel 3. Nilai success rate dihitung dengan menggnakan metode binary success. Terdapat 3 nilai kemungkinan pada saat melakukan task, yaitu, Y (berhasil), N (gagal), atau NA (tidak dilakukan). Setelah dilakukan pengujian didapat nilai success rate dari tahapan run an experiment sebesar 83.33%. Pada saat pengujian dilakukan, responden diminta untuk mengekspresikan apapun yang dirasakan ketika menggunakan prototipe. Responden juga diminta untuk memberi saran dan masukan setelah dilakukan pengujian. Tabel 4 merupakan daftar respon negatif responden terhadap prototipe. Respon negatif akan dipertimbangkan untuk diperbaiki pada iterasi kedua. Saran yang diberikan oleh 3 responden, yaitu memperbesar tulisan ‘see all news’ pada halaman home. Hal ini karena tulisan ‘see all news ’ terlalu kecil dan menbuat para responden tidak menyadari kalau ada tulisan tersebut. WM dan SR bingung dengan keyboard text saat mengganti nilai mata uang karena seharusnya yang muncul adalah keyboard angka. SR dan ARB juga memberi saran untuk mengubah lokasi posisi ‘show password ’ dan ‘ forgot password ’ pada halaman login. Selain itu, button swap yang kurang dominan dan kontras membuat ARB bingung saat melakukan swap mata uang.
13 Tabel 3 Hasil pengujian parameter success rate dengan menggunakan metode binary success tahap run an experiment iterasi pertama No 1 2 3 4 5 6 7 8 9 10
Task
Membaca list data komoditas Membaca detail data satu komoditas Mencari harga komoditas tertentu Membaca daftar berita Membaca satu berita Mencari satu berita tertentu Membaca daftar cuaca Membaca detail data cuaca satu komoditas Melakukan pencarian cuaca pada komoditas tertentu Melihat daftar konversi beberapa mata uang mayoritas Total (%)
WM Y Y Y
Hasil SR Y Y Y
ARB Y Y Y
N Y Y Y Y
N Y Y Y N
N Y Y Y N
0 100 100 100 66.6
Y
Y
Y
100
Y
Y
Y
100
90
80
80
83.33
% 100 100 100
Tabel 4 Respon negatif pada tahap run an experiment iterasi pertama No 1 2
Masalah Tulisan ‘see all news’ terlalu kecil Keyboard text seharusnya diganti dengan keyboard angka 3 Terganggu dengan posisi ‘show password ’ 4 Terganggu dengan posisi ‘forgot password ’ 5 Button swap kurang dominan Total
WM
2
SR
ARB
3
3
Total 3 2 1 1 1 8
Feedback and Research Pada tahap ini pengujian diberikan kepada 5 responden yang memiliki pengetahuan tentang trading atau sedang aktif melakukan aktivitas trading yang serupa dalam 5 tahun terakhir. Pengujian dilakukan dengan metode think-aloud . Penguji meminta para responden untuk menggunakan prototipe dan merekam layar, suara, dan wajah responden. Responden diminta untuk mengemukakan apapun yang dirasakan saat menggunakan prototipe dan memberi komentar pada akhir sesi pengujian. Dari 50 sub-task yang diberikan kepada responden, 5 sub-task dinyatakan gagal dan 1 sub-task dinyatakan tidak dilakukan. Kegagalan pengerjaan sub-task murni karena ketidakpahaman responden saat pengujian, sedangkan sub-task yang tidak dikerjakan karena responden tidak sadar dan melewati sub-task tersebut. Subtask yang tidak dikerjakan tidak dihitung dalam perhitungan success rate. Berdasarkan data yang sudah didapat, nilai success rate pengujian iterasi pertama ini adalah sebesar 90%. Hasil evaluasi pengujian parameter usability metric success rate iterasi pertama dapat dilihat pada Tabel 5. Nilai success rate dihitung dengan menggunakan metode binary success. Terdapat 3 nilai kemungkinan pada saat melakukan task , yaitu, Y (berhasil), N (gagal), atau NA (tidak dilakukan).
14 Berdasarkan hasil pengujian prototipe antarmuka Oltrade kepada 5 responden yang memiliki pengetahuan tentang trading komoditas, responden terakhir (NP) memperoleh jumlah masalah yang paling sedikit yaitu hanya 1 masalah, sedangkan responden AP memperoleh jumlah masalah yang paling banyak yaitu 5 masalah. Masalah yang ditemukan dari semua responden adalah gagal melihat daftar berita pada menu home karena tidak menyadari ada tulisan “ see all news”. Kegagalan mengganti nilai USD pada menu currencies juga ditemukan pada responden AC dan PN karena bingung dengan keyboard text yang muncul saat mengganti nilai berupa angka. Responden PN juga tidak menyadari kalau gambar peta bisa di pop-out dan tidak menyadari kalau sidebar berfungsi untuk berpindah dari satu ke menu lain. Kegagalan melakukan swap mata uang pada menu currencies ditemukan pada responden DWS. Hal ini terjadi karena responden tidak terlalu menyadari ada button swap karena warna yang kurang kontras dan penempatan posisi yang terlalu dekat dengan dropdown mata uang. Masalah yang dialami AP adalah terganggu dengan tulisan ‘ forgot password ’ yang berada diatas kanan pada login screen , gagal melakukan search pada halaman markets, melewati task filter komoditas pada halaman markets karena tidak menyadari ada tombol untuk melakukan filter dan gagal ketika melakukan filter pada halaman weather karena bingung dengan kata ‘ select ’. Responden NP hanya gagal melihat daftar berita pada menu home. Tabel 6 merupakan daftar masalah responden pada tahap feedback and research iterasi pertama. Tabel 5 Hasil pegujian parameter success rate dengan menggunakan metode binary success tahap feedback and research iterasi pertama No 1 2 3 4 5 6 7 8 9
10
Task
Membaca list data komoditas Membaca detail data satu komoditas Mencari harga komoditas tertentu Membaca daftar berita Membaca satu berita Mencari satu berita tertentu Membaca daftar cuaca Membaca detail data cuaca satu komoditas Melakukan pencarian cuaca pada komoditas tertentu Melihat daftar konversi beberapa mata uang mayoritas Total (%)
AC Y
PN Y
Hasil DWS Y
Y
Y
Y
Y
Y
100
Y
Y
Y
N/A
Y
100
N Y Y Y Y
N Y Y Y Y
N Y Y Y Y
N Y Y Y Y
N Y Y Y Y
0 100 100 100 100
Y
Y
Y
Y
Y
100
Y
Y
Y
Y
Y
100
90
90
90
90
90
AP Y
NP Y
% 100
90
15 Tabel 6 Daftar masalah responden pada tahap feedback and research iterasi pertama No 1
2
3 4
5
6
7 8
9
Masalah
AC
PN
DWS
AP
NP
Total
Gagal melihat daftar berita pada menu home akan tetapi masuk ke detail berita karena tidak menyadari ada bacaan ' see all news' Gagal mengganti nilai USD pada currency calculator karena bingung dengan keyboard text Tidak menyadari kalo gambar peta bisa di pop-out Tidak menyadari kalau sidebar berfungsi untuk berpindah dari satu menu ke menu lain Gagal melakukan swap mata uang karena tidak begitu menyadari button swap dan terlalu dekat dengan dropdown mata uang Terganggu dengan tulisan 'forgot password ' yang berada diatas kanan pada login screen Gagal melakukan search pada halaman markets Melewati task melakukan filter komoditas tertentu pada halaman markets karena tidak menyadari ada tombol untuk melakukan filter
5
Gagal melakukan filter pada menu weather karena bingung dengan kata 'select '
1
Total
2
1 1
1
1
1 1
2
4
2
5
1
14
Iterasi Kedua
Declare Assumptions Pada iterasi kedua tidak terdapat perubahan pada asumsi, hipotesis, persona, dan task dari iterasi pertama. Perubahan yang terjadi hanya perubahan pada prototipe yang telah dibuat. Create an MVP Pada tahap ini perubahan prototipe dilakukan berdasarkan hasil pengujian kepada para responden pada tahapan run an experiment dan feedback and research iterasi pertama. Pembuatan prototipe masih menggunakan aplikasi Adobe Experience Design untuk wireframe dan InVision App untuk prototyping. Perubahan terdapat pada beberapa menu yaitu, menu login, menu home, dan menu currencies . Perubahan pada menu login adalah mengubah lokasi tulisan “show password ” dan “ forgot password ” (Gambar 9). Kemudian pada menu home adalah memperbesar tulisan “see all news” dan carousel dots (Gambar 10). Terakhir adalah mengganti keyboard text menjadi keyboard angka dan mengubah lokasi
16 serta membuat button swap lebih kontras daripada sebelumnya (Gambar 11). Perubahan tersebut dilakukan setelah melakukan pertimbangan terhadap hasil analisis pengujian pada iterasi pertama. Keseluruhan tampilan antarmuka dapat dilihat pada Lampiran 3.
Gambar 9 Halaman login sebelum dan sesudah perbaikan
Gambar 10 Halaman home sebelum dan sesudah perbaikan
17
Gambar 11 Halaman currencies sebelum dan sesudah perbaikan Run an Experiment Tabel 7 Hasil evaluasi parameter efektivitas tahap run an experiment iterasi kedua No 1 2 3 4 5 6 7 8 9 10
Task Membaca list data komoditas Membaca detail data satu komoditas Mencari harga komoditas tertentu Membaca daftar berita Membaca satu berita Mencari satu berita tertentu Membaca daftar cuaca Membaca detail data cuaca satu komoditas Melakukan pencarian cuaca pada komoditas tertentu Melihat daftar konversi beberapa mata uang mayoritas
WM 1 1 1 1 1 1 1 1 1 1
SR 1 1 1 1 1 1 1 3 1 1
ARB 1 1 1 1 1 1 1 2 1 1
Setelah dilakukan perbaikan prototipe dari iterasi pertama, pengujian dilakukan kepada responden yang sama dengan iterasi pertama. Pada iterasi kedua ini dilakukan perhitungan usability metric parameter efektivitas. Perhitungan parameter efektivitas menggunakan metode levels of success . Metode ini terbagi menjadi 4 tingkatan nilai yaitu, 1 (tidak ada masalah), 2 (terjadi masalah minor), 3 (masalah mayor), dan 4 (gagal/menyerah). Setelah dilakukan analisis task , responden SR mendapat masalah mayor dan bertanya kepada penguji pada sub-task membaca detail data cuaca komoditas. Hal ini terjadi karena responden tidak menyadari kalau pada daftar data cuaca dapat dilihat detailnya. Tidak ditemukan
18 masalah yang berarti pada responden WM dan ARB. Berdasarkan hasil tersebut, dapat dikatakan bahwa task yang telah dibuat efektif. Hasil pengujian parameter efektivitas dapat dilihat pada Tabel 7. Feedback and Research Pengujian dilakukan kepada 5 responden yang sama dengan iterasi pertama. Gambar 12 merupakan proses pengujian prototipe dengan menggunakan metode think -aloud . Parameter yang digunakan pada pengujian ini sama dengan pada tahap run an exeperiment sebelumnya, yaitu parameter efektivitas. Setelah dilakukan pengujian parameter efektivitas, tidak ada masalah mayor yang ditemukan pada semua responden dan tidak ada responden yang menyerah/ gagal dalam mengerjakan task (Tabel 8). Berdasarkan hasil ters ebut dapat dikatakan bahwa task yang telah dibuat efektif. Dokumentasi lingkungan pengujian dapat dilihat pada Lampiran 4.
Gambar 12 Proses pengujian prototipe metode think -aloud Tabel 8 Hasil evaluasi parameter efektivitas tahap feedback and research iterasi kedua No 1 2 3 4 5 6 7 8 9 10
Task Membaca list data komoditas Membaca detail data satu komoditas Mencari harga komoditas tertentu Membaca daftar berita Membaca satu berita Mencari satu berita tertentu Membaca daftar cuaca Membaca detail data cuaca satu komoditas Melakukan pencarian cuaca pada komoditas tertentu Melihat daftar konversi beberapa mata uang mayoritas
AC 1 1 1 2 1 1 1 1 1
PN 1 1 2 1 1 1 1 1 1
DWS 1 1 1 1 1 1 1 1 1
1
1
1
AP 1 2 1 1 1 1 1 1 1 1
NP 1 1 1 1 1 1 1 1 1 1
19
SIMPULAN DAN SARAN Simpulan Prototipe antarmuka Olam International mobile app berhasil dirancang dengan memperhatikan aspek user experience pengguna. Prototipe telah diuji kepada 5 pengguna dan menghasilkan nilai success rate sebesar 90% pada iterasi pertama. Pada iterasi kedua dilakukan pengujian parameter efektivitas menggunakan metode levels of success dengan hasil dinyatakan efektif. Hal ini ditunjukkan dengan tidak ditemukannya masalah mayor dan tidak ada responden yang menyerah/ gagal pada saat pengujian prototipe antarmuka.
Saran
Diharapkan penelitian ini dikembangkan ke tingkat high- fidelity sehingga dapat segera dikembangkan oleh front -end developer dan dimanfaatkan segera oleh para trader . Diharapkan juga pengujian dilakukan langsung kepada end user .
DAFTAR PUSTAKA Andrasec D, Bloice M, Lexer G, Zernig J. 2011. A-B Testing Literature Review . Information Architecture and Web Usability. Garrett JJ. 2011. The Elements of User Experience: User-Centered Design for the Web and Beyond . Ed ke-2. Berkeley (US): New Riders. Gothelf J. 2013. Applying Lean Principles to Improve User Experience . California (US): O’Reilly Media. Gupta S. 2015. A Comparative study of Usability Evaluation Methods. IJCTT . 22(3):103-106. Investopedia. 2017. Online trading [Internet]. [diakses 2017 Agustus 12]. Tersedia pada: http://www.investopedia.com/terms/o/onlinetrading.asp/ Nielsen J. 2012. Thinking Aloud: The #1 Usability Tool [Internet]. [ diunduh 2017 Agustus 8]. Tersedia pada: https://www.nngroup.com/articles/thinking-aloudthe-1-usability-tool/. Olam. 2017. In a nutshell [Internet]. [diakses 2017 Juli 29]. Tersedia pada: http://olamgroup.com/about-us/in-a-nutshell/ Statista. 2017. Number of smartphone users worldwide from 2014 to 2020 (in billions) [Internet]. [diakses 2017 Agustus 10]. Tersedia pada: https://www.statista.com/statistics/330695/number-of-smartphone-usersworldwide/ Winter J. 2015. What is user experience? [Internet]. [diakses 2017 Agustus 12]. Tersedia pada: https://www.usertesting.com/blog/2015/08/13/what-is-userexperience/
20 Lampiran 1 Proses wireframe menggunakan Adobe Experience Design dan prototype dengan menggunakan InVision App
21 Lampiran 1 Lanjutan
22 Lampiran 1 Lanjutan
23 Lampiran 2 Custom Style Guidelines prototipe antarmuka Oltrade A. Typeface Typeface yang digunakan pada aplikasi ini adalah Segoe UI oleh Microsoft.
Segoe UI Light
abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ 1234567890?!#$%&* Segoe UI Regular
abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ 1234567890?!#$%&* Segoe UI Semibold
abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ 1234567890?!#$%&* Segoe UI Bold
abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ 1234567890?!#$%&*
24 Lampiran 2 Lanjutan B. Textstyle Size (pt) 20
Weight Semibold
Subheader Body 1 Body 2/Menu
20 16 18
Medium Regular Semibold
Body 3/Placeholder Caption Button
14
Regular
12 16
Regular Regular
Name Title
C. Color Palette
Use case Title pada top navigation bar dan nama pada navigation drawer Judul utama aplikasi Paragraf Navigation drawer menu, list pada menu settings , dan sub-title tiap list Placeholder pada field tiap form.
Waktu dan sumber informasi Tombol ‘select ’ pada saat melakukan filter
25 Lampiran 2 Lanjutan D. Icon
E. Button Height : 48pt
Width: 375pt
26 Lampiran 3 Antarmuka prototipe Oltrade
Prototipe aplikasi dapat https://invis.io/R4D4ZCFSC A. Menu Login & Home
dilihat
pada
tautan: bit.ly/Skrips-V2
atau
27
Lampiran 3 Lanjutan B. Menu Markets
28 Lampiran 3 Lanjutan
C. Menu News
29 Lampiran 3 Lanjutan D. Menu Weather
30 Lampiran 3 Lanjutan E. Menu Currencies
F. Menu Settings
31 Lampiran 3 Lanjutan G. Navigation Drawer
32 Lampiran 4 Dokumentasi feedback and research
Pengujian prototipe antarmuka tahapan feedback and research kepada responden PN
Pengujian prototipe antarmuka tahapan feedback and research kepada responden AP
Pengujian prototipe antarmuka tahapan feedback and research kepada responden AC
