Support Vector Machines
Pendahuluan
Support Vector Machines (SVM) adalah sistem pembelajar yang menggunakan sebuah ruang hipotesis fungsi linier dalam ruang fitur berdimensi tinggi, dilatih dengan menggunakan sebuah algoritma pembelajar dari teori optimasi yang mengimplementasikan sebuah bias pembelajar yang diturunkan dari teori pembelajar statistika. Strategi pembelajar yang diperkenalkan oleh Vapnik dan timnya merupakan sebuah metode yang powerful dalam beberapa tahun sejak diperkenalkan dan telah melebihi sistem yang lain dalam berbagai aplikasi. Decision Support System System (DSS) merupakan sebuah sistem yang bertujuan untuk mendukung pembuat keputusan manajerial dalam keputusan semistruktur dan tidak terstruktur. Model DSS merupakan acuan dan salah satu kunci utama dari sebuah DSS yang menjelaskan bagaimana sistem bekerja membantu dalam pengambilan keputusan. Sejarah dan Perkembangan Support Vector Machines
Algoritma support vector machinesmerupakan machinesmerupakan sebuah generaliasasi nonlinier dari algoritma Generalized Potrait yang berkembang di Rusia pada tahun 1960-an (1963, 1964). Algoritma tersebut berakar dari teori pembelajar statistika yang telah dikembangkan selama 3 dekade oleh Vapnik dan Chervonenkis. SVM diperkenalkan oleh Vapnik, Boser, dan Guyer dalam konferensi COLT tahun 1992 dalam sebuah jurnal dan berkembang dengan sangat cepat. Pada awalnya dipopulerkan oleh komunitas Neural Information Processing Systems Systems (NIPS). Sejak saat itu, SVM menjadi bidang penting dan aktif dalam penelitian machine learning. website SVM tersentralisasi di www.kernel-machines.org. Sekarang, banyak beragam komunitas yang membahas mengenai machine learning , optimization, optimization, statistics, statistics, neural networks, networks, functional analyisis, analyisis, dan lain-lain. SVM sukses diaplikasikan dalam berbagai bidang seperti bioinformatika, pengenalan tulisan tangan dan bidang lainya. Walau saat pertama kali diperkenalkan ke dunia sejak akhir tahun 1970-an (Vapnik, 1979), support vector machines tidak mendapat banyak perhatian oleh para peneliti. Hanya setelah Vladimir Vapnik kembali menerbitkan bukunya pada tahun 1990-an (Vapnik, 1995; Vapnik, 1998) dan dapat menunjukkan aplikasi nyata, support vector machines kemudian berkembang pesat. Salah satu yang menjadi penyebab adalah tersimpan teori matematika yang mendalam di balik support vector machines di banding kedua kerabatnya di bidang soft computing , yaitu neural network dan fuzzy dan fuzzy logic. logic. Jenis-jenis Support Vector Machines
Karena konsep awal support awal support vector machineshanya machineshanya untuk mengatasi masalah klasifikasi dua klas maka SVM tidak dapat diterapkan untuk masalah multiclass multiclass sehingga dikembangkan metode-metode pengambilan keputusan untuk mengatasi masalah ini. Metode-metode tersebut antara lain metode one-against-all , metode one- against-one ( pairwise), pairwise), metode decision directed acyclic graph, graph, dan sebagainya. Perkembangan SVM pun dinilai sangat cepat, hal ini
ditandai dengan banyaknya variasi-variasi SVM yang telah berhasil dikembangkan oleh para peneliti. Shigeo Abe (2010) mencatat sedikitnya terdapat lima jenis SVM antara lain : 1. 2. 3. 4. 5.
Least- Squares Support Vector Machines (LSVM) Linear Programming Support Vector Machines (LPSVM) Sparse Support Vector Machines (SSVM) Robust Support Vector Machines (RSVM) Bayesian Support Vector Machines (BSVM)
Masih banyak lagi variasi SVM yang telah dikembangkan, namun jelas bahwa masingmasing variasi SVM tersebut memiliki kelemahan dan keung gulan tersendiri. Kernel Support Vector Machines
Pada machine learning, kernel adalah sebuah kelas algoritma untuk menganalisa pola. Tugas utama kernel adalah untuk menemukan dan mempelajari tipe-tipe hubungan pada dataset seperti pengelompokan, klasifikasi, pengurutan, dan korelasi. Umumnya, kernel menggunakan data yang telah direpresentasikan dalam vector. Konsep dasar SVM sebenarnya merupakan kombinasi harmonis dari teori-teori komputasi yang telah ada puluhan tahun sebelumnya, kernel diperkenalkan oleh Aronszajn tahun 1950, dan demikian juga dengan konsep-konsep pendukung yang lainnya. Akan tetapi hingga tahun 1992, belum pernah ada upaya merangkaikan komponen-komponen tersebut. Penerapan metode kernel ada bermacam-macam antara lain pada geostatistika, rekonstruksi 3D, bioinformatika, kemoinformatika, ekstraksi informasi, dan pengenalan tulisan tangan. Penerapan Support Vector Machines
Banyak sekali contoh penerapan SVM untuk DSS di berbagai bidang diantaranya adalah sebagai berikut : 1. Bidang Kedokteran SVM digunakan untuk mengklasifikasikan berbagai macam penyakit jantung, identifikasi kebenaran intubasi pada trakea. 2. Bidang Transportasi SVM digunakan untuk klasifikasi pendaratan darurat pesawat terbang sipil. 3. Bidang Industri SVM digunakan untuk meramalkan kebutuhan (demand forecasting ), penaksiran properti, prediksi kebangkrutan. 4. Bidang Ekonomi SVM digunakan untuk memprediksi harga saham. 5. Bidang Forensik SVM digunakan untuk mengenali tulisan tangan, sidik jari.
Karakteristik Support Vector Machines
Karakteristik SVM adalah sebagai berikut: 1. SVM merupakan pengklasifikasi linier. 2. Pattern recognition dilakukan dengan mentransformasikan data pada input space ke ruang yang berdimensi lebih tinggi, dan optimisasi dilakukan pada ruang vector yang baru tersebut. Hal ini membedakan SVM dari solusi pattern recognition pada umumnya, yang melakukan optimisasi parameter pada ruang hasil transformasi yang berdimensi lebih rendah daripada dimensi input space. 3. SVM Menerapkan strategi Structural Risk Minimization (SRM), yaitu strategi untuk mengurangi eror yang dipengaruhi oleh dimensi. 4. SVM pada dasarnya hanya mampu menangani klasifikasi dua class.
Persyaratan Data Support Vector Machines
Syarat data Support Vector Machines : 1. SVM dapat menangani data yang terdiri dari dua kelas atau lebih, namun SVM lebih cocok untuk menangani data yang terdiri dari dua kelas. Untuk data berkelas lebih dari dua, SVM perlu dimodifikasi terlebih dahulu. 2. SVM dapat memakai sedikit data training, tidak seperti NN yang memerlukan data training yang besar. 3. SVM dapat bekerja dengan baik walaupun data berdimensi tinggi. 4. SVM dapat menangani data non-linear, meski sebenarnya SVM adalah linear clasifier . Ruang Lingkup Support Vector Machines Adapun beberapa Ruang Lingkup permasalahan yang dapat diselesaikan menggunakan Support Vector Machines diantaranya : 1. Pengolahan Citra Klasifikasi Citra Dengan Support Vector Machine Support Vector Machine (SVM) adalah salah satu teknik klasifikasi data dengan proses pelatihan supervised learning). Salah satu ciri dari metode klasifikasi SVM adalah menemukan hyperplane terbaik sehingga diperoleh ukuran margin yang maksimal. Margin adalah jarak antara hyperplane tersebut dengan titik terdekat dari masing-masing kelas. Titik yang paling dekat ini disebut dengan support vector. Klasifikasi citra dengan menggunakan SVM mencapai akurasi sebesar 86.67%. Hasil klasifikasi tersebut selanjutnya digunakan untuk penemuan kembali citra (image retrieval). Pada penelitian ini, temu kembali citra diujicobakan kedua metode yang berbeda untuk melihat perbedaan tingkat keefektifan hasil temu kembali citra. Dua metode ini adalah temu kembali citra tanpa menggunakan SVM dan temu kembali citra menggunakan SVM. Hasil temu kembali citra tanpa menggunakan SVM hanyadidasarkan pada kemiripan ciri warna menggunakan perhitungan jarak Euclidean. Contoh hasil temu kembali tanpa
menggunakan SVM dapat dilihat pada Gambar dibawah ini.
Gambar diatas memperlihatkaan bahwa citra hasil temu kembali tidak sepenuhnya berasal dari jenis citra yang sama dengan citra kueri. Citra-citra tersebut cenderung berwarna biru, berbeda sekali dengan warna citra kueri yang cenderung berwarna hijau kekuningan. Hal ini dikarenakan sistem hanya menemukembalikan citra di dalam basis data yang mempunyai tingkat kemiripan yang tinggi dengan citra kueri. Kekurangan sistem ini diperbaiki oleh temu kembali citra menggunakan SVM yang dapat dilihat pada Gambar diatas . Berdasarkan Gambar diatas, dapat dilihat bahwa citra hasil temu kembali dengan menggunakan SVM lebih baik Hal ini dikarenakan sistem mempunyai model klasifikasi untuk memprediksi baik citra kueri maupun seluruh citra di dalam basis data sehingga diperoleh kelas yang baru untuk setiap citra. Citra yang ditemukembalikan adalah citra hasil klasifikasi di dalam basis data yang terdapat dalam kelas citra yang sama dengan citra kueri dan citra dari kelas lain yang memiliki tingkat kemiripan yang tinggi dengan citra kueri. Dari hasil diatas dapatdisimpulkan bahwa rataan precision hasil temu kembali citra menggunakan SVM cenderung lebih baik dibandingkan tanpa menggunakan SVM untuk setiap nilai recall. Klasifikasi dengan SVM menghasilkan average precision sebesar 76,76% sedangkan tanpa menggunakan SVM mencapai 50,91%. Dengan demikian metode klasifikasi SVM dapat digunakan untuk sistem temu kem bali citra Pengolahan Audio Konten Berbasis Audio Klasifikasi dan pembukaan Menggunakan SVM Belajar Metode SVM digunakan untuk konten berbasis audio klasifikasi dan pengambilan. Seperti NFL, SVM yang memiliki kinerja yang baik dalam klasifikasi audio dan pengambilan, lebih baik daripada saat ini dicapai oleh sistem MuscleFish. SVM Ketika diuji menggunakan pelatihan terpisah dan set test, lebih menguntungkan dibandingkan NFL dalam hal pengambilan efisiensimenunjukkan perusahaan kata generalisasi kemampuan untuk diklasifikasikan. Sify pola tak 2.
terlihat pada training set. Namun, SVM membutuhkan waktu lama untuk melatih, dan saat ini, dan kebutuhan untuk memilih kernel fungsi dan parameter di dalamnya yang saat ini dipraktekkan oleh trial and error
3. Data Mining
Aplikasi Data Mining Untuk Memprediksi Kelas Resiko Pemberian Kredit Menggunakan Support Vector Machine (Svm) Didalam kegiatan perkreditan sering terjadi masalah kredit macet atau kredit bermasalah yang disebabkan oleh gagalnya pengembalian sebagian pinjaman yang diberikan kepada para peminjam. Masalah ini sebenarnya dapat diatasi, salah satunya dengan mengidentifikasi dan memprediksi nasabah dengan baik sebelum memberikan pinjaman dengan cara memperhatikan data historis pinjaman. SVM adalah suatu teknik dalam Data Mining yang dapat dipakai untuk melakukan klasifikasi. Dalam teknik SVM untuk masalah klasifikasi k-kelas , kita menemukan k fungsi pemisah . Kemudian kelas dari suatu data atau obyek baru kkbZwbZwbZw+++.,..., 1. 1 , 2 . 2 Z ditentukan berdasarkan nilai terbesar dari fungsi pemisah: =jclass of Z=. mmkmb+ w Z = argmax . 1,2,..., Hasil yang diperoleh dari Tugas Akhir ini adalah metode SVM dapat digunakan untuk memprediksi calon nasabah baru dengan melakukan pengenalan pola data historis. 4. Klasifikasi Dokumen Web
Penerapan Support Vector Machine untuk Ekstraksi Informasi dari Dokumen Teks Proses ekstraksi informasi (Information Extraction atau IE) adalah proses pengubahan dokumen teks tidak terstruktur dengan domain tertentu ke dalam sebuah struktur informasi yang relevan. Di dalam tugas akhir ini domain yang digunakan adalah lowongan pekerjaan. Kebanyakan iklan lowongan pekerjaan yang terdapat di berbagai website perusahaan maupun website khusus lowongan pekerjaan di Indonesia merupakan dokumen teks berbahasa campuran, Indonesia dan Inggris. Pada proses ekstraksi informasi pada dataset berbahasa campuran, dengan menerapkan teknik pembelajaran mesin. Pendekatan pembelajaran mesin yang digunakan adalah pendekatan statistik, dengan metode klasifikasi token. Algoritma klasifikasi yang digunakan
adalah Support Vector Machine (SVM) dengan uneven margin, yang didesain khusus untuk imbalanced dataset. Sedangkan strategi tagging yang digunakan adalah strategi Begin/End (BE) tagging. Adapun eksperimen yang dilakukan mencakup analisis performansi SVM dengan uneven margin untuk ekstraksi informasi pada dataset berbahasa campuran, pengujian parameter pembelajaran terbaik, dan perbandingan dengan algoritma klasifikasi lain, yaitu Naïve Bayes dan KNN. 5. Peramalan (Forecasting)
Implementasi Kernel Wavelet Dan Support Vector Machine Untuk Prediksi Volatilitas Salah satu permasalahan dalam hal prediksi kondisi volatilitas Dari pasar modal adalah dalam
fungsi-fungsi kernel yang ada dalam metode Support Vector Machine (SVM) tidak bisa menangkap fiturfitur dari pengelompokan volatilitas secara akurat. Dan sementara itu, dalam fungsi wavelet terdapat fitur yang mendeskripsikan time series dari volatilitas. Metode Support Vector Regression (SVR) yang hampir sama dengan SVM digunakan untuk memprediksi volalitas. Perbedaanya adalah SVM biasanya digunakan untuk masalah klasifikasi dan pada SVR digunakan untuk masalah regresi dan kernel yang digunakan adalah kernel wavelet. Pada pengimplementasian prediksi volatilitas dengan menggunakan SVR kernel wavelet, akan digunakan juga kernel lain sebagai pembanding yaitu kernel gaussian. Pengaplikasian untuk masalah prediksi volatilitas dilakukan melalui simulasi komputer dan percobaan dalam data di dunia nyata (data time series). Analisis Artikel Support Vector Machine
A Novel SVM Decision Tree and its application to Face Detection
Masalah atau isu Dalam hal pendeteksian wajah, telah banyak dilakukan oleh sebagian orang akan tetapi masalah kecepatan tanpa kehilangan akurasi masih menjadi topic menarik untuk dibahas. Untuk mempercepat klasifikasi vektor, diperkenalkan metode baru dari pengembangan SVM yang diberi nama SVM Decision Tree.
Data yang digunakan Penelitian dengan menggunakan metode pengembangan SVM telah banyak dilakukan oleh sebagian orang salah satu nya pada bidang deteksi wajah yang dilakukan oleh SUN Jian-qing, WANG Gong-gui, HU Qiong, dan LI Shou-yi dalam jurnalnya yaitu A Novel SVM Decision Tree and it Application to Face Detection. Ukuran deteksi wajah ialah 19x19, ketika berhadapan dengan ukuran yang lebih besar, gambar input perlu dideteksi berulang kali untuk mengurangi ukuran(sub-sampling), SVM mereka terapkan untuk ukuran tersebut. Data untuk pelatihan menggunakan database wajah frontal MIT-CBCL, terdiri dari 2429 citra grayscale berukuran 19 × 19 piksel, dan 4548 citra non-grayscale berukuran 19 × 19, mereka juga memakai database wajah AT & T yang berisi 400 citra , semua citra yang dipotong dengan ukuran 57 × 57, dan diubah ukurannya menjadi 19 × 19, dan 100 citra yang diperoleh dari Internet. Jadi, total semua citra yang digunakan berjumlah 5858.
Akurasi Dalam penelitian yang dilakukan SUN Jian-qing dkk, mereka menerapkan SVM Decision Tree, dimana node ada keputusan hyperplane, keputusan hyperplane akhir ialah non
linier, dan yang lainnya adalah linier. Sebagian sampel keputusan negatif ditolak oleh hyperplane akhir. Dan hanya memerlukan sedikit pengklasifikasian oleh keputusan non liniear hyperlane. Dalam SVM Decision Tree dikenalkan EM-PCA. W didapatkan dari pelatihan liner SVM, lalu dikali dengan vektor eigen. Hasilnya disimpan dan digunakan untuk klasifikasi. Untuk lebih jelas nya kita lihat tabel perbandingan antra SVM standar dengan SVM Decision Tree.
Terlihat dalam tabel, dari 163 wajah yang dideteksi, SVM Decision Tree memiliki speed up factor lebih tinggi yaitu 9.78 tanpa mengurangi rasio deteksi dan kesalahan deteksi, jadi dapat dikatan SVM Decision tree dapat menekan waktu dalam proses klasifikasi wajah.
Kesimpulan
Makalah ini memperkenalkan Support Vector Machine sebagai salah satu metode yang mendapat banyak perhatian oleh peneliti. Kelebihan SVM adalah kemampuannya untuk menemukan hyperplane terbaik menggunakan strategi Structural Risk Minimization (SRM). Kemudian pada bagian makalah ini juga membahas artikel pengenalan wajah menggunakan SVM Decision Tree yang terbukti berdasarkan eksperimen lebih cepat dalam proses klasifikasi wajah dibandingkan menggunakan SVM biasa.
Referensi
Abe, S. (2010). Support Vector Machines for Pattern Classification. Cristianini, Nello dan Shawe-Taylor, John. 2000. An Introduction to Support Vector Machines and Other Kernel-Based Learning Methods. Cambridge:Cambridge University Press. Nugroho, A. W. (2003). Application of Support Vector Machine in Bioinformatics. Proceeding of Indonesian Scientific Meeting in Central . Nugroho, A. W. (2003). Support Vector Machines - Teori dan Aplikasinya. Ilmukomputer.org . Turban, Efraim. Et al. 2011. Decision Support and Business Intelligence System : Ninth Edition. New Jersey: Pearson Education, inc. Kernel method - http://en.wikipedia.org/wiki/Kernel_method diakses pada 25 Oktober 2014.
TUGAS PENGENALAN POLA SUPPORT VECTOR MACHINE (SVM)
Nama Kelompok : 1.Ade Kurniawan 2.Alkahfi Balkoini Pamungkas 3.Arief Rahmansyah 4.Arif Kurniawan
FAKULTAS ILMU KOMPUTER UNIVERSITAS SRIWIJAYA
