Apa itu Jaringan Syaraf Tiruan(JST)? Jaringan saraf tiruan (JST) atau neural network neural network adalah suatu metode komputasi yang meniru sistem jaringan saraf biologis. Metode ini menggunakan elemen perhitungan non-linier dasar yang disebut neuron yang diorganisasikan sebagai jaringan yang saling berhubungan, sehingga mirip dengan jaringan saraf manusia. Jaringan saraf tiruan dibentuk untuk memecahkan suatu masalah tertentu seperti pengenalan pola atau a tau klasifikasi karena proses pembelajaran. Layaknya neuron biologi, JST juga merupakan sistem yang bersifat fault tolerant dalam tolerant dalam 2 input yang agak berbeda dari yang pernah diterima hal. Pertama, dapat mengenali sinyal input yang sebelumnya. Sebagai contoh, manusia sering sering dapat mengenali seseorang seseorang yang wajahnya pernah dilihat dari foto atau dapat mengenali sesorang yang wajahnya agak berbeda karena sudah lama neuron-nya tidak mampu tidak menjumpainya. Kedua, tetap mampu bekerja meskipun beberapa neuron-nya bekerja dengan baik. Jika sebuah neuron rusak, neuron lain dapat dilatih untuk menggantikan fungsi neuron yang rusak tersebut. Jaringan saraf tiruan, seperti manusia, belajar dari suatu contoh karena mempunyai karakteristik yang adaptif, yaitu dapat belajar dari data-data sebelumnya dan mengenal pola data yang selalu berubah. Selain itu, JST merupakan sistem yang tak terprogram, artinya semua keluaran atau kesimpulan yang ditarik oleh jaringan didasarkan pada pengalamannya selama mengikuti proses pembelajaran/pelatihan. Hal yang ingin dicapai dengan melatih JST adalah untuk mencapai keseimbangan antara kemampuan memorisasi dan generalisasi. Yang dimaksud kemampuan memorisasi adalah kemampuan JST untuk mengambil kembali secara sempurna sebuah pola yang telah dipelajari. Kemampuan generalisasi adalah kemampuan JST JST untuk menghasilkan respons respons yang bisa diterima terhadap pola-pola input yang input yang serupa (namun tidak identik) dengan pola-pola yang sebelumnya telah dipelajari. Hal ini sangat bermanfaat bila pada suatu saat ke dalam JST itu dimasukkan informasi baru yang belum pernah dipelajari, maka JST itu masih akan tetap dapat d apat memberikan tanggapan yang baik, memberikan keluaran yang paling mendekati (Puspitaningrum, 2006). Jaringan saraf tiruan berkembang secara pesat pada beberapa tahun terakhir. Jaringan saraf tiruan telah dikembangkan sebelum adanya suatu komputer konvensional yang canggih dan terus berkembang walaupun pernah mengalami masa vakum selama beberapa tahun. JST menyerupai otak manusia dalam dua hal, ha l, yaitu: • •
Pengetahuan diperoleh jaringan melalui proses belajar Kekuatan hubungan antar sel syaraf (neuron (neuron)) yang dikenal sebagai bobot-bobot sinaptik digunakan untuk menyimpan pengetahuan.
Menurut (Siang, 2004) JST ditentukan oleh 3 hal: • •
Pola Hubungan Antar Neuron Metode untuk menentukan bobot penghubung neuron
Page | 1
•
Fungsi Aktivasi
Apa yang bisa dan tidak bisa dilakukan oleh JST? Pada prinsipnya, JST mampu melakukan komputasi dengan semua fungsi komputasi, sebagai contoh: JST mampu melakukan semua yang bisa dilakukan oleh komputer. JST mampu melakukan pembelajaran terbimbing( supervised ) maupun tak terbimbing(unsupervised learning ), namun pada praktiknya lebih banyak digunakan untuk supervised learning. Untuk supervised learning diperlukan data training yang meliputi nilai input dan nilai target. Setelah training berhasil, bisa dimasukkan input data tanpa nilai target dan JST akan menghitung nilai output yang mendekati nilai target. Untuk mencapai keberhasilan proses training diperlukan data training dan waktu yang cukup banyak pada saat melakukan training. Penerapan JST yang telah digunakan dalam dunia nyata adalah sebagai berikut: • •
•
•
• • • •
Pengenalan karakter Diagnosa mesin -> mendeteksi ketika mesin mengalami kesalahan, sehingga sistem dapat secara otomatis mematikan mesin. Manajemen portofolio -> mengalokasikan aset dalam portofolio dengan tujuan untuk memaksimalkan hasil dan meminimalisir resiko Target recognition -> aplikasi militer yang menggunakan video atau data citra inframerah untuk menentukan letak target Financial forecasting Perkiraan fungsi Klasifikasi Kompresi data
Apa itu perceptron? Perceptron merupakan feedforward neural network yang paling sederhana. Secara definisi perceptron adalah penggolongan biner yang memetakan input X kedalam fungsi f(x). Output yang dihasilkan pada perceptron dengan lebih dari satu layer jaringan syaraf akan menjadi input pada perceptron selanjutnya.
Page | 2
Apa saja jenis JST yang ada? 1. Supervised 1. Feedforward Linear Hebbian – Hebb (1949), Fausett (1994) Perceptron – Rosenblatt (1958), Minsky and Papert (1969/1988), Fausett (1994) Adaline – Widrow and Hoff (1960), Fausett (1994) Higher Order – Bishop (1995) Functional Link – Pao (1989) MLP: Multilayer perceptron – Bishop (1995), Reed and Marks (1999), Fausett (1994) Backprop – Rumelhart, Hinton, and Williams (1986) Cascade Correlation – Fahlman and Lebiere (1990), Fausett (1994) Quickprop – Fahlman (1989) RPROP – Riedmiller and Braun (1993) RBF networks – Bishop (1995), Moody and Darken (1989), Orr (1996) OLS: Orthogonal Least Squares – Chen, Cowan and Grant (1991) CMAC: Cerebellar Model Articulation Controller – Albus (1975), Brown and Harris (1994) Classification only LVQ: Learning Vector Quantization – Kohonen (1988), Fausett (1994) PNN: Probabilistic Neural Network – Specht (1990), Masters (1993), Hand (1982), Fausett (1994) Regression only GNN: General Regression Neural Network – Specht (1991), Nadaraya (1964), Watson (1964) 2. Feedback – Hertz, Krogh, and Palmer (1991), Medsker and Jain (2000) BAM: Bidirectional Associative Memory – Kosko (1992), Fausett (1994) Boltzman Machine – Ackley et al. (1985), Fausett (1994) Recurrent time series Backpropagation through time – Werbos (1990) Elman – Elman (1990) FIR: Finite Impulse Response – Wan (1990) Jordan – Jordan (1986) Real-time recurrent network – Williams and Zipser (1989) Recurrent backpropagation – Pineda (1989), Fausett (1994) TDNN: Time Delay NN – Lang, Waibel and Hinton (1990) 3. Competitive ARTMAP – Carpenter, Grossberg and Reynolds (1991) Fuzzy ARTMAP – Carpenter, Grossberg, Markuzon, Reynolds and Rosen (1992), Kasuba (1993) Gaussian ARTMAP – Williamson (1995) Counterpropagation – Hecht-Nielsen (1987; 1988; 1 990), Fausett (1994)
Page | 3
Neocognitron – Fukushima, Miyake, and Ito (1983), Fukushima, (1988), Fausett (1994) 2. Unsupervised – Hertz, Krogh, and Palmer (1991) 1. Competitive Vector Quantization Grossberg – Grossberg (1976) Kohonen – Kohonen (1984) Conscience – Desieno (1988) Self-Organizing Map Kohonen – Kohonen (1995), Fausett (1994) GTM: – Bishop, Svensén and Williams (1997) Local Linear – Mulier and Cherkassky (1995) Adaptive resonance theory ART 1 – Carpenter and Grossberg (1987a), Moore (1988), Fausett (1994) ART 2 – Carpenter and Grossberg (1987b), Fausett (1994) ART 2-A – Carpenter, Grossberg and Rosen (1991a) ART 3 – Carpenter and Grossberg (1990) Fuzzy ART – Carpenter, Grossberg and Rosen (1991b) DCL: Differential Competitive Learning – Kosko (1992) 2. Dimension Reduction – Diamantaras and Kung (1996) Hebbian – Hebb (1949), Fausett (1994) Oja – Oja (1989) Sanger – Sanger (1989) Differential Hebbian – Kosko (1992) 3. Autoassociation Linear autoassociator – Anderson et al. (1977), Fausett (1994) BSB: Brain State in a Box – Anderson et al. (1977), Fausett (1994) Hopfield – Hopfield (1982), Fausett (1994) 3. Nonlearning 1. Hopfield – Hertz, Krogh, and Palmer (1991) 2. various networks for optimization – Cichocki and Unbehauen (1993)
Referensi:
Puspitanigrum, D. (2006). Pengantar Jaringan Saraf Tiruan. Yogyakarta: Penerbit Andi. Sarle, W.S., ed. (1997), Neural Network FAQ, part 1 of 7: Introduction, periodic posting to the Usenet newsgroup comp.ai.neural-nets, URL: ftp://ftp.sas.com/pub/neural/FAQ.html Siang, J. J. (2004). Jaringan Saraf Tiruan & Pemrogramannya Menggunakan Matlab. Yogyakarta: Penerbit Andi. Recurrent network : Sinyal mengalir dua arah : maju dan mundur. Recurrent network memiliki memori dinamik : luaran-luaran yang berasal dari masukan, sama Page | 4
baiknya seperti masukan dan luaran sebelumnya. Contoh : Hopfield network [Hopfield, 1982], Elman network [Elman, 1990], dan Jordan network [Jordan, 1986]. JST (Jaringan saraf tiruan) • •
• •
•
JST dapat belajar dari pengalaman Biasanya berhubungan dengan angka (numerik) sehingga data yang tidak numerik harus dibuat ke numerik Tidak ada rumus yang tetap (fixed) sehingga disebut dengan free-estimator JST disebut black box atau tidak transparan karena tidak mampu menjelaskan bagaimana suatu hasil didapatkan JST mampu menyelesaikan permasalahan permasalahan yang tidak terstruktur dan sulit didefinisikan
Kelebihan JST • • •
• •
Mampu mengakuisisi pengetahuan walau tidak ada kepastian Mampu melakukan generalisasi dan ekstraksi dari suatu pola data tertentu JST dapat menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan melalui pengaturan diri atau kemampuan elajar (self organizing) Memiliki fault folerance, gangguan dapat dianggap sebagai noise saja Kemampuan perhitungan secara paralel sehingga proses lebih singkat
JST Mampu : • •
• •
Klasifikasi memilih suatu input data ke dalam kategori tertentu yang sudah ditetapkan Asosiasi menggambarkan suatu objek secara keseluruhan hanya dengan bagian dari objek lain Self organizing : kemampuan mengubah data data input tanpa harus mempunya target Otimasi menemukan suatu jawaban terbaik sehingga mampu meminimalisasi fungsi biaya
Kelemahan JST : Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi Kurang mampu melakukan operasi algoritma aritmatik, operasi logika dan simbolis Lamanya proses training yang mungkin terjadi dalam w aktu yang sangat lama untuk jumlah data yang besar 1. JST-1 : a. Sebuah jaringan syaraf tiruan (JST) dirancang untuk dapat melakukan tugas memilih suatu input data ke dalam katagori tertentu yang sudah ditetapkan. JST seperti ini memliki kemampuan klasifikasi. Contoh : Learning Vector Quantization (LVQ) adalah suatu metoda klasifikasi pola yang masing-masing unit keluaran mewakili kategori atau kelas tertentu (beberapa unit keluaran seharusnya digunakan untuk masing-masing kelas). • • •
Page | 5
Sebuah jaringan syaraf tiruan (JST) dirancang untuk dapat melakukan tugas menggambarkan suatu obyek secara keseluruhan berdasarkan potongan informasi tentang obyek tersebut. JST seperti ini memliki kemampuan asosiasi. Contoh : JST untuk dapat mengenali wajah dari sebagian potongan wajah, dapat mengenali lagu dari dua atau tiga not. Menggunakan Back propagation Sebuah jaringan syaraf tiruan (JST) dirancang untuk dapat melakukan tugas menemukan jawaban terbaik sehingga mampu meminimalkan biaya tertentu. JST seperti ini memliki kemampuan optimasi. Contoh : ADALINE, Hopfield, Boltzman, Backpropagation Sebuah jaringan syaraf tiruan (JST) dirancang untuk dapat melakukan tugas mengolah data tanpa dibekali target tertentu. JST seperti ini memliki kemampuan self organizing. Contoh : Kohonen Self Organizing Maps (KSOM) digunakan untuk memodelkan sistem penyaringan yang dikembangkan. b. Arsitektur dan Metoda masing-masing : Klasifikasi :
Dimana : X = Vektor Masukan (x1…, xi…, xn) F = Lapisan kompetitif Y_in = Masukan kelapisan kompetitif Y = Keluaran ( Output ) W = Vektor bobot untuk unit keluaran x w = Selisih nilai jarak Euclidean antara vektor input dengan vektor bobot untuk unit Output [3] Arsitektur jaringan LVQ (Learning Vector Quantization) yang terdiri dari 6 node lapisan masukan (Input layer), 2 node lapisan tersembunyi (Hidden layer) serta 2 node lapisan keluaran (Output layer). Lapisan input memiliki 6 node yang disimbolkan dengan nilai x1, x2, x3, x4, x5, dan x6. Pada tiap lapis masukan terlebih dahulu diberikan dua nilai bobot yang berbeda yaitu w1 dan w2. Dimana tujuan dari pemberian bobot tersebut adalah agar nilai tiap masukan memiliki penimbang (bobot) yang kemudian akan dihitung nilainya Page | 6
dan diselesaikan dengan persamaan yang dimiliki oleh metode LVQ (Learning Vector Quantization). Sehingga jaringan memiliki dua buah kelas yang berbeda, yaitu kelas 1 dan kelas 2. Kelas 1 memiliki bobot w1 dan kelas dua memiliki bobot w2. Keluaran dari lapisan ini akan menjadi masukan bagi lapisan tersembunyi (hidden layer) sebanyak 2 node yaitu Y_in1 dan Y_in2. Dengan menggunakan prinsip bahwa nilai paling kecil yang dihasilkan adalah pemenang dan merupakan kelas dari input tersebut maka pada lapisan keluaran (Output layer) digunakan sebuah fungsi pembanding yang berguna membandingkan dua nilai tersebut untuk dicari nilai terkecilnya. Dalam jaringan diatas fungsi pembanding tersebut dituliskan dengan simbol F1 dan F2. Asosiasi : Outp y1 u j1 ut ul1 u11 Layer … Hidd b1
y … bl
u1m ulm …
m
u j1 b j
en Layer Inp ut Lay er x
1
vil v v11v1l ij vk1vkl v v v a1 1j… ak kj … i1 ai w11 w1k wnk wni wn1 w1i …
xn
Backpropagation adalah salah satu pengembangan dari arsitektur Single Layer Neural Network. Arsitektur ini terdiri dari input layer, hidden layer dan output layer , dan setiap layer terdiri dari satu atau lebih aritificial neuron . Nama umum dari arsitektur ini adalah Multilayer neural network. Dengan menggunakan arsitektur jenis ini, maka metode pelatihan yang digunakan adalah Backpropagation yang biasanya disebut juga sebagai feedforward networks. Optimasi :
Dalam jaringan Hopfield semua neuron berhubungan penuh. Neuron yang satu mengeluarkan output dan kemudian menjadi input untuk semua neuron Page | 7
yang lain. Proses penerimaan sinyal antara neuron ini secara feedback tertutup terus menerus sampai dicapai kondisi stabil[2]. Dalam model diskritnya, jaringan Hopfield bobot sinaptiknya menggunakan vektor biner berdimensi n atau a{0,1}n . Model semacam ini berisi n neuron dan jaringannya terdiri dari n(n-1) interkoneksi dua jalur. Secara matematis konsep di atas dapat disajikan dalam matriks simetris n×n dengan diagonal utamanya bernilai 0. Dengan kata lain, setiap neuron tidak memberi input kepada dirinya sendiri. Self Organizing :
Jaringan kohonen ini terdiri dari dua lapis.Lapis pertama merupakan lapisan masukan yang mempunyai fungsi untuk menerima sinyal masukan, sedangkan lapis kedua adalah lapis kompetitif yang merupakan unit pengolah pada suatu jaringan. Biasanya sel-sel lapis kompetitif disusun dalam kisi-kisi dua dimensi atau urutan linier. Kedua lapis pada jaringan kohonen terhubung penuh (fully connected), yaitu setiap unit pada lapis masukan harus terhubung ke semua unit pada lapis kompetitif. 2. JST-2 : a. Merealisasikan Sistem Pakar dengan JST mungkin saja dapat dilakukan, misalnya untuk menentukan lokasi gangguan pada jaringan sistem tenaga listrik dengan memanfaatkan jaringan syaraf tiruan sebagai mesin penarik kesimpulannya. Sebagai masukan sistem pakar ini adalah status operasional peralatan pemutus tenaga (pmt) dan rele proteksi. Basis pengetahuan system pakar dengan jaringan syaraf tiruan diatas secara otomatis dapat dibentuk dari data-data masukan melalui antarmuka pemakai. Pemanfaatan jaringan syaraf tiruan tersebut dapat mengatasi kesulitan dalam membuat dan memperbaiki basis pengetahuan pada sistem pakar shell. b. Merealisasikan JST untuk system control mungkin saja dapat dilakukan, misalnya teknik yang banyak diteliti orang baik di dalam pemrosesan sinyal, pengenalan pola, identifikasi dan kontrol system adalah Jaringan Syaraf Tiruan (JST). Khusus untuk keperluan identifikasi dan kontrol system dinamik, arsitektur JST yang banyak digunakan adalah JST umpan maju dan Diagonal Recurrent (Diagonal Recurrent Neural Network/DRRN). Untuk melakukan Page | 8
proses identifikasi dan kontrol suatu plant menggunakan JST maka diperlukan proses pembelajaran. Algoritma pembelajaran pada JST yang digunakan umumnya adalah Algoritma Propagasi Balik (PB). Alternatif lainnya adalah dengan menggunakan algoritma Recursive Prediction Error (RPE). 3. Jaringan RBF : c. RBF (φ) merupakan fungsi dimana keluarannya simetris terhadap center c tertentu atau dinyatakan sebagai φc = φ ||x - c||, dimana || . || merupakan vektor normal. Jaringan syaraf yang dibentuk dengan menggunakan fungsi basis berupa fungsi basis radial dinamakan Jaringan Syaraf RBF. Jaringan RBF terdiri atas 3 layer yaitu layer input, hidden layer (unit tersembunyi) dan layer output.[6] Masing–masing unit tersembunyi merupakan fungsi aktifasi yang berupa fungsi basis radial. Fungsi basis radial ini diasosiasikan oleh lebar dan posisi center dari fungsi basis tersebut.
Setiap input dari jaringan syaraf tiruan RBF ini akan mengaktifkan semua fungsi basis pada hidden layer . Setiap unit dari hidden layer merupakan fungsi aktifasi tertentu yang disebut sebagai fungsi basis. Setiap fungsi basis akan menghasilkan sebuah keluaran dengan bobot tertentu. Output jaringan ini merupakan jumlah dari seluruh output fungsi basis dikalikan dengan bobot masing–masing. 1. MLP :
a. Parameter-parameter dalam MLP : •
Jumlah lapisan tersembunyi
•
Jumlah neuron setiap lapisan
•
Learning rate
•
Fungsi aplikasi
•
Inisialisasi bobot dan bobot bias
•
•
Page | 9
Threshold Momentum
•
Set error pengujin
•
Set error pelatihan
•
Maksimum epoch
b. Pengaruh banyaknya layer dalam MLP : •
Meningkatkan keakuratan
•
Dapat menangani masalah2 yang lebih komplek
2. Back Propagation dan Recurrent : Perbandingannya Back propagation
recurrent
a. Mempunyai struktur
a. Mempunyai struktur feedback,
feedforward; dimana signal bergerak melewati lapisan tersembunyi dan akhirnya mencapai unit output b. Struktur perilakunya stabil c. Tidak mempnyai loop Contoh: single layer perceptron, multi layer perceptron, radial basis function
mempunyai koneksi kembali dari output ke input b. Struktur perilakunya stabil dan menghasilkan dinamika yang sangat komplek c. Memiliki loop, lapisan output akan member input bagi lapisan input Contoh: LVQ (linier vector quanification), SOM (Self organizing map)
Manfaat : Backpropagation, untuk memprediksi suatu system dalam waktu yang berbeda Recurrent, kasus identifikasi dan pemodelan system non linier 3. Supervised and supervised Learning : a. Belajar dengan pengawasan (Supervised Learning )
Pada metode supervised learning jaringan diberikan vektor target yang harus dicapai sebagai dasar untuk mengubah hubungan interkoneksi atau bobot pada jaringan. Contoh jaringanyang belajar dengan pengawasan adalah Backpropagation dan Perceptron. Cocok digunakan untuk pengenalan pola. Page | 10
b. Metode unsupervised learning
Melatih jaringan terhadap suatu inputan tanpa adanya pengawasan,dimana vektor target tidak ditentukan. Vektor masukan dimasukkan ke dalam jaringan,kemudian sistem akan mengatur dirinya sendiri sedemikian rupa sehingga dihasilkankeluaran yang konsisten bilamana pola yang menyerupai vektor masukan tersebut diberikan. Cocok untuk pengelompokan dan klasifikasi pola. 4. Optimisasi : c. Optimasi dalam jst bermanfaat untuk menemukan suatu solusi terbaik
sehingga mampu meminimalisasi fungsi biaya. d. Jenis jst yang cocok untuk melaksanakan optimasi adalah: hopfield
5. Jaringan Hopfield, Boltzmann, Elman dan Jordan : a. Hopfield, salah satu metode jst dengan pola pelatihan tidak terbimbing. Terdiri dari beberapa neuron yang saling terhubung 1 sama lain. Dapat diterapkan suatu aosiatif memori dengan memperhitungkan fungsi energi kedalam jaringan. Contohnya TSP (travelling salesman problem). Konfigurasi jaringan dikenal dengan recurrent. Merupakan jst yang terhubung penuh atau fully conected Manfaatnya untuk pengenalan pola atau identifikasi, restorasi citra b. Boltzmann, merupakan jst balik yang simetris terdiri dari unit2 linier +1 dan -1, masing2 untuk on dan off. Setiap neuron mrupakan sebuah unit setokastik yang menghasilkan output menurut distribusi mekanik statistik boltsmann. Aturan boltzmann merupakan aturan pembelajaran pengoreksian error. Manfaatnya untuk pengklasifikasi pola c. Jaringan Elman adalah sebuah jaringan rekurens sederhana yang memiliki umpan balik nilai sehingga dapat menangani memori jangka pendek. Masukan jaringan tidak hanya nilai masukan dari luar jaringan, tetapi ditambah dengan nilai keluaran dari neuron tersembuyi dari propagasi sebelumnya ..
Page | 11
6. Fuzzy Logic and Genetic Algorith : a. Keterkaitan JST dan Fuzy Logic : JST digunakan untuk menghitung proses informasi dan melakukan pendekatan batasan keputusan yang rumit. Fuzy Logic digunakan untuk mewakili derajat kebenarannya. Keunggulan gabungan JST dan FL : Mengolah nilai kontinu menjadi diskrit, klemudian diolah di JST, karena JST tidak dapat mengolah nilai kontinu. b. Keterkaitan JST dan GA : Algoritma genetik digunakan untuk pencarian bobot terbaik dalam JST. Keunggulan : Meningkatkan keakuratan nilai optimasi, Tingkat pembelajarannya berlapis-lapis c. Kemungkinan penggabungan JST, FL dan GA : Kemungkinan dapat digabungkan : FL digunakan untuk menkonversi nilai kontinu ke nilai diskrit pada JST GA digunakan untuk pencarian bobot terbaik pada JST Keunggulannya : Keakurannya lebih optimal Kerugiannya : Karena pembelajarannya berlapis-lapis, sehingga memerlukan waktu yang lama.
Page | 12
