PROSES KEPUTUSAN MARKOV
Rantai markov adalah suatu teknik matematik yang biasa digunakan untuk pembuatan model bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan perubahan-perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis tersebut waktu lalu.
Penerapan proses markov mula-mula adalah digunakan untuk menganalisa dan memperkirakan perilaku konsumen misalkan menganalisa tentang perpindahan merk dalam pemasaran, perhitungan rekening, jasa persewaan mobil, perencanaan penjualan, masalah persediaan, pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi rumah sakti.
Rantai markov adalah suatu teknik matematik yang biasa digunakan untuk pembuatan model bermacam-macam sistem dan proses bisnis. Teknik ini dapat digunakan untuk memperkirakan perubahan-perubahan di waktu yang akan datang dalam variabel-variabel dinamis atas dasar perubahan-perubahan dari variabel-variabel dinamis tersebut waktu lalu.
Penerapan proses markov mula-mula adalah digunakan untuk menganalisa dan memperkirakan perilaku konsumen misalkan menganalisa tentang perpindahan merk dalam pemasaran, perhitungan rekening, jasa persewaan mobil, perencanaan penjualan, masalah persediaan, pemeliharaan mesin, antrian, perubahan harga pasar saham, dan administrasi rumah sakti.
Analisis Markov adalah suatu cara menganalisis perangai beberapa variabel yang sedang beredar dalam usaha menduga perangai mendatang dari variabel yang sama. Analisis Markov telah digunakan dengan berhasil terhadap berbagai macam situasi keputusan antara lain penyelidikan dan dugaan terhadap perangai konsumen perihal kesetiaannya terhadap “merk” tertentu dan peralihan mereka dari satu merk ke merk lainnya, perubahan sikap pelanggan dari “pembayaran lang-sung” lang-sung” ke pembayaran terlambat 30 hari “atau” pembayaran terlambat 60 hari “hingga” hutang buruk/kredit macet. Output informasi berbentuk analisis deskriptif dan probabilistik Outcomemembantu proses pengambilan keputusan
Proses Markov Adapun proses model rantai Markov, dapat dilakukan dengan langkah-langkah : Menyusun Matriks Probabilitas Transisi. Probabilitas transisi adalah 1. probabilitas suatu merk tertentu (atau penjual) akan tetap menguasai para pelanggannya. Menghitung kemungkinan Market Share di waktu yang akan datang . 2. Perhitungan market share di periode waktu kedua dapat diperoleh dengan mengalikan martiks probabilitas transisi dengan market share pada periode pertama. Menentukan Kondisi Equilibrium. Kondisi equilibrium tercapai bila tidak 3. ada pesaing yang mengubah matriks probabilitas transisi. Peng-gunaan matriks probabilitas transisi dapat menggambarkan kondisi-kon-disi equilibrium.
Kondisi Analisis Markov (asumsi dasar) 1. Jumlah probabilitas pada setiap kejadian yang independen secara bersamaan adalah sama dengan satu (=1) 2. Probabilitas tidak berubah selamanya 3. Probabilitas tergantung pada status sekarang.
Untuk memperoleh matriks probabilitas transisi atau matrik P diperlukan pengamatan yang diteliti terhadap kondisi system yang diamati pada satu periode ke periode berikutnya. Misalkan di suatu daerah dipasarkan 4 merk sabun deterjen, mis merk A, B, C, dan D. Tabel berikut menunjukkan data jumlah langganan masing-masing merk pada periode pertama, perubahan jumlah langganan yang terjadi pada satu periode, dan jumlah langganan pada periode kedua.
Data di atas memberikan informasi sebagai berikut: • Dari sejumlah 220 langganan A pada periode pertama, telah beralih menjadi langganan B sebanyak 20 orang, menjadi langganan C sebanyak 10 orang dan langganan D sebanyak 15 orang. Maka jumlah langganan pada periode pertama memilih A dan pada periode kedua masih tetap memilih A (bukan langganan baru) adalah sebanyak (220-20-10-15=175 orang). Dengan kata lain probabilitas bahwa langganan A pada periode pertama tetap menjadi langganan A, pada periode kedua adalah sebesar 175/220=0,796. Apabila perhitungan dilanjutkan maka probabilitas transisi akan menjadi
Contoh 2
Pemilik angkot mempunyai probabilitas narik atau mogok pada esok hari adalah: P(narik/narik) =0,6 P(narik/mogok) =0,8 P(mogok/narik)=0,4 P(mogok/mogok)=0,2 Tricks: P(narik/mogok) = 0,8 bararti probabilitas besok narik jika hari ini mogok adalah 0,8. Matriks probabilitasnya…..
Besok Sekarang
Narik
Mogok
Narik
0,6
0,4
Mogok
0,8
0,2
Analisis Markov Hari 1
Hari 2
Hari 3
0,36 0,6
Narik
0,6 0,6
Narik
0,24 0,4
Mogok
0,32
Narik
0,4
0,4
0,8
Mogok
narik
0,08 0,2
Mogok
Analisis Markov Hari 1
Hari 2
Hari 3
0,48 0,6
Narik
0,8 0,8
Narik
0,4
0,32 Mogok
0,16
Mogok
narik
0,2
0,2
0,8
Mogok
0,04 0,2
Mogok
Kesimpulan Probabilitas angkot narik pada hari ke-3 jika hari ke 1 narik adalah : 0,36 + 0,32 = 0,68 Probabilitas angkot mogok pada hari ke-3 jika hari ke 1 narik adalah : 0,24 + 0,08 = 0,32 Probabilitas angkot narik pada hari ke-3 jika hari ke 1 mogok adalah : 0,48 + 0,16 = 0,64 Probabilitas angkot mogok pada hari ke-3 jika hari ke 1 mogok adalah : 0,32 + 0,04 = 0,36
Pendahuluan
Misalkan Kondisi sebuah mesin yang digunakan dalam suatu proses produksi diketahui menurun dengan cepat, baik dalam kualitas maupun outpunya. Karena itu, thd mesin dilakukan pemeriksaan secara periodik, yaitu pada setiap akhir bulan. Kondisi mesin dicatat dan diklasifikasikan ke dalam tiga keadaan (state) State Kondisi 1 Baik 2 Cukup 3 Rusak Jika Xt adalah state mesin setelah dilakukan pemeriksaan pada akhir bulan ke-t, maka urutan dari state {Xt} dapat dipandang sbgi proses stochastic. Probabilitas Transisi selama periode 1 bulan adalah:
State bulan YAD State pada bulan ini P1=
1 (baik)
2 (cukup)
3 (rusak)
1 (Baik)
0.2
0.5
0.3
2 (cukup)
0
0.5
0.5
3 (Rusak)
0
0
1
Dari matrik P1 di atas jelas bahwa sekali mesin itu rusak (State 3) maka akan tetap rusak. Kondisi akan berubah bila ada perbaikan (overhaul), maka matrsik transisinya adalah P2 sebagai berikut:
State pada bulan ini P2=
1
2
3
1
0.3
0.6
0.1
2
0.1
0.6
0.3
3
0.05
0.4
0.55
Struktur ongkos (penerimaan/pengeluaran) selama periode 1 bulan tergantung pada state masing-masing matriks transisi. Jika diketahui bahwa struktur ongkos apabila tidak dilakukan overhaul adalah R1 dan struktur ongkos bila overhaul adalah R2, dimana:
R1 =
1
1
2
3
7
6
3
2
0
5
1
3
0
0
-1
R2 =
1
2
3
1
6
5
-1
2
7
4
0
3
6
3
-2
Keputusan apakah yang sebaiknya harus dilakukan? Apakah mesin ini terus dioperasikan dalam beberapa bulan tertentu yang lamanya terbatas atau tidak terbatas dioperasikannya. Jenis keputusan lainnya ialah pengevaluasian ekspektasi pendapatan dari suatu tindakan yang ditetapkan apabila suatu state dari sistem terjadi. Misal diputuskan untuk melakukan overhaul bila mesin dalam kondisi rusak (state 3). Proses ini dikatakan STATTIONARY POLICY
STATIONARY STATE: berkaitan dengan matriks transisi dan matriks ongkos yang berbeda yang dibentuk oleh matriks P1, P2, R1, dan R2. Contoh: Stationary Policy untuk melakukan overhaul hanya jika mesin dalam kondisi rusak (state 3), matriks transisi dan matriks ongkosnya adalah P dan R sebagai berikut: 1
2
3
1
0.2
0.5
0.3
2
0
0.5
0.5
3
0.05
0.4
0.55
P=
1
2
3
1
7
6
3
2
0
5
1
3
6
3
-2
R=
Matriks P dan R berbeda dari matrik P1 dan R1 hanya baris ketiga yang diambil lansung dari P2 dan R2. Alasannya matriks-matriks yang dihasilkan apabila overhaul dilakukan pada setiap state MODEL DENGAN STAGE TIDAK TERBATAS 1.
2.
Metode Enumerasi Sempurna Mengenumerasi seluruh stationary policy hingga diperoleh solusi optimumnya Metode ini dgunakan apabila jumlah total stationary tidak terlalu besar sehingga masing dapat dihitung. Policy Iteration; efisien dalam arti dapat mencapai solusi optimum dalam jumlah iterasi yang kecil.
METODE ENUMERASI SEMPURNA Misalkan suatu persoalan keputusan mempunyai sejumlah S stationary policy dan diasumsikan bahwa P dan R adalah matriks transisi (Satu langkah) dan matriks pendapatan yang berkaitan dengan policy ke-k, s=1,2,,...,S. Maka langkah-langkah enumerasinya adalah sbb: Langkah 1. Hitung harga yaitu ekspektasi pendapatan satu langkah (satu periode) dari policy S pada state i, i = 1,2,3,..., Langkah 2. Hitung yaitu probabilitas steady stationary jangka panjang dari matriks transisi Yang berkaitan dengan policy S. Probabilitas ini jika ada dihitung dengan persamaan:
Langkah 3. Tentukan yaitu ekspektasi pendapatan dari policy s untuk setiap langkah transisi (Periode) dengan menggunakan persamaan
METODE ENUMERASI SEMPURNA Langkah 4. Policy Optimum S* ditentukan dengan:
Contoh: Pada perosalan perbaikan mesin ada 8 stationary policy sbb: Stationary policy s Tindakan 1 Tidak melakukan overhaul sama sekali 2 Overhaul tanpa memperhatikan state 3 Overhaul jika sistem dalam state 1 4 Overhaul jika sistem dalam state 2 5 Overhaul jika sistem dalam state 3 6 Overhaul jika sistem dalam state 1 atau 2 7 Overhaul jika sistem dalam state 1 atau 3 8 Overhaul jika sistem dalam state 2 atau 3
Maka diperoleh:
nya dihitung sebagai berikut: Langkah 1. Nilai Contoh: perhitungan pada state 1 dengan tindakan tidak melakukan overhaul sama sekali, maka nilai V adalah: 1 1
1
V 1
1
V 2
1
V 3
0,2 X 7 0,5 X 6 0,3 X 3 5,3
0 X 0 0,5 X 5 0,5 X 1 3
0 X 0 0 X 0 1 X 1
1
S 1
2
3
1
5,3
3
-1
2
4,7
3,1
0,4
3
4,9
3
-1
4
4,49
3,1
-1
5
5,3
3
0,4
6
4,7
3,1
-1
7
4,9
3
0,4
8
5,3
3,1
0,4
Langkah 2. Perhitungan probabilitas stationarynya diperoleh dengan menggunakan persamaan S
S
P S
1
S
2
S
Di mana S
... m
1
S
S
S
S
( 1 , 2 ,..., m 1)
Sebagai contoh, jika s = 2 maka dipeorleh 0,3 1 0,1 2 0,05 3 1 0,6 1 0,6 2 0,4 3 2 0,1 1 0,3 2 0,55 3 3 1 2
3 1
Dengan menggunakan eliminasi atau substitusi maka diperoleh: 2
1
6 / 59
2 2
31 / 59
2 3
2 / 59
Maka ekspektasi pendapatan per bulan adalah:
S i
3
2 2 V 1/59 (6x4,7+31x3,1+22x0,4) = 2,256 E i i S 2
E
i 1
Dengan cara yang sama, maka dapat diketahui nilai
S
i
dan
S
E
sebagai berikut:
Sebuah perusahaan sedang memikirkan media massa di antara Radio, TV, atau Koran yang sebaiknya digunakan untuk media advertensinya. Perusahaan dapat mengklasifikasikan volume penjualan per minggunya sebagai: 1.Cukup 2.Baik 3.Sangat memuaskan Probabilitas transisi untuk ketiga media advertensinya di ketahui sebagai berikut:
1
1
2
3
0,3
0,4
0,1
1
Radio
1
2
3
0,2
0,4
0,2
Koran
1
2
3
1
0,6
0,2
0,1
TV
2
0,1
0,6
0,2
2
0,1
0,6
0,2
2
0,2
0,5
0,1
3
0,1
0,2
0,6
3
0
0,1
0,7
3
0,1
0,6
0,2
Sedangkan penghasilan per minggunya apabila melakukan advertensi pada masing-masing media adalah 1
1
2
3
4
5,2
6
Radio
1
1
2
3
4
5,3
7,1
Koran
1
2
3
1
10
13
16
TV
2
3
4
7
2
3,5
4,5
8
2
8
10
17
3
2
2,5
5
3
2,5
4
6,5
3
6
7
11
Ditanyakan solusi maksimumnya dengan menggunakan metode Enumerasi Sempurna, media manakah yang akan diambil.
Jawab Langkah 1 Tentukan nilai Vis Nilai Vis di dapat dari perkalian antara probabilias transisi dengan penghasilan per minggu.
Maka:
Langkah 2 Tentukan nilai probabilitas steady state dari masing-masing media. Probabilitas steady state untuk radio
METODE POLICY ITERASI METODE POLICY ITERATION TANPA POTONGAN Metode policy iteration didasarkan aturan berikut: 1.Untuk satu policy tertentu, ekspektasi pendapatan total stage pada n dinyatakan oleh persamaan rekursif: m
f n (i ) V i pij f n 1 ( j )
di mana i = 1, 2, ..., m
j 1
2. Definisikan f (i ) V i
sebagai banyaknya stage yang diamati. Maka pers rekursifnya
m
p
ij
f 1 ( j )
j 1
di mana i =1, 2, ..., m, f adalah ekspektasi pendapatan kumulatif
3. Vektor probabilitas pada keadaan steady state dari mariks transisi:
S
S
S
S
( 1 , 2 ,..., m )
Ekspektasi pendapatan per stage: m S
E
i V i S
i 1
S
Untuk
yang sangat besar:
f E f (i ) Sehingga persamaan rekursifnya menjadi: m
E f (i )
) V i p ij ( 1) E f ( jatau j 1
m
E V i p ij f ( j ) f (i ) j 1
Tujuan menentukan policy optimum dan E maksimum
Proses iteratif terdiri atas dua komponen dasar yang disebut langkah penentuan nilai dan langkah perbaikan policy. 1. Langkah Penentuan Nilai Pilihlah suatu policy s secara sembarang. Gunakan matriks Ps dan Rs Kemudian secara sembarang asumsikan fs (m) = 0 selesaikan persamaan berikut: m
E V i p ijS f S ( j ) f S (i ) S
j 1
2. Langkah perbaikan policy Untuk setiap state i, tentukan alternatik k yang menghasilkan m K s Mak sV k pij f ( j ) K j 1
Contoh: Selesaikan persoalan perbaikan mesin dengan metode policy iteration, menetapkan policy secara sembarang. Policy tidak melakukan overhaul. Matriks dari policy itu adalah:
Persamaan-persamaan dari langkah penentuan nilainya adalah E + f(1) – 0,2 f(1) – 0,5f(2) – 0,3 f(3) = 5,3 E + f(2) - 0,5 f(2) - 0,5 4(3) = 3 E + f(3) - 1 f (3) = -1 Sembarang f(3) = 0, maka: E = -1, f(1) = 12,88 , f2) = 8, f(3) = 0. Berikutnya adalah langkah perbaikan policy. Perhitungannya adalah:
Policy yang baru adalah melakukan overhaul tanpa memperhatikan state. Karena policy ini berbeda dari semula (tidak melakukan overhaul), maka langkah penentuan nilai harus diulangai. Matriks dari policy yang baru adalah:
P2=
1
2
3
1
0,3
0,6
0,1
2
0,1
0,6
0,3
3
0,05
0,4
0,55
Matriks ini akan memberikan persamaan: E + f(1) – 0,3 f(1) – 0,6 f(2) – 0,1 f(3) = 4,7 E + f(2) – 0,1 f(1) – 0,6 f(2) – 0,3 f(3) = 3,1 E + f(3) – 0,05 f(1) – 0,4 f(2) – 0,55 f(3) = 0,4 Dengan f(3) = 0, maka E = 2,26, f(1) = 6,75, f(2) = 3,79, f(3) = 0
R2 =
1
2
3
1
6
5
-1
2
7
4
0
3
6
3
-2
B. METODE POLICY ITERATION POTONGAN Metode yang dijelaskan dapat diperluas dengan memasukkan faktor potongan. Jika faktor potongan itu adalah α (<1) maka persamaan rekuesif untuk stage yang terbatas dinyatakan dengan: f (i ) Mak s{V i K
m
K
pijk f 1 ( j )} j 1
1.Langkah Penentuan Nilai
Pilihlah suatu policy s secara sembarang. Gunakan matriks Ps dan Rs selesaikan m persamaan berikut:
f (i ) V i S
m
S
pijS f ( j ) j 1
Untuk setiap state i tentukan alternatif k yang menghasilkan: m K S s Mak sV k p ij f ( j ) K j 1
di mana i = 1,2,.., m
Dimana fs (j) adalah hasil yang diperoleh pada langkah penentuan nilai. Jika policy t yang dihasilkan sama dengan s, stop; t adalah policy optimum. Jika tidak, tetapkan s=t, dan kembali pada langkah penentuan nilai
Selesaikan persoalan perbaikan mesin dengan metode policy iteration yang menggunakan faktor potongan 0,6. Mulai dengan sembarang policy s =1, 1, 1 yaitu tidak melakukan overhaul sama sekali Matrik P dan R nya
P=
1
2
3
1
0,2
0,5
0,3
2
0
0,5
0,5
3
0
0
1
Sehingga diperoleh persamaan f(1) -0,6 { 0,2 f(1) + 0,5 f(2) + 0,3 f(3) } = 5,3 f(2) – 0,6 { 0,5 f(2) + 0,5 f(3) } = 3 f (3) -0,6 { f(3) } = -1 Solusinya f(1) = 6,6, f(2) = 3,21; f(3) = -2,5
R=
1
2
3
1
7
6
3
2
0
5
1
3
0
0
-1
