Markov Chain
Kismanto Prihantoro Mahasiswa Jurusan TeknikIndustri, Universitas Gunadarma E-mail : E-mail :
[email protected]
Abstrak
Prinsipnya, Prinsipnya, ketika kita mengamati rangkaian probabilitas probabilitas percobaan, percobaan, semua hasil masa lalu bisa mempengaru mempengaruhi hi prediksi untuk percobaan percobaan berikutnya. Tahun 1907, A.A. Markov mulai mempelajari teori baru yang yang berkaitan dengan probabilitas, dalam proses ini hasil percobaan tertentu tertentu dapat mempengaruhi mempengaruhi hasil percobaan percobaan berikutnya. Makalah ini akan membahas membahas apakah proses stokastik itu, yang merupakan dasar dari Markov Chain, bagaimana prinsip dasar, teorema yang berlaku, status-status Markov Chain, lalu bagaimana penerapan atau aplikasinya. Contoh stu studi di kasu kasuss mend mendap apat atka kan n hasi hasill yait yaitu u perk perkir iraa aan n rama ramala lan n cuac cuaca a pada pada hari hari Seni Senin n π (3) (3) π (3) = π (2)P = (.4316, .42, .1484) , maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan. Kata kunci: markov chain, chain, stokastik , state
1.
PENDAHULUAN
1.1
Latar Belakang
Seba Sebagi gian an besar besar pene penelit litian ian proba probabil bilita itass mena menang ngan anii prose prosess perco percoba baan an independen, ini merupakan proses dasar teori probabilitas klasik dan mengarah ke stat statis isti tik. k. Kita Kita tela telah h meli meliha hatt bahw bahwaa keti ketika ka urut urutan an eksp eksper erim imen en memb memben entu tuk k independen maka hasil yang mungkin untuk setiap percobaan adalah sama dan terjadi terjadi dengan dengan probabilita probabilitass yang yang sama.
Lebih Lebih lanjut, lanjut, penget pengetahu ahuan an dari hasil hasil
percob percobaan aan sebelum sebelumnya nya tidak tidak mempen mempengar garuhi uhi hasil hasil berikut berikutnya nya percoba percobaan. an.
Teori Teori
probabilitas probabilitas modern modern memungkink memungkinkan an mengetahui mengetahui pengaruh pengaruh hasil sebelumnya sebelumnya untuk mempred memprediks iksii hasil hasil percob percobaan aan selanjutn selanjutnya. ya.
Prinsi Prinsipny pnya, a, ketika ketika kita kita mengam mengamati ati
rangkaia rangkaian n probab probabilit ilitas as percoba percobaan, an, semua hasil masa lalu bisa
mempeng mempengaru aruhi hi
predik prediksi si untuk untuk percoba percobaan an beriku berikutny tnya. a. Oleh Oleh karena karena itu dalam dalam makalah makalah ini akan akan menjelaskan menjelaskan lebih jauh tentang teori tersebut, tersebut, yaitu Proses Markov berupa Markov berupa Markov Chain dan penerapan teori tersebut.
1.2
Perumusan Masalah
Markov Chain sangat berkaitan erat dengan teori probabilitas. Untuk memberikan dasar analisis terlebih dahulu kita harus mengetahui asumsi, definisi, sampai beberapa teorema yang diperlukan. Maka masalah yang akan dalam makalah ini adalah apakah proses stokastik itu yang merupakan dasar dari Markov Chain, bagaimana prinsip dasar, teorema yang berlaku, statys-status Markov Chain, lalu bagaimana penerapan atau aplikasinya
1.3
Tujuan Penulisan
Tujuan pembuatan makalah tentang Markov Chain ini adalah sebagai berikut: 1. Mengetahui proses-proses stokastik 2. Mengetahui prinsip dasar Markov Chain 3. Mengetahui teorema- teorema yang berlaku pada Markov Chain 4. Mengetahui status-status Markov Chain, 5. Mengaplikasikan perhitungan Markov Chain
1.
LANDASAN TEORI
2.1
Sejarah Markov Chain
Markov Chain baru diperkenalkan
sekitar tahun 1907, oleh seorang
Matematisi Rusia Andrei A. Markov (1856-1922). Andrey Markov menghasilkan hasil pertama (1906) untuk proses ini, murni secara teoritis. Sebuah generalisasi ke bentuk tak terbatas dalam ruang diskrit diberikan oleh Kolmogorov (1936). Rantai Markov terkait dengan gerakan Brown dan ergodic hipotesis, dua topik dalam fisika yang penting dalam tahun-tahun awal abad ke-20, tetapi tampaknya Markov lebih fokus pada perluasan hukum bilangan besar dalam percobaaan-percobaaan. Model ini berhubungan dengan suatu rangkaian proses dimana kejadian akibat suatu suatu eksperimen hanya tergantung pada kejadian yang langsung mendahuluinya dan tidak tergantung pada rangkaian kejadian sebelum-sebelumnya yang lain. Pada 1913, ia menerapkan temuannya untuk pertama kalinya untuk 20.000 pertama Pushkin huruf "Eugene Onegin". 2.2
Proses Acak
Pengelompokkan tipe populasi dari proses acak bisa digambarkan sebagai jika X adalah proses acak, maka populasi dari proses acak adalah semua nilai yang mungkin yang bisa dimasukkan dalam suatu proses contohnya
S = { y : X (t ) = y , untuk t ∈ T } Jika X adalah proses acak yang menggambarkan suatu persamaan, maka populasi dari X dapat digambarkan sebagai suatu nilai yang memenuhi persamaan tersebut. Jika populasi dari S dari suatu proses acak X dapat dihiting (contoh S={1,2,3,...}), dalam hal ini X disebut Discrete Time Random Process perubahan state terjadi pada titik-titik integer. Jika populasi dari S dari suatu proses acak X tidak dapat dihitung ( contoh S = ∞) maka X disebut Continuous Time Random Process perubahan state (discrete state) terjadi pada sembarang waktu. Markov Chain merupakan proses acak di mana semua informasi tentang masa depan terkandung di dalam keadaan sekarang (yaitu orang tidak perlu memeriksa masa lalu untuk menentukan masa depan). Untuk lebih tepatnya, proses memiliki properti Markov, yang berarti bahwa bentuk ke depan hanya tergantung pada keadaan sekarang, dan tidak bergantung pada bentuk sebelumnya. Dengan kata lain, gambaran tentang keadaan sepenuhnya menangkap semua informasi yang dapat mempengaruhi masa depan dari proses evolusi. Suatu Markov Chain merupakan proses stokastik berarti bahwa semua transisi adalah probabilitas (ditentukan oleh kebetulan acak dan dengan demikian tidak dapat diprediksi secara detail, meskipun mungkin diprediksi dalam sifat statistik),( www.wikipedia.org).
2.3
Konsep Dasar Markov Chain
Apabila suatu kejadian
tertentu dari suatu rangkaian
eksperimen
tergantung dari beberapa kemungkinan kejadian , maka rangkaian eksperimen tersebut disebut Proses Stokastik.
Sebuah rantai Markov adalah suatu urutan dari variabel-variabel acak X 1, X 2,
X 3,...... dengan sifat Markov yaitu, mengingat keadaan masa depan dan masa lalu
keadaan yang independen, dengan kata lain:
Nilai yang mungkin untuk membentuk X i S disebut ruang keadaan rantai. Markov Chain adalah sebuah Proses Markov dengan populasi yang diskrit ( dapat dihitung) yang berada pada suatu discrete state (position) dan diizinkan utk berubah state pada time discrete. Ada beberapa macam variasi dari bentuk rantai markov 1. Continuous Markov memiliki indeks kontinu. 2. Sisa rantai Markov homogen (rantai Markov stasioner) adalah proses di mana
untuk semua n. Probabilitas transisi tidak tergantung dari n. 3. Sebuah
rantai
Markov
orde
m
di
mana
m
adalah
terbatas,
Dengan kata lain, keadaan selanjutnya tergantung pada keadaan m selanjutnya. Sebuah rantai (Y n) dari (X n) yang memiliki 'klasik' Markov properti sebagai berikut: Biarkan
Y
n=
(X
n, X n -1, ..., X n - m 1 ), yang memerintahkan m-tupel dari
nilai-nilai X. Maka Y n adalah sebuah rantai Markov dengan ruang keadaan S m dan memiliki klasik properti Markov.
4. Sebuah aditif rantai Markov order m di mana m adalah terbatas adalah
untuk semua n> m. Status-statusnya adalah: 1. Reachable State Status j reachable dari status i apabila dalam rantai dpat terjadi transisi dari status i ke status j melalui sejumlah transisi berhingga; Terdapat n, 0 ≤ n ≤ ∞, sehingga P nij > 0 2. Irreduceable Chain Jika dalam suatu rantai Markov setiap status reachable dari setiap status lainnya, rantai tersebut adalah irreduceable. 3. Periodic State Suatu status i disebut periodic dengan peroda d > 1, jika pnii > 0, hanya untuk n = d, 2d, 3d,. . .; sebaliknya jika pnii > 0, hanya untuk n = 1, 2, 3, ... maka status tersebut disebut aperiodic. 4. Probability of First Return Probabilitas kembali pertama kalinya ke status i terjadi dalam n transisi setelah meninggalkan i.
f i(n ) = P [ X n = i , X k ≠ i
untuk k = 1, 2,....., n − 1Ι X 0 = i ]
(note: f i(0) didefinisikan = 1 untuk semua i) 5. Probability of Ever Return Probabilitas akan kembalimya ke status i setelah sebelumnya meninggalkan i. ∞
f i = ∑ f i(n ) n −1
6. Transient State Suatu status disebut transient jika probabilitas f i < 1; yaitu bahwa setelah dari i melalui sejumlah transisi terdapat kemungkinan tidak dapat kembali ke i. 7. Recurrent State Suatu status disebut recurrent jika probabilitas f i = 1; yaitu bahwa setelah dari i melalui sejumlah transisi selalu ada kemungkinan untuk kembali ke i.
8. Mean Recurrent Time of State Untuk suatu status recurrent, jumlah step rata-rata untuk kembali ke status i ∞
mi = ∑ nf i(n ) n −1
9. Null Recurrent State Suatu Recurrent State disebut recurrent null jika mi = ∞ 10. Positive Recurrent State Suatu recurrent state disebut positive recurrent atau recurrent nonnull jika mi < ∞ 11. Communicate State Dua status, i dan j, dikatakamn berkomunikasi jika i reachable dari j dan juga reachable dari i ; ditulis dengan notasi i ↔ j 12. Ergodic Rantai Markov disebut ergodic jika , irreduceable, aperiodic, dan seluruh status positive recurrent
2.5
Teorema-Teorema
2.5.1
Teorema mengenai Relasi Ekovalensi
a.
Relasi i <—> j merupakan relasi ekuivalen 1. untuk setiap status i , berlaku i <—> i 2. jika i <—> j, maka juga j <—> i 3. jika i <—> j dan j <—> k maka i <—> k
b.
Status-status suatu Rantai Markov dapat dipartisi kedalam kelas-kelas ekivalensi sehingga i <—> j, jika dan hanya jika i dan j berada dalam kelas ekivalensi yang sama.
c.
Suatu Rantai Markov irreducible jika dan hanya jika didalamnya hanya terdiri atas tepat satu kelas ekivalensi.
d.
Jika i<—> j, maka i dan j memiliki periode yang sama.
e.
Untuk i <—> j, jika i recurrent maka juga j recurrent.
2.5.2
Teorema mengenai Irreducible
Jika {Xn}suatu rantai Markov, maka tepat salah satu kondisi berikut ini terjadi: a.
Semua status adalah positif recurrent
b.
Semua status recurrent null
c.
Semua status trancient
2.5.3
Teorema mengenai Limiting Probability
Definisi: π j(n) adalah probabilitas suatu Rantai Markov { X n}berada dalam status j pada step ke n. Maka π j(n) = P[ Xn = j] Distribusi awal ( initial ) dari masing-masing status 0, 1, 2, …… dinyatakan sebagaiπ j(0) = P[ X0 = j], untuk j = 0, 1, 2, …… Suatu rantai Markov memiliki distribusi probabilitas stasioner π = (π 0, π1, π2, ...., π n ) apabila terpenuhi persamaan π = π P asalkan setiap πi ≥ 0 dan ∑i πi =1. Jika suatu rantai Markov homogen waktu (stasioner dari waktu ke waktu) yang irreducible, aperiodic, maka limit probabiltasnya π j
= lim π j(n ) , untuk j = 0, 1, ...... n →∞
selalu ada dan independent dari distribusu probabilitas status awal π (0) = (π0(0) , π1(0) , π2(0), …..). Jika seluruh status tidak positif recurrent (jadi seluruhnya recurrent null atau seluruhnya transient), maka π j = 0 untuk semua j dan tidak terdapat distribusi probabilitas stasioner.
4.
ALIKASI DAN PEMBAHASAN
4.1
Aplikasi
4.1.1
Fisika
Sistem Markovian muncul secara luas dalam termodinamika dan mekanika statistik, probabilitas setiap kali digunakan untuk mewakili unmodelled diketahui atau rincian dari sistem, jika dapat diasumsikan bahwa dinamika waktu-invarian,
dan bahwa tidak ada sejarah yang relevan perlu dipertimbangkan yang tidak sudah termasuk di keadaan bagian deskripsi.
4.1.2
Kimia
Sebuah algoritma yang berdasarkan rantai Markov digunakan untuk memfokuskan pertumbuhan berdasarkan fragmen-bahan kimia di silico menuju kelas yang diinginkan dari senyawa seperti obat-obatan atau produk alami. Sebagai molekul tumbuh, sebuah fragmen dipilih dari molekul baru lahir sebagai "saat ini" keadaan. Hal ini tidak menyadari masa lalu (yaitu, tidak menyadari apa yang sudah terikat untuk itu).
Ini kemudian transisi ke keadaan berikutnya ketika sebuah
fragmen yang melekat padanya.
4.1.3
Pengujian
Beberapa teoretikus telah mengusulkan gagasan tentang rantai Markov uji statistik (MCST), sebuah metode Markov conjoining rantai untuk membentuk suatu 'Markov selimut', mengatur rantai ini di beberapa lapisan rekursif ( 'wafering') dan memproduksi lebih efisien set uji - sampel - sebagai pengganti pengujian lengkap. MCST juga memiliki kegunaan dalam keadaan dunia berbasis jaringan; Chilukuri et al. 'S makalah berjudul "Temporal Ketidakpastian Penalaran Bukti Jaringan untuk Aplikasi untuk Fusion dengan Obyek Deteksi dan Pelacakan" (ScienceDirect) memberikan latar belakang yang sangat baik dan studi kasus untuk menerapkan MCSTs ke lebih beragam aplikasi.
4.1.4
Teori Queueing
Rantai Markov juga dapat digunakan untuk model berbagai proses dalam teori queueing , dan statistik. Seperti model ideal dapat menangkap banyak statistik keteraturan sistem.
Bahkan tanpa menjelaskan struktur penuh dari sistem
sempurna, seperti model-model sinyal dapat sangat efektif memungkinkan kompresi data melalui pengkodean entropi teknik seperti pengkodean aritmatika. Mereka juga memungkinkan efektif estimasi keadaan dan pengenalan pola. Dunia sistem telepon selular tergantung pada algoritma Viterbi untuk kesalahan-koreksi,
sementara model Markov tersembunyi adalah secara ekstensif digunakan dalam pengenalan suara dan juga dalam bioinformatika, misalnya untuk daerah pengkode / gen prediksi
4.1.5
Statistik
Metode Rantai Markov juga menjadi sangat penting untuk menghasilkan angka acak urutan mencerminkan secara akurat distribusi probabilitas sangat rumit yang diinginkan, melalui proses yang disebut rantai Markov Monte Carlo (MCMC). Dalam beberapa tahun terakhir ini telah merevolusionerkan kepraktisan Inferensi Bayesian metode, yang memungkinkan berbagai distribusi posterior menjadi simulasi dan parameter yang ditemukan secara numerik.
4.1.6
Ilmu sosial
Rantai Markov biasanya digunakan dalam menggambarkan argumen, di mana saat ini kondisi konfigurasi struktural hasil masa depan.
Contoh adalah
umumnya berpendapat hubungan antara pembangunan ekonomi dan bangkitnya demokrasi. Sekali suatu keadaan mencapai tingkat tertentu perkembangan ekonomi, konfigurasi faktor struktural, seperti ukuran borjuis komersial, rasio tinggal di pedesaan perkotaan, tingkat politik mobilisasi, dll, akan menghasilkan probabilitas yang lebih tinggi transisi dari otoriter aturan demokratis
4.2
Pembahasan
Cuaca kota Bekasi dapat diperkirakan sebagai berikut 1. Jika hari ini cerah maka besok akan berpeluang 60% cuaca cerah, 30% berawan, dan 10% akan turun hujan. 2. Jika hari ini berawan maka besok akan berpeluang 40% cuaca cerah, 45% berawan, dan 15% akan turun hujan. 3. Jika hari ini hujan maka besok akan berpeluang 15% cuaca cerah, 60% berawan, dan 25% akan turun hujan Jika pada hari Jumat hujan maka perkiraan cuaca hari Senin?
Terlihat jelas bahwa perkiraan cuaca dapat diselesaikan dengan Discrete Time Markov Chain 1. Proses selanjutnya hanya tergantung pada proses saat ini. 2. Waktu diskrit dan populasi diskrit. 3. Stasioner dari waktu ke waktu Discrete Time Markov Chain terdapat 3 fase, kita misalkan 1= cerah, 2= berawan, 3= hujan, dan sebelum hari Jumat kita anggap 0, maka
(0) = (0, 0 ,1)
π
.6 .3 .1 P = .4 .45 .15 Matrik transisi .15 .6 .25 Cuaca pada hari Sabtu π (1)
.6 .3 .1 .45 .15 = ( .15, .6, .25) π (1) = π (0) = (0, 0 ,1) .4 .15 .6 .25 maka 15% peluang akan cerah, 60% akan berawan, dan 25% hujan Cuaca pada hari Minggu π (2)
.6 .3 .1 .45 .15 = ( .3675, .465, .1675) π (2) = π (1)P = (.15, .6, .25) .4 .15 .6 .25 Cuaca pada hari Senin π (3)
(3) = π (2)P = (.4316, .42, .1484)
π
maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan Akan sangat bermanfaat menampilkan Discrete Time Markov Chain secara grafis. Lingkaran melambangkan fase dan anak panah diberi angka peluang yang akan terjadi, dari soal diatas model grafiknya
5.
KESIMPULAN
Kesimpulan yang dapat diambil pada penulisan makalah tentang Markov Chain adalah: 1. Proses stokastik adalah suatu kejadian tertentu dari suatu rangkaian eksperimen tergantung dari beberapa kemungkinan kejadian. 2. Prinsip dasar Markov Chain adalah sebuah Proses Markov dengan populasi yang diskrit ( dapat dihitung) yang berada pada suatu discrete state (position) dan diizinkan untuk berubah state pada time discrete. Sebuah rantai Markov adalah suatu urutan dari variabel-variabel acak X
1,
X
2,
X
3,......
dengan sifat
Markov yaitu, mengingat keadaan masa depan dan masa lalu keadaan yang independen, dengan kata lain:
Nilai yang mungkin untuk membentuk X i S disebut ruang keadaan rantai. 3. Teorema- teorema yang berlaku pada Markov Chain yaitu teorema mengenai Relasi Ekovalensi, teorema mengenai Irreducible, t eorema mengenai Limiting Probability 4. Status-status Markov Chain adalah Reachable State, Irreduceable Chain, Periodic State, Probability of First Return, Probability of Ever Return, Transient State, Recurrent State, Mean Recurrent Time of State, Null Recurrent State, Positive Recurrent State, Communicate Stat, dan Ergodic. 5. Perhitungan Markov Chain didapatkan hasil cuaca pada hari Senin π (3)
(3) = π (2)P = (.4316, .42, .1484)
π
maka 42% peluang akan cerah, 42% akan berawan, dan 15% hujan
6.
DAFTAR PUSTAKA
Teks klasik in Translation: AA Markov. Sebuah Contoh Statistik Investigasi Teks Eugene Onegin Mengenai Koneksi Sampel in Chains, terj. David Link. Sains dalam Konteks JL, Doob. Stochastic Processes. New York: John Wiley and Sons E. Nummelin. "Jenderal direduksikan rantai Markov dan non-operator negatif". Cambridge University Press www.wikipedia.org www.google.com(Markov Chain) MatematikaCyberBoardSOS.
