Tugas Individu Analisis Data Kategorik
ESTIMASI PARAMETER REGRESI LOGISTIK DENGAN MAKSIMUM LIKELIHOOD
CHRISTIAN BEREN
H12112276
PROGRAM STUDI STATISTIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS HASANUDDIN 2014
Estimasi Parameter β Regresi Logistik dengan Maksimum Likelihood
Dahulu banyak peneliti menggunakan OLS (Ordinary Least Square) untuk mencari koefisien regresi dari data dengan variabel dikotomi. Sebagian peneliti tidak mengetahui metode lain yang tepat selain OLS. Sebagian yang lain menyadari bahwa ada kejanggalan jika mereka menggunakan OLS dan tahu metode logistik adalah metode yang tepat untuk variabel dikotomi tetapi mereka terkendala dengan masalah komputasi karena perhitungan untuk mencari koefisien regresi yang begitu sulit dilakukan dengan cara manual. (Allison, 1999, p7) Ada banyak cara dalam mengestimasi koefisien. Caranya tergantung dari tipe data apa yang anda miliki. Jika anda memiliki data terkelompok, ada tiga metode yang dapat dipakai, yaitu : OLS (Ordinary Least Squares), WLS (Weight Least Square), dan ML (Maximum Likelihood) (Allison, 1999, p15). ML adalah metode untuk mengestimasi model logit untuk data terkelompok dan satu-satunya metode yang umumnya digunakan untuk data ditingkat individual. (Allison, 1999, p16). Metode tersebut mengestimasi parameter β
dengan
cara
memaksimumkan fungsi likelihood dan mensyaratkan bahwa data harus mengikuti suatu distribusi tertentu. Pada regresi logistik biner, setiap pengamatan mengikuti distribusi Bernoulli sehingga dapat ditentukan fungsi likelihoodnya. Ada dua langkah dalam mengestimasi nilai parameter yang dicari dengan ML (Allison, 1999, p17): 1. Langkah
pertama
dikenal
sebagai
menyelesaikannya anda harus distribusi probabilitas
konstruksi
menetapkan
dari
model,
fungsi
likelihood .
Untuk
yang sama dengan memilih
dari variabel dependent dan memilih bentuk fungsional yang
menghubungkan parameter dari distribusi ini ke nilai dari variabel independent . Dalam kasus model logit, variabel dependent dikotomi agaknya memiliki distribusi binomial dengan “trial” tunggal dan parameter pi . Kemudian pi
diasumsikan tergantung oleh
variabel independent . Akhirnya kita mengasumsikan bahwa observasi bebas untuk semua individual. 2. Langkah kedua –maksimalisasi- khususnya membutuhkan metode iterasi numerik, yang berarti bahwa akan melibatkan pendekatan suksesif. Metode ini sering memerlukan komputasi, yang menjelaskan mengapa estimasi ML menjadi populer dalam dua dekade terakhir ini.
Berikut perincian langkah-langkah di atas: Misalkan
(∑ )
adalah probabiliti bahwa
dari model logit:
Parameter
yang
dicari
dapat
sebagai berikut:
Karena
kita
probabilitas dari
diekspresikan
dengan
membuat
fungsi likelihood
mengasumsikan semua
probabilitas individual :
Dimana
, diasumsikan bahwa data dihasilkan
bahwa
observasi
observasi bisa
adalah
difaktorkan
independent, ke
dalam
∏
seluruh
produk
mengindikasikan perkalian berulang.
Dengan definisi
dan
. Kita bisa menulisnya menjadi
Dengan menggabungkan persamaan (3) ke (2) didapatkan:
∏ ∏ ∏ ∏
Sekarang dengan melogaritmakan persamaan di atas, diperoleh:
∑ ∑
(6)
dari
∑ ∑ ∑ (∑ )
Dengan merubah ekspresi dari model logit atas, didapatkan:
ke dalam persamaan di
(7)
Sejauh ini kita telah menyederhanakan fungsi likelihood.
Langkah ke-2, memilih nilai β yang membuat persamaan (7) sebesar mungkin. Ada banyak metode berbeda untuk memaksimalkan fungsi seperti ini. Salah satu yang terkenal adalah dengan mencari turunan dari fungsi ini terhadap β, set turunan ini sama dengan 0, kemudian mulai diturunkan terhadap β sebagai berikut:
dimana:
(∑ ) ∑ ̂ ̂ ∑
Merupakan probabilitas dari (9).
untuk nilai
. Karena
adalah sebuah vektor, persamaan
