REGRESI RIDGE

Pengertian Regresi Ridge

Regresi ridge merupakan salah satu cara untuk mengatasi multikolinieritas diantara variabel-variabel bebasnya. Karena memberikan tetapan bias yang relatif kecil dan memberikan variansi yang minimum. Metode regresi ridge merupakan modifikasi dari metode kuadrat terkecil dengan cara mengalihkan tetapan bias c yang kecil pada diagonal matriks identitas. Modifikasi regresi ridge dapat dilakukan dengan cara menambahkan tetapan c pada diagonal utama matriks X'X, sehingga koefisien estimator ridge dipenuhi dengan besaran tetapan bias c. Sehingga parameter penduganya menjadi :

βc=(X'X+cI)-1X'Y

Dimana c harus merupakan bilangan positif atau c 0 umumnya c terletak antara interval 0 > c > 1.
Estimator regresi ridge diperoleh dengan meminimumkan jumlah kuadrat galat untuk model :

Y = βX+ε

Dengan syarat memenuhi kendala tunggal j=1kβj2=ρ

Misalkan model yang akan diestimasi adalah parameter dari persamaan :

Yi=β0+β1X1i+β2X2i+…+ βkXki+εi

Sehingga didapat dari persamaan :

ε'ε=Y'Y-2X'Yβ+X'Xβ2+cI(βj2-ρ)

Dengan menggunakan syarat minimmum akan di diferensialkan terhadap β dan estimasi regresi ridge dapat diperoleh :

δε'εδβ=-2X'Y-2X'Xβ+2cIβ=0

X'X β+cI β=X'Y
(X'X + cI ) β=X'Y
βc=(X'X+cI)-1X'Y

Sifat dari estimator ridge adalah :
Bias

E(β(c))=(X'X+cI)-1 X'Y dengan Y=X β
= X'X+cI)-1X'Yβ
Variansi minimum

Var [β(c)] = X'X+cI-1X'X'X+cIX''
= X'X+cI-1X'σ2IXX'X+cI-1
= σ2X'X+cI-1X'XX'X+cI-1

Sehingga nilai VIF merupakan diagonal utama dari matriks
X'X+cI-1X'XX'X+cI-1


Metode regresi ridge pertama kali dikemukakan oleh A.E Hoerl pada tahun 1962. Dari beberapa metode yang digunakan untuk mengatasi multikolinieritas metode regresi ridge merupakan metode yang terbaik dalam mengatasi multikolinieritas, karena tujuan regresi ridge adalah untuk memperkecil variansi estimator koefisien regresi.
Hoerl dan Kennard (1970) dalam Gusriani (2004) menentukan nilai c dengan menggunakan ridge trace yang merupakan suatu plot data antara βR dengan beberapa nilai c dengan selang 0 sampai 1 hingga tercapai kestabilan pada parameter dugaannya. Akan tetapi pemilihan c dengan ridge trace menjadi prosedur yang sangat subjektif. Karena memerlukan keputusan peneliti untuk menentukan nilai c yang akan dipilih (Montgomery dan Peck 1992). Hoerl, Kennard dan Balwin (1975) dalam Gusriani (2004) menyarankan pemilihan nilai c dengan meggunakan rumus HKB :

c = P σ2β ' β

dimana β dan σ diperoleh dari metode kuadrat terkecil.

Langkah-langkah penaksiran koefisien regresi ridge adalah :
Lakukan transformasi terhadap matriks X dan vektor Y, menggunakan centering dan rescaling.
Hitung matriks Z'Z=rxx= matriks korelasi dari variabel bebas, serta hitung Z'Y*= korelasi dari variabel bebas terhadap variabel tak bebas Y.
Hitunglah penaksiran parameter β* dengan berbagai kemungkinan tetapan bias θ, θ>0
Hitunglah cθ dengan berbagai nilai θ
Tentukan nilai θ dengan mempertimbangkan nilai cθ , tentukan koefesien penaksir ridge dari nilai θ yang sesuai
Hitunglah nilai Y dan menganalisis ANAVA.





Ridge Trace

Ridge trace merupakan plot dari estimator dari regresi ridge secara bersama dengan berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias dalam estimator β(c) , bila c = 0 maka estimator βc akan bernilai sama dengan estimator kuadrat terkecil β. Sedangkan bila c > 0 maka koefisien estimator ridge akan bias terhadap parameter β, tetapi lebih stabil bila dibandingkan pada estimator kuadrat terkecil. Pemilihan besarnya tetapan bias c adalah tetapan bias yang menghasilkan estimator yang stabil dan relatif kecil. Sedangkan untuk memilih besaran c dapat dilihat dari besarnya VIF dan melihat pola kecenderungan ridge trace. VIF merupakan faktor yang mengukur seberapa besar kenaikan variansi dari koefisien estimator βk dibandingkan terhadap variabel bebas lain yang saling ortogonal. Bila terdapat korelasi yang tinggi nilai VIF akan besar. Nilai VIF memiliki nilai mendekati 1 jika variabel bebas X tidak saling berkolerasi dengan variabel-variabel bebas lainnya.
Determinan X'X dapat digunakan sebagai indeks dari multikolinieritas. Nilai deteminannya yaitu 0 X'X 1. jika X'X=I maka terdapat hubungan ortogonal antara variabel bebasnya. Jika "X'X" = 0 maka terdapat hubungan linear diantara variabel bebasnya, dengan kata lain bahwa tingkat multikolinieritas di lihat dari "X'X" mendekati 0.


Analisis Penaksiran Model Regresi Ridge

Dalam analisis regresi ridge data yang digunakan adalah data yang sudah ditransformasi melalui metode centering dan rescaling. Sedangkan dalam pemilihan tetapan θ untuk dapat menduga regresi ridge digunakan statistik Cp mallows (C0). Nilai C0 didapat dari berbagai nilai kemungkinan tetapan θ. Nilai θ yang terpilih adalah pada saat C0 minimum.
Untuk kriteria uji pada ANAVA : Tolak H0 jika Fhitung F (p; n-p-1;α/2) atau dapat dilihat dari nilai p, jika p α maka tolak H0.

Untuk pengujian secara parsial atau individu dapat dapat dilakukan melalui pengujian hipotesis sebagai berikut :
Ho : βi*= 0 , untuk i=1,2,3 (variabel independen X secara individu tidak berpengaruh secara signifikan terhadap nilai taksiran Y)
H1: βi* 0 , untuk i=1,2,3 (variabel independen X secara individu berpengaruh secara signifikan terhadap nilai taksiran Y)
α = 5%

Dengan kriteria uji :
Tolak H0 jika thitung -t(n-2; α/2) atau t hitung t (n-2 ; α/2) , bisa dilihat dari p jika p α maka H0 ditolak.