Note_ Model Regresi Terbaik _ Stepwise Regression, Backward Elimination, Dan Forward Selection

5/24/13

note: model r eg eg re resi ter ba bai k : stepwi se se r eg eg re ressi on on, backwar d el im imi na nati on on, dan for wa war d sel ec ecti on on

Home Follow us on Twitter

note ant to share about knowledges and experiences. Enjoy it :)

model regresi terbaik : stepwise regression, backward backwar d elimination, dan forward selection

Subscribe Fe e d RSS

Tw itte r

Erna Suprihartiningsih | Minggu, 02 Januari 2011 |

ANALISIS REGRESI : PEMILIHAN MODEL TERBAIK

Search

Search ...

Jika antar variabel prediktor saling berkorelasi satu sama lain, dikatakan terjadi kasus multicolinear. Hal ini karena beberapa variabel prediktor tidak significant berada dalam model valaupun

About me

sesungguhnya variabel tersebut berhubungan sangat erat dengan variabel respon Y. Untuk Erna S uprihar uprihartiningsih tiningsih

mendapatkan model yang diinginkan terdapat dua pertimbangan dalam pembentukan model, diantaranya: .

Lihat profil lengkapku

Agar persamaan regresi bermanfaat untuk tujuan prediksi, serigkali diinginkan model yang memuat sebanyak-banyaknya variabel X (prediktor) yang mempengaruhi variabel Y (respon)

.

Karena pertimbangan biaya untuk mendapatkan informasi, maka digunakan sesedikit mungkin variabel X (prediktor) yang mempengaruhi variabel Y (respon) Untuk itu dibutuhkan metode untuk dapat mengakomodasikan dua kepentingan di atas dengan cara Selecting the best regression equation. Berikut ini adalah cara-cara yang sering digunakan dalam

Pengikut Join this site w ith Google Friend Friend Connect

memilih model terbaik.

Members (7) 5.1. Best Sub Subset set Mod odel el

Memilih semua subset (model) yang terbaik yang memenuhi kriteria diatas. Kriteria yang digunakan adalah: R2 terbesar

Already a mem member? ber? Sign in

MS residua l terkecil Cp yang mendekati jumlah jumlah parameter Dengan Den gan menggunakan Minitab lakukan langkah berikut : Stat > Regression > Best Subsets

Dialog box box items : R espons espons

: Masukkan kolom yang memuat variabel respon Y

Free predictors

: masu masu kkan yan g memuat variabel –v ariabel prediktor X (maksimum (maksimum 31 31

checked

5 0 2 5 Diberdayakan Diberd ayakan oleh Blogger .

variabel) Predictors in all models

: pilih pilih kolom-kolom kolom-kolom yang mem memuat uat variabel yan g ing in dimasukkan d alam model. Kolom-kolom Kolom-kolom ini ini tidak bo leh terda ftar dalam Free predictors . Jika anda menganalisis data dengan lebih dari 15 variabel prediktor, pertimbangkan termasuk variabel prediktor ini dalam rangka mengurangi jumlah free variables dan mempercepat proses perhitun gan

5.2 . Stepwis e, Eliminas Eliminasii Backward and Forw Forward ard Sel ection Regre ss ion

Metode Stepwise, Backward Elimination dan Forward Selection merupakan suatu metode untuk mengurangi kemungkinan adanya muktikolinearitas dari persamaan/model yang dihasilkan. 5.2.1 Stepwise Regression

Regresi Regr esi stepwise melibatkan dua jenis proses yaitu: forward selection dan backward elimination. Teknik ini dilakukan melalui beberapa tahapan. Pada masing-masing tahapan, kita akan memutuskan variabel mana yang merupakan prediktor terbaik untuk dimasukkan ke dalam model. Variabel ditentukan berdasarkan uji-F, variabel ditambahkan ke dalam model selama nilai p-valuenya kurang dari nilai kritik α (biasanya 0,15). Kemudian variabel dengan nilai p-value lebih dari nilai kritik α akan dihilangkan. Proses ini dilakukan terus menerus hingga tidak ada lagi variabel yang memenuhi kriteria untuk ditambahkan atau dihilangkan.

Model dalam regresi Stepwise adalah: Y = β0 + β1X1 + β2X2 + β3X3 + …. + βnXn Regresi si Stepwise adalah: Sedangkan Hipotesis yang digunakan dalam Regre er nasupr i har ti ni ng si h.bl og spot.com/2011/01/model - r eg r esi - ter bai k- stepwi se.html

1/7

5/24/13

note: model r eg resi ter bai k : stepwi se r eg ressi on, backwar d el imi nati on, dan for war d sel ecti on

H0 : β1, β2, β3 = 0 Dengan hipotesis alternatif adalah: Ha : β1, β2, β3 ≠ 0 Ilustrasi: Berikut ini adalah data gaji manajer pada 10 perusahaan besar, dengan regresi stepwise kita dapat memilih variabel mana saja dari daftar berikut yang signifikan dalam mempengaruhi besarnya gaji para manajer tersebut:

No. 1 2 3 4 5 6 7 8 9 10

Y 15 16 16 16 16 16 16 16 16 9

X1 3 4 9 8 8 12 7 13 25 19

X2 15 14 14 11 18 13 12 14 16 19

X3 1 1 0 0 1 0 0 0 1 0

X4 200 250 150 200 140 260 300 150 200 240

X5 22 23 23 23 24 24 23 23 23 23

X6 1 1 1 1 1 1 1 1 1 1

X7 40 39 38 52 36 54 49 40 45 48

X8 22 21 22 22 21 22 21 21 22 22

X9 0 0 0 1 0 1 0 0 0 1

X10 5 7 12 12 14 16 17 5 6 9

Dimana: Y = gaji manajer (dalam logaritma natural = ln) *lihat bab normalisasi data dengan transformasi X1 = masa kerja (tahun) X2 = masa pendidikan (tahun) X3 = bonus (1 jika ada, dan 0 jika tidak ada) X4 = Jumlah karyawan yang diawasi (orang) X5 = Aset perusahaan (dalam logaritma natural = ln) *lihat bab normalisasi data dengan transformasi X6 = dewan direksi (1 jika ada, dan 0 jika tidak ada) X7 = umur (tahun) X8 = keuntungan perusahaan (dalam logaritma natural = ln) *lihat bab normalisasi data dengan transformasi X9 = tanggung jawab internasional (1 jika ada, dan 0 jika tidak) X10 = total penjualan perusahaan 12 bulan terakhir (dalam milyar) Hipotesis: H0 = H0 : β1, β2, β3 = 0 Ha : β1, β2, β3 ≠ 0 Langkah pengerjaan dengan SPSS adalah dengan memilih Analyze – Regression – Linear , kemudian masukkan variabel dependen maupun independennya. Model dibuat dengan memasukkan variabel prediktor satu persatu (secara bertahap) mulai dari variabel X yang memiliki korelasi tinggi Langkah-langkahnya: 1. Cari variabel X yang berkorelasi paling tinggi dengan Y, kemudian buat regresinya 2. Pemilihan variabel berikutnya adalah variabel yag memiliki korelasi parsial terbesar dengan Y dan buat model dengan memasukkan variabel tersebut. 3. Uji parameter yang telah ada di dalam model 4. Begitu seterusnya ulangi langkah 2-3 sampai diperoleh model terbaik 5.2.2 Backward Elimination Membuat model dengan memasukkan semua variabel kemudian dikeluarkan satu persatu dengan melakukan pengujian terhadap parameter –parameternya dengan menggunakan partial F test. Nilai partial F-test (FL) terkecil dibandingkan dengan F0 table: •Jika FL < F0, maka X yang bersangkutan dikeluarkan dari model dan dilanjutkan dengan pembuatan model baru tanpa variable tersebut •Jika FL>F0, maka proses dihentikan dan persamaan terakhir tersebut yang digunakan/dipilih. 5.2.3 Forward Selection Forward Selection merupakan salah satu metode pemodelan (pembangunan model linier) untuk menemukan kombinasi peubah yang “terbaik” dari suatu gugus peubah. Dalam Prosedur Forward selection, sekalinya variable masuk kedalam persamaan maka tidak bisa dihilangkan. ernasuprihartiningsih.blogspot.com/2011/01/model-regresi-terbaik-stepwise.html

2/7

5/24/13


Selain itu, Forward selection dapat berarti memasukkan variabel bebas yang memiliki korelasi yang paling erat dengan variabel tak bebasnya (variabel yang paling potensial untuk memiliki hubungan linier dengan Y). kemudian secara bertahap memasukkan variabel bebas yang potensial berikutnya dan nanti akan terhenti sampai tidak ada lagi variabel bebas yang potensial. Kelebihan dan Kekurangan Forward Selection 1. Kelebihan prosedur Forward selection diantaranya sebagai berikut: a. Metode forward, backward, dan stepwise merupakan alternative untuk mengurangi kemungkinan adanya multikolinearitas dalam model yang dihasilkan. b. Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita hanya mempertimbangkan sebuah subset kecil dari semua model-model yang mungkin. Sehingga resiko melewatkan atau kehilangan model terbaik akan bertambah seiring dengan penambahan jumlah variabel bebas. 2. Kelemahan prosedur Forward Selection adalah diantaranya; a. Lama dalam penghitungan , karena harus menghitung satu-satu dari peubah yang ada, dari peubah yang memiliki F tersebar. b. Dalam metode ini, ada kemungkinan untuk memasukkan lebih banyak variable yang tidak begitu signifikan ke dalam model dibanding metode backward dan stepwise, karena MSE yang dihasilkan forward akan lebih kecil yang menyebabkan nilai Fobs besar. c. Prosedur ini tidak selalu mengarahkan ke model yang terbaik, mengingat kita hanya mempertimbangkan sebuah subset kecil dari semua model-model yang mungkin. Sehingga resiko melewatkan atau kehilangan model terbaik akan bertambah seiring dengan penambahan jumlah variabel bebas. Prosedur Forward Selection Prosedur forward selection dimulai dengan sebuah persamaan yang terdiri dari suku konstanta, tidak terdiri dari predictor variable. Variable pertama yang masuk ke dalam persamaan adalah variable yang memiliki simple correlation tertinggi dan signifikan dengan variable Y. Jika koefisien regresi signifikan berbeda dari 0 maka tetap dipakai dalam persamaan, dan dilakukan pencarian variable kedua. Variable yang masuk ke dalam persamaan sebagai variable kedua adalah variable yang memiliki korelasi tertinggi kedua dan masih signifikan dengan Y. kemudian koefisien regresi dari variable kedua diuji. Jika signifikan, maka dilakukan pencarian terhadap variable ketiga dengan cara yang sama. Prosedur dihentikan saat pemasukan variable terakhir tidak memiliki koefisien regresi dan tidak signifikan atau semua variable masuk dalam persamaan. Koefisien regresi yang signifikan dari variable terakhir dilihat dari uji-t dari persamaan terakhir. Langkah-langkah Forward Selection; 1. Mulai dengan tidak ada predictor variable (model hanya berisi konstanta), 2. Untuk semua predictor variable tidak dalam model, pilih satu variable dengan nilai p-value terkecil dan kurang dari taraf nyata α. 3. Ulangi langkah b) hingga tidak terdapat predictor variable yang dapat ditambahkan ke dalam model. Dengan menggunakan Minitab lakukan langkah berikut: Stat > Re gres sion > Stepwise>M ethods Dalog box items Stepwise (forward and backward) : pilih standard stepwise regression : masukkan variable prediktor. Variabel ini akan Predictor in initial model dikeluarkan jikap-value lebih besar dari alpha to enter value (Jika ingin mempertahankan variabel tertentu dalam model abaikan nilaip-value dan enter variabel tersebut dalam Predictor to include in every model dalam box utama) : tetapkan nilai α untuk memasukkan variable dalam Alpha to enter model Alpha to remove : tetapkan nilai α untuk mengeluarkan variable dalam model ernasuprihartiningsih.blogspot.com/2011/01/model-regresi-terbaik-stepwise.html

3/7

5/24/13


: pilih Forward selection : tetapkan nilai α untuk memasukkan variable dalam

Forward selection Alpha to enter model Backward elimination Alpha to remove

: tetapkan nilai α untuk mengeluarkan variable dalam model : masukkan variabel prediktor yang tidak ingin dikeluarkan dari model

Force

CONTOH SOAL: DATA A sociologist investigating the recent upward shift in homicide trends throughout the United States studied the extent to wich the homicide rate per 100.000 population (Y) is associated with population size (X1), the percent of families with yearly incomes less than $5,000, and the rate of unemployment (X3). Data are provided in the table for a hypotetical sampel of 20 cities. City X1 X2 X3 Y 1 587 16.5 6.2 11.2 2 643 20.5 6.4 13.4 3 635 26.3 9.3 40.7 4 692 16.5 5.3 5.3 5 1248 19.2 7.3 24.8 6 643 16.5 5.9 12.7 7 1964 20.2 6.4 20.9 8 1531 21.3 7.6 35.7 9 713 17.2 4.9 8.7 10 749 14.3 6.4 9.6 11 7895 18.1 6.0 14.5 12 762 23.1 7.4 26.9 13 2793 19.1 5.8 15.7 14 741 24.7 8.6 36.2 15 625 18.6 6.5 18.1 16 854 24.9 8.3 28.9 17 716 17.9 6.7 14.9 18 921 22.4 8.6 25.8 19 20

595 3353

20.2 16.9

8.4 6.7

21.7 25.7

SOAL: Carilah model regresi terbaik antara Y, X1, X2, X3 pada taraf uji 5% dan 10% dengan menggunakan step: a. stepwise regression b. backward elimination Jawab : . Stepwise regression (regresi bertatar) Langkah 1. Matriks Korelasi X1 X2 X3 X1 1 X2 -0.16378 1 X3 -0.23341 0.815418 1 Y -0.0671 0.839778 0.864841

Y

1

Dari matriks di atas variable X3 paling tinggi nilai korelasinya dengan variable respon Y, rx3y = 0.865. Dengan demikian, variable X3 yang pertama dimasukkan ke dalam persamaan regresi. Sumber variasi Regresi X3 Residu

Df 1 18

SS

MS

1387.59972 1387.69972 467.602282 25.98

Fhit

F.05

F.10

R

53.41

4.41

3.01

0.

ernasuprihartiningsih.blogspot.com/2011/01/model-regresi-terbaik-stepwise.html

4/7

5/24/13


Total

19

1855.202

Uji F secara keseluruhan untuk variabel X3 menunjukkan bahwa persamaan regresi ini nyata secara statistik dengan R2 = 0.75. Langkah 2:

Menghitung koefisien korelasi parsial orde ke- 1 untuk memilih variabel selanjutnya (X1 dan X2)

ryx1|x3 = 0.276047 (ryx1|x3 )2= 0.076202 (ryx2|x3 )2= 0.2144123 Dari perhitungan di atas, tampak bahwa koefisien korelasi parsial variabel X2 paling tinggi, sehingga variabel X2 dimasukkan ke dalam model. Langkah 3 : mengevaluasi model Y = f(X3,X2) Analisis Varians Regresi Parsial Sumber variasi Df Regresi (X3,X2,X1) 3 R(X1| X2, X3) 1 R(X2| X1, X3) 1 R(X3| X1, X2) 1 Residu 16 Total 19

SS 1518,145 30.28554 94.91292 200.3465 337.1571 1855.202

MS 506.0483 30.28554 94.91292 200.3465 21.06607 97.54221

Fhit 24.02 1.44 4.51 9.51

F.05 3.24 4.49 4.49 4.49

F.10 2.46 3.05 3.05 3.05

Dari ketiga nilai F-parsial, baik pada taraf nyata 5% maupun taraf nyata 10%, ternyata variabel X3 yang terkecil dan tidak signifikan, sehingga harus dikeluarkan dari persamaan. Dengan demikian, variabel yang terpilih adalah X2 dan X3dan prosedur regresi bertahap selesai, dengan persamaan akhir : Persamaan Y = f(X3, X2): Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.2% II. M etode Backward Elimination (BE)

Langkah 1 : Bentuk persamaan lengkap dan analisis varians tertera di bawah ini : Evaluasi model Persamaan Y = f(X3 , X 2 , X 1 )

Yest= -36.76492528 + 0.000762937 X1 + 1.192174211 X2 + 4.719821372 X3 Analisis Varian Regresi Parsial Sumber variasi Db Regresi (X3,X2,X1) 3 R(X1| X2, X3) 1 R(X2| X1, X3) 1 R(X3| X1, X2) 1 Residu 16 Total 19

JK 1518,145 30.28554 94.91292 200.3465 337.1571 1855.202

RJK 506.0483 30.28554 94.91292 200.3465 21.06607 97.54221

Fhit 24.02 1.44 4.51 9.51

F.05 3.24 4.49 4.49 4.49

F.10 2.46 3.05 3.05 3.05

Dari tabel Analisis Varians F-Parsial, tampak bahwa Variabel X1 mempunyai Nilai F parsial terkecil dan tidak nyata, sehingga harus dikeluarkan dari model. Langkah 2

: mengevaluasi model tanpa menyertakan Variabel X3 : Y = f(X2, X3)

Analisis Varians Regresi Parsial Sumber variasi Df Regresi (X3,X2) 2 R(X2|X3) 1 R(X3|X2) 1

SS 1487,145 100.2597 179.5199

MS 743.9297 100.2597 179.5199

Fhit 34.43 3.64 8.31


F.05 3.59 4.45 4.45

F.10 2.46 3.03 3.03 5/7

5/24/13


Residu Total

17 19

367.3426 1855.202

21.60839 97.54221

Model Persamaan baru Y = f(X3,X2): Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% Model persamaan ini nyata dengan Nilai F hitung keseluruhan 34.3* (nyata baik pada taraf 5% maupun pada taraf 10%) dengan nilai koefisien determinan, R2 = 80.2% dan nyata. Nilai F-parsial variabel X3 dan X2 juga nyata, sehingga kedua variabel tersebut harus dipertahankan. Karena tidak terdapat lagi variabel yang dikeluarkan dari Model, maka persamaan akhir Regresi dengan pendekatan langkah mundur adalah: Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% Kesimpulan : Dari Kedua cara pemilihan model regresi terbaik, ternyata untuk kasus sosial di atas semuanya konsisten. Hanya Variabel X2 (pendapatan keluarga) dan X3(tingkat pengangguran) saja yang terpilih dan nyata memberikan kontribusi dalam menentukan tinggi rendahnya Y (Laju bunuh diri)

Reaksi:

5 komentar: oryzabitha mengatakan... 20 Maret 2011 00.10

ciie.. g sengaja blogwalking.. eh, nemu punya jeng erna ^^ nice information. share lbih banyak yak :)

-na- mengatakan... 24 Maret 2011 11.19

eh jeng bitha, hahaha.. iseng.iseng s haring ilmu. nambah ilmu^^

efrimidori mengatakan... 2 November 2012 22.18

kaaa tanya donk, tu di langkkah 2 metode stepwisenya gimana ya caranya? saya belum mengerti, trimakasih sebelumnya

Erna Suprihartiningsih mengatakan... 4 Desember 2012 16.21


6/7

5/24/13

note: model r eg resi ter bai k : stepwi se r eg ressi on, backwar d el imi nati on, dan for war d sel ecti on wadu, ma'af yaa baru buka blog skrg :(

km ada buku panduan eviews tak?, disitu bisa dibaca lebih jelas ttg metode ini. :)

arief gress mengatakan... 24 Desember 2012 11.49

tolong kirim ke email saya dong [email protected] lagi ngerjain TA ni,kalau ada buku tentang uji asumsi klasik tlong minta filenya

Poskan Komentar Masukkan komentar Anda...

Beri komentar sebagai: Google Account Publikasikan

Pratinjau

Link ke posting ini Buat sebuah Link

← Posting Lebih Baru

Beranda

↑ Top. note is powered by Blogger


Designed by

and Blog and Web.

7/7

Note_ Model Regresi Terbaik _ Stepwise Regression, Backward Elimination, Dan Forward Selection

Recommend Documents