UJIAN AKHIR SEMESTER
PEMILIHAN MODEL REGRESI TERBAIK DENGAN MENGGUNAKAN: Regresi Bertatar (Stepwise Regression) Pendekatan Langkah Mundur (Backward Elimination) APRE (All Posible Regression Evaluation)
PENGAJAR: TOTO WARSA, IR., MS.
Oleh Ade Setiawan 1502 2006 0003
ILMU TANAH PERTANIAN
PROGRAM PASCASARJANA UNIVERSITAS PADJADJARAN UNPAD 2007 1
DATA A sociologist investigating the recent upward shift in homicide trends throughout the United States studied the extent to wich the homicide rate per 100.000 population (Y) is associated with population size (X1), the percent of families with yearly incomes less than $5,000, and the rate of unemployment (X3). Data are provided in the table for a hypotetical sampel of 20 cities. City 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
X1 587 643 635 692 1248 643 1964 1531 713 749 7895 762 2793 741 625 854 716 921 595 3353
X2 16.5 20.5 26.3 16.5 19.2 16.5 20.2 21.3 17.2 14.3 18.1 23.1 19.1 24.7 18.6 24.9 17.9 22.4 20.2 16.9
X3 6.2 6.4 9.3 5.3 7.3 5.9 6.4 7.6 4.9 6.4 6.0 7.4 5.8 8.6 6.5 8.3 6.7 8.6 8.4 6.7
Y 11.2 13.4 40.7 5.3 24.8 12.7 20.9 35.7 8.7 9.6 14.5 26.9 15.7 36.2 18.1 28.9 14.9 25.8 21.7 25.7
SOAL: Carilah model regresi terbaik antara Y, X1, X2, X3 pada taraf uji 5% dan 10% dengan menggunakan step: a. Regresi Bertatar b. Pendekatan Langkah Mundur c. APRE (All Posible Regression Evaluation)
2
Jawaban: A. Regresi Bertatar (Stepwise Regression) Langkah 1. Matriks Korelasi X1 X1 X2 X3 Y
1 -0.16378 -0.23341 -0.0671
X2
X3
Y
1 0.815418 0.839778
1 0.864841
1
Dari matriks di atas, variabel X3 paling tinggi nilai korelasinya dengan variabel respons Y, rx3y = 0.865. Dengan demikian, variabel X3 yang pertama dimasukkan ke dalam persamaan regresi. Sumber Variasi
Db
Regresi (X3) Residu Total
1 18 19
JK
RJK
Fhit
1387.59972 1387.59972 467.602282 25.98 1855.202
53.41
*
F.05
F.10
R2
4.41
3.01
0.75
Uji F secara keseluruhan untuk variabel X3 menunjukkan bahwa bahwa persamaan regresi ini nyata secara statistik dengan R2 = 0.75.
Langkah 2: Menghitung koefisien korelasi parsial orde ke-1 untuk memilih variabel selanjutnya (X1 dan X2) ryx1 x3 =
ryx1 x3 =
ryx1 − ryx3 .rx1x3
[(1 − r )(1 − r 2
yx3
2
x1 x3
)]
1
ryx2 x3 =
2
0.839778 − (0.864841 )(0.815418)
(1 − (0.864841) )(1 − (0.815418) ) 2
2
= 0.463047
0.0671 − (0.864841 )(-0.23341)
(1 − (0.864841) )(1 − (-0.23341) )
= 0.276047
2
2
ryx2 2 x3 = 0.2144123
ryx2 1 x3 = 0.076202
Dari perhitungan di atas, tampak bahwa koefisien korelasi parsial variabel X2 paling tinggi, sehingga variabel X2 dimasukkan ke dalam model.
3
Langkah 3 : Mengevaluasi model Y = ƒ(X3, X2) Analisis Varians Regresi Parsial Sumber Ragam Regresi (X3, X2) R(X2|X3) R(X3|X2) Residu Total
DB 2 1 1 17 19
JK 1487.859 100.2597 179.5199 367.3426 1855.202
RJK F-hit 743.9297 34.43 * 100.2597 4.64 * 179.5199 8.31 * 21.60839 97.64221
F 0.05 3.59 4.45 4.45
F 0.10 2.64 3.03 3.03
R2 0.802
Model Persamaan baru Y = f(X3, X2) Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 0.802* Persamaan ini mempunyai R2 = 80.2% dan nyata. Terdapat peningkatan nilai koefisien determinan dari R2 = 75% menjadi R2 = 80,2% dengan dimasukkannya variabel X2 ke dalam model. Nilai F-parsial variabel X3 dan X2 juga nyata, sehingga kedua variabel tersebut harus dipertahankan. Langkah selanjutnya adalah memeriksa layak tidaknya variabel X1 dimasukkan ke dalam model.
Langkah 4. Menguji Variabel yang belum dimasukkan (Variabel X1) Evaluasi model Persamaan baru Y = f(X3, X2, X1) Analisis Varians Regresi Parsial Sumber Ragam Regresi (X3, X2, X1) R(X1| X2, X3) R(X2| X1, X3) R(X3| X1, X2) Residu Total
DB 3 1 1 1 16 19
JK 1518.145 30.28554 94.91292 200.3465 337.0571 1855.202
RJK 506.0483 30.28554 94.91292 200.3465 21.06607 97.64221
F-hit 24.02 * 1.44 tn 4.51 * 9.51 *
F 0.05 3.24 4.49 4.49 4.49
F 0.10 2.46 3.05 3.05 3.05
R2 0.8183
Dari ketiga nilai F-parsial, baik pada taraf nyata 5% maupun taraf nyata 10%, ternyata variabel X3 yang terkecil dan tidak signifikan, sehingga harus dikeluarkan dari persamaan. Dengan demikian, variabel yang terpilih adalah X2 dan X3 dan prosedur regresi bertahap selesai, dengan persamaan akhir:
Persamaan Y = f(X3, X2): Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.2%*
4
II. Metode Backward Elimination (BE) Langkah 1 : Bentuk persamaan lengkap dan analisis varians tertera di bawah ini : Evaluasi model Persamaan Y = f(X3, X2, X1) Yˆ = -36.76492528 + 0.000762937 X 1 + 1.192174211 X 2 + 4.719821372 X 3
Analisis Varians Regresi Parsial Sumber Ragam DB JK Regresi (X3, X2, X1) 3 1518.145 R(X1| X2, X3) 1 30.28554 R(X2| X1, X3) 1 94.91292 R(X3| X1, X2) 1 200.3465 Residu 16 337.0571 Total 19 1855.202
RJK 506.0483 30.28554 94.91292 200.3465 21.06607 97.64221
F-hit 24.02 * 1.44 tn 4.51 * 9.51 *
F 0.05 3.24 4.49 4.49 4.49
F 0.10 2.46 3.05 3.05 3.05
R2 0.8183
Dari tabel Analisis Varians F-Parsial, tampak bahwa Variabel X1 mempunyai Nilai Fparsial terkecil dan tidak nyata, sehingga harus dikeluarkan dari model.
Langkah 2. Mengevaluasi model tanpa menyertakan Variabel X3: Y = f(X2,X3) Analisis Varians Regresi Parsial Sumber Ragam DB JK Regresi (X3, X2) 2 1487.859 R(X2|X3) 1 100.2597 R(X3|X2) 1 179.5199 Residu 17 367.3426 Total 19 1855.202
RJK F-hit 743.9297 34.43 * 100.2597 4.64 * 179.5199 8.31 * 21.60839 97.64221
F 0.05 3.59 4.45 4.45
F 0.10 2.64 3.03 3.03
R2 0.802
Model Persamaan baru Y = f(X3, X2): Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% * Model persamaan ini nyata dengan Nilai F hitung keseluruhan 34.3* (nyata baik pada taraf 5% maupun pada taraf 10%) dengan nilai koefisien determinan, R2 = 80.2% dan nyata. Nilai F-parsial variabel X3 dan X2 juga nyata, sehingga kedua variabel tersebut harus dipertahankan. Karena tidak terdapat lagi variabel yang dikeluarkan dari Model, maka persamaan akhir Regresi dengan pendekatan langkah mundur adalah: Y = -34.0725 + 1.223931 X2 + 4.398936 X3, R2 = 80.20% *
5
III. Metode All Posible Regression Evaluation (APRE) Model persamaan yang terbentuk sebanyak 23 = 8 model persamaan. Model-model persamaan tersebut adalah: No
Model Persamaan
Jumlah Variabel Tanpa Variabel Xi
1
Y = β0
2 3 4
Y = β0 + β1X1 Y = β0 + β1X2 Y = β0 + β1X3
1 Variabel Xi
5 6 7
Y = β0 + β1X1 + β2X2 Y = β0 + β1X1 + β2X3 Y = β0 + β1X2 + β2X3
2 Variabel Xi
8
Y = β0 + β1X1 + β2X2 + β3X3
3 Variabel Xi
Dengan menggunakan bantuan Microsoft Excel, diperoleh: No 1 2 3 4 5 6 7 8
Model Persamaan
Y = 20.57 Y = 20.57 - 0.067098 X1 Y = 20.57 + 0.839778 X2 Y = 20.57 + 0.864841 X3 Y = 20.57 + 0.072382 X1 + 0.851633 X2 Y = 20.57 + 0.142525 X1 + 0.898108 X3 Y = 20.57 + 0.401592 X2 + 0.537376 X3 Y = 20.57 + 0.131544 X1 + 0.391172 X2 + 0.576575 X3
100.R2 %
0.45 % 70.52 % 74.80 % 71.03 % 76.72 % 80.20 % 81.83 %
Dari semua model tersebut, tampak bahwa sumbangan dari variabel X1 sangat kecil (No 2; 5; 6; 8, masing-masing hanya menambah 0.45%; 0.51%; 1.92%; dan 1.63%). Dengan demikian, meskipun persamaan No 8 (Y = 20.57 + 0.131544 X1 + 0.391172 X2 + 0.576575 X3) mempunyai nilai R2 tertinggi (81.83%), akan tetapi kenaikan nilai R2 hanya sebesar 1.92% dibandingkan dengan Model Persamaan No. 7, yang hanya menyertakan variabel X2 dan X3 saja (R2 80.20%). Dari Analisis tersebut, kita bisa menarik kesimpulan bahwa Model Persamaan No. 7 dengan hanya menyertakan Variabel X2 dan X3 saja yang terpilih, yaitu: Y = 20.57 + 0.401592 X2 + 0.537376 X3
6
Kesimpulan: Dari Ketiga cara pemilihan model regresi terbaik, ternyata untuk kasus sosial di atas semuanya konsisten. Hanya Variabel X2 (pendapatan keluarga) dan X3 (tingkat pengangguran) saja yang terpilih dan nyata memberikan kontribusi dalam menentukan tinggi rendahnya Y (Laju bunuh diri).
7
