REGRESI STEPWISE, BACKWARD, FORWARD Nama Kelompok : Miftalia Alriza
1308100003
Yulia Wu Wulan Sa Sari
1308100025
Windy Lestari
1308100047
Regresi Stepwise merupakan salah satu metode untuk mengatasi adanya kasus multikolini multikolinieritas, eritas, yaitu suatu kondisi kondisi dimana terjadi terjadi korelasi korelasi yang kuat diantara varia bel-variabe bel-variabell bebas (X). Untuk Untuk mendeteksi mendeteksi adanya kasus multikolinieri multikolinieritas tas dapat dilihat dari besarnya nilai VIF yang lebih dari 10. Metode Stepwise merupakan gabungan dari metode backward elimination dan forward selection, untuk itu akan dibahas metode
backward elimination, forward selection, dan stepwise regression . Metode Backward Metode Backward Elimination
Metode backward bekerja dengan mengeluarkan satu per satu variabel prediktor yang tidak signifikan dan dilakukan terus menerus sampai tidak ada variabel prediktor yang tidak signifikan, langkah-langkah metode backward adalah sebagai berikut : 1.
Membuat Membuat model dengan meregresikan meregresikan variabel variabel respon respon Y dengan dengan semua variabel prediktor.
2.
Mengeluarkan satu persatu dengan melakukan pengujian terhadap parameternya dengan menggunakan partial F test. Nilai F parsial terkecil dibandingkan dengan Ftabel : •
Jika Jika F parsial < Ftabel, maka X yang bersangkutan dikeluarkan dari model dan dilanjutkan dengan pembuatan model baru tanpa variabel tersebut.
•
Jika F parsial > F tabel, maka proses dihentikan artinya tidak ada variabel yang perlu dikeluarkan dan persamaan terakhir tersebut yang digunakan/dipilih.
Contoh Kasus : Apendix B (Drapper and Smith) No
X1
X2
X3
X4
Y
1 2
7 1
26 29
6 15
60 52
78,5 74,3
3
11
56
8
20
4 5
11 7
31 52
8 6
6 7
11 3
55 71
9 17
No.
X1
X2
X3
X4
Y
8 9
1 2
31 54
22 18
44 22
72,5 93,1
104,3
10
21
47
4
26
115,9
47 33
87,6 95,9
11 12
1 11
40 66
23 9
34 12
83,8 113,3
22 6
109,2 102,7
13
10
68
8
12
109,4
.
1.
Meregresikan variabel Y dengan X 1, X2, X3, X4
Regression Analysis: y versus x1; x2; x3; x4
The regression equation is y = 62,4 + 1,55 x1 + 0,510 x2 + 0,102 x3 - 0,144 x4
Predictor
Coef
SE Coef
T
P
62,41
70,07
0,89
0,399
x1
1,5511
0,7448
2,08
0,071
38,496
x2
0,5102
0,7238
0,70
0,501
254,423
x3
0,1019
0,7547
0,14
0,896
46,868
x4
-0,1441
0,7091
-0,20
0,844
282,513
Constant
S = 2,44601
R-Sq = 98,2%
VIF
R-Sq(adj) = 97,4%
Analysis of Variance Source
DF
SS
MS
F
P
Regression
4
2667,90
666,97
111,48
0,000
Residual Error
8
47,86
5,98
12
2715,76
Total
2.
Memilih variabel prediktor yang akan dikeluarkan Prediktor X3 memiliki nilai F parsial sebesar (0,14)2 yaitu 0,0196 yang terendah. P out ditentukan sebesar 0,1, maka F (1,v,
α
out)
= F(1, 8, 0.1) = 3,46. Karena nilai F parsial sebesar
0,0196 yang berarti kurang dari F (1, 8, 0.1), maka prediktor X3 harus dikeluarkan dari model. 3.
Meregresikan Y tanpa X3 (Y dengan X1, X2, X4) Regression Analysis: y versus x1; x2; x4
The regression equation is y = 71,6 + 1,45 x1 + 0,416 x2 - 0,237 x4
Predictor
Coef
SE Coef
T
P
71,65
14,14
5,07
0,001
x1
1,4519
0,1170
12,41
0,000
x2
0,4161
0,1856
2,24
0,052
x4
-0,2365
0,1733
-1,37
0,205
Constant
S = 2,30874
R-Sq = 98,2%
Analysis of Variance
R-Sq(adj) = 97,6%
Source
DF
SS
MS
F
P
Regression
3
2667,79
889,26
166,83
0,000
Residual Error
9
47,97
5,33
12
2715,76
Total
4.
Memilih prediktor untuk dikeluarkan Prediktor X4 memiliki nilai F parsial sebesar (-1,37)2 yaitu 1,8769 yang terendah. Nilai F(1,v,
α
out)
= F(1, 9, 0.1) = 3,36. Karena nilai F parsial sebesar 1,8769 yang berarti kurang
dari F(1, 9, 0.1), maka prediktor X4 harus dikeluarkan dari model. 5.
Meregresikan Y tanpa X3, X4 (Y dengan X1, X2) Regression Analysis: y versus x1; x2
The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2
Predictor
Coef
SE Coef
T
P
Constant
52,577
2,286
23,00
0,000
x1
1,4683
0,1213
12,10
0,000
x2
0,66225
0,04585
14,44
0,000
S = 2,40634
R-Sq = 97,9%
R-Sq(adj) = 97,4%
Analysis of Variance Source
DF
SS
MS
F
P
2
2657,9
1328,9
229,50
0,000
Residual Error
10
57,9
5,8
Total
12
2715,8
Regression
6.
Model Y sebagai fungsi X 1 dan X2 menghasilkan nilai F parsial terendah sebesar (12,10)2 yaitu 146,41. Nilai F (1,v,
α
out)
= F(1, 10, 0.1) = 3,29. Karena nilai F parsial sebesar
146,41 lebih dari F (1, 10, 0.1), maka prediktor X4 tidak dikeluarkan dari model dan tahap ini selesai. Dengan demikian model terbaik dari metode backward adalah dengan menggunakan 2 prediktor yaitu X1 dan X2 yang sudah tidak terdapat kasus multikolinieritas dengan model pada langkah 5, yaitu : Regression Analysis: y versus x1; x2
The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2
Predictor Constant
Coef
SE Coef
T
P
52,577
2,286
23,00
0,000
VIF
x1
1,4683
0,1213
12,10
0,000
1,055
x2
0,66225
0,04585
14,44
0,000
1,055
S = 2,40634
R-Sq = 97,9%
R-Sq(adj) = 97,4%
Analysis of Variance Source
DF
SS
MS
F
P
2
2657,9
1328,9
229,50
0,000
Residual Error
10
57,9
5,8
Total
12
2715,8
Regression
Langkah-langkah metode backward dengan menggunakan program Minitab yaitu : 1.
Memasukkan data pada Worksheet .
2.
Klik Stat
Regression pilih Stepwise.
3.
Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.
4.
Klik tombol Methods pilih Backward Elimination . Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,1 Klik OK.
5.
Klik OK , akan menghasilkan output sebagai berkut :
Stepwise Regression: y versus x1; x2; x3; x4
Backward elimination.
Alpha-to-Remove: 0,1
Response is y on 4 predictors, with N = 13
Step Constant
1
2
3
62,41
71,65
52,58
x1
1,55
1,45
1,47
T-Value
2,08
12,41
12,10
P-Value
0,071
0,000
0,000
x2
0,510
0,416
0,662
T-Value
0,70
2,24
14,44
P-Value
0,501
0,052
0,000
x3
0,10
T-Value
0,14
P-Value
0,896
x4
-0,14
-0,24
T-Value
-0,20
-1,37
P-Value
0,844
0,205
2,45
2,31
2,41
R-Sq
98,24
98,23
97,87
R-Sq(adj)
97,36
97,64
97,44
5,0
3,0
2,7
S
Mallows Cp
Regresi stepwise dengan metode backward menggunakan Minitab menunjukkan beberapa step yaitu pada step pertama variabel yang digunakan adalah semua variabel X (X1, X2, X 3, dan X4), dengan melihat P-value yang lebih dari 0,1 dan terbesar yaitu X 3, maka pada step selanjutnya variabel X 3 tidak diikutkan dalam model. Pada step kedua masih terdapat P-value yang > 0,1, yaitu X 4 maka pada step selanjutnya variabel X 4 dikeluarkan dari model. Pada step ketiga yang tersisa yaitu variabel X 1 dan X2 yang memiliki P-value kurang dari 0,1 sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X 1 dan X2. Langkah-langkah metode backward dengan menggunakan program SPSS yaitu : 1. Memasukkan data pada SPSS data editor.
2.
3.
Klik Analyze Regression
pilih Linear.
Pada kotak dialog Dependent masukkan Y, Independent masukkan semua varia bel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Backward.
4.
Klik OK , akan muncul output sebagai berikut : Variables Entered/Removed(b)
Model 1
Variables Entered
Variables Removed
X4, X3, X1, X2(a)
Method .
Enter
2
.
X3
Backward (criterion: Probability of F-toremove >= ,100).
X4
Backward (criterion: Probability of F-toremove >= ,100).
3
.
a All requested variables entered. b Dependent Variable: Y
Model 1 menunjukkan variabel yang dimasukkan yaitu semua variabel prediktor X1, X2, X3, dan X4. Model 2 menunjukkan variabel yang dikeluarkan dari model yaitu X3 dengan menggunakan nilai F-to remove sebesar 0,1, dan pada model 3 variabel yang dikeluarkan dari model yaitu X 4. Coefficients(a)
Unstandardized Coefficients Model 1
B 62,405
Std. Error 70,071
X1
1,551
,745
X2
,510
X3
(Constant)
Sig.
Beta ,399
,607
2,083
,071
,724
,528
,705
,501
,102
,755
,043
,135
,896
-,144
,709
-,160
-,203
,844
71,648
14,142
5,066
,001
X1
1,452
,117
,568
12,410
,000
X2
,416 -,237 52,577
,186 ,173 2,286
,430 -,263
2,242 -1,365 22,998
,052 ,205 ,000
X1
1,468
,121
,574
12,105
,000
X2
,662
,046
,685
14,442
,000
X4 (Constant)
3
t ,891
X4 (Constant)
2
Standardized Coefficients
a Dependent Variable: Y
Pada model 1, P-value yang signifikan (< 0,1) hanya terdapat variabel X 1, nilai P-value yang paling besar tidak signifikan akan dikeluatkan dari model yaitu X 3. Model 2 tanpa menggunakan variabel X 3 menunjukkan P-value yang tidak signifikan terdapat pada variabel X4, sehingga variabel X4 dikeluarkan dari model. Pada model 3 diperoleh nilai P-value X1, dan X2 sudah signifikan, sehingga tidak ada variabel yang perlu dikeluarkan dari model dan variabel yang dipilih atau digunakan dalam model yaitu variabel X1, dan X2. Dari ketiga cara diatas, langkah-langkah manual, program Minitab, dan program SPSS menghasilkan model yang sama yaitu model dengan menggunakan variabel X 1, dan X2 sebagai variabel prediktornya dan model terbaik yang diperoleh adalah : Regression Analysis: y versus x1; x2
The regression equation is y = 52,6 + 1,47 x1 + 0,662 x2
Predictor
Coef
SE Coef
T
P
Constant
52,577
2,286
23,00
0,000
x1
1,4683
0,1213
12,10
0,000
x2
0,66225
0,04585
14,44
0,000
S = 2,40634
R-Sq = 97,9%
R-Sq(adj) = 97,4%
Analysis of Variance Source Regression Residual Error
DF
SS
MS
F
P
2
2657,9
1328,9
229,50
0,000
10
57,9
5,8
Total
12
2715,8
Metode Forward Selection Kebalikan dari metode backward , metode forward adalah pemodelan dimulai
dari nol peubah ( empty model ), kemudian satu persatu peubah dimasukan sampai kriteria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut : 1.
Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R 2 tertinggi. Misal model tersebut adalah yang memuat prediktor X a, yaitu
.
ˆ =b Y 0 2.
+
b X a
a
Meregresikan variabel respon Y, dengan prediktor Xa, ditambah dengan setiap prediktor selain Xa dan prediktor lain. Kemudian dipilih model yang nilai R 2 nya tertinggi, misal mengandung tambahan prediktor X b, yaitu model . Prediktor terpilih X b berarti mempunyai Fsequensial tertinggi.
ˆ =b Y 0
+
ba X a
+
bb X b
Formula Fsequensial untuk X b adalah
. Nilai Fsequensial
F seq
=
R( β b | β 0 , β a ) / MSE / db
untuk X b juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T prediktor X b. 3.
Proses diulang sampai didapatkan F sequensial > Fin. Nilai Fin = F(1,v,
), sehingga
α in model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan Fsequensial < Fin. Contoh Kasus: Apendix B (Drapper and Smith) 1.
Meregresikan variabel Y dengan setiap variabel prediktor yaitu X 1, X2, X3, dan X4. a. Regression Analysis: y versus x1 The regression equation is y = 81,5 + 1,87 x1
Predictor
Coef
SE Coef
T
P
Constant
81,479
4,927
16,54
0,000
x1
1,8687
0,5264
3,55
0,005
S = 10,7267
R-Sq = 53,4%
R-Sq(adj) = 49,2%
b. Regression Analysis: y versus x2
The regression equation is y = 57,4 + 0,789 x2
Predictor
Coef
SE Coef
T
P
Constant
57,424
8,491
6,76
0,000
x2
0,7891
0,1684
4,69
0,001
S = 9,07713
R-Sq = 66,6%
R-Sq(adj) = 63,6%
c. Regression Analysis: y versus x3
The regression equation is y = 110 - 1,26 x3
Predictor
Coef
SE Coef
T
P
Constant
110,203
7,948
13,87
0,000
x3
-1,2558
0,5984
-2,10
0,060
S = 13,2781
R-Sq = 28,6%
R-Sq(adj) = 22,1%
d. Regression Analysis: y versus x4
The regression equation is y = 118 - 0,738 x4
Predictor
Coef
SE Coef
T
P
Constant
117,568
5,262
22,34
0,000
x4
-0,7382
0,1546
-4,77
0,001
S = 8,96390
1.
R-Sq = 67,5%
R-Sq(adj) = 64,5%
Memilih model yang mempunyai nilai R 2 tertinggi yaitu Y = 118 - 0,738 X 4 dengan R 2 sebesar 67,5% dan F sequensial = T 2 = (-4,77)2 = 22,7529. Nilai F in = F (1,v, in) = F (1, 11, α
= 4,48. Karena Fsequensial > F in maka proses memilih variabel untuk membang-un model terbaik terus dilakukan. Meregresikan variabel Y dan X4 dengan setiap variabel X 1, X2, dan X3. a. Regression Analysis: y versus x4; x1 0.05)
2.
The regression equation is y = 103 - 0,614 x4 + 1,44 x1
Predictor
Coef
SE Coef
T
P
103,097
2,124
48,54
0,000
x4
-0,61395
0,04864
-12,62
0,000
x1
1,4400
0,1384
10,40
0,000
Constant
S = 2,73427
R-Sq = 97,2%
R-Sq(adj) = 96,7%
b. Regression Analysis: y versus x4; x2
The regression equation is y = 94,2 - 0,457 x4 + 0,311 x2
Predictor
Coef
SE Coef
T
P
94,16
56,63
1,66
0,127
x4
-0,4569
0,6960
-0,66
0,526
18,7
x2
0,3109
0,7486
0,42
0,687
18,7
Constant
S = 9,32137
R-Sq = 68,0%
VIF
R-Sq(adj) = 61,6%
c. Regression Analysis: y versus x4; x3
The regression equation is y = 131 - 0,725 x4 - 1,20 x3
Predictor
Coef
SE Coef
T
P
131,282
3,275
40,09
0,000
x4
-0,72460
0,07233
-10,02
0,000
1,0
x3
-1,1999
0,1890
-6,35
0,000
1,0
Constant
S = 4,19211
R-Sq = 93,5%
VIF
R-Sq(adj) = 92,2%
Memilih model yang mempunyai nilai R 2 tertinggi yaitu Y = 103 - 0,614 X 4 + 1,44 X1 dengan R 2 sebesar 97,2%. dan F sequensial = T2 = (10,40) 2 = 108,16. Nilai Fin = F(1,v,
α
in)
= F(1, 10, 0.05) = 4,96. Karena F sequensial > Fin maka proses memilih variabel untuk
membangun model dilanjutkan dengan proses penambahan variabel prediktor untuk memperoleh model terbaik. 1.
Meregresikan variabel respon Y, dengan prediktor X 4 dan X1 , ditambah dengan setiap prediktor X2 dan X3. a. Regression Analysis: y versus x4; x1; x2 The regression equation is y = 71,6 - 0,237 x4 + 1,45 x1 + 0,416 x2
Predictor
Coef
SE Coef
T
P
71,65
14,14
5,07
0,001
x4
-0,2365
0,1733
-1,37
0,205
x1
1,4519
0,1170
12,41
0,000
x2
0,4161
0,1856
2,24
0,052
Constant
S = 2,30874
R-Sq = 98,2%
R-Sq(adj) = 97,6%
b. Regression Analysis: y versus x4; x1; x3
The regression equation is y = 112 - 0,643 x4 + 1,05 x1 - 0,410 x3
Predictor
Coef
SE Coef
T
P
111,684
4,562
24,48
0,000
x4
-0,64280
0,04454
-14,43
0,000
x1
1,0519
0,2237
4,70
0,001
x3
-0,4100
0,1992
-2,06
0,070
Constant
S = 2,37665
R-Sq = 98,1%
R-Sq(adj) = 97,5%
Model yang mempunyai nilai R 2 tertinggi yaitu Y = 71,6 - 0,237 X 4 + 1,45 X 1 + 0,416 X 2 dengan R 2 sebesar 97,2%, dan F sequensial = T2 = (10,40)2 = 1,876. Nilai Fin=F(1,v,
=F(1,9,0.1)=3,36, nilai Fsequensial pada prediktor X4 lebih kecil dari Fin.
)
α in
Sehingga prediktor proses sudah berhenti, dan prediktor yang dipilih/digunakan dalam model adalah X1 dan X4. Pemilihan model terbaik dengan metode forward selection adalah menggunakan 2 prediktor yaitu X1 dan X4, dimana model tersebut sudah memenuhi asumsi tidak terjadi kasus multiko-linearitas yang ditunjukkan pada langkah 3, yaitu : Regression Analysis: y versus x4; x1
The regression equation is y = 103 - 0,614 x4 + 1,44 x1
Predictor
Coef
SE Coef
T
P
103,097
2,124
48,54
0,000
x4
-0,61395
0,04864
-12,62
0,000
1,1
x1
1,4400
0,1384
10,40
0,000
1,1
Constant
S = 2,73427
R-Sq = 97,2%
VIF
R-Sq(adj) = 96,7%
Analysis of Variance Source
DF
SS
MS
F
P
2
2641,0
1320,5
176,63
0,000
Residual Error
10
74,8
7,5
Total
12
2715,8
Regression
Langkah-langkah metode forward selection dengan menggunakan program Minitab yaitu : 1.
Memasukkan data pada Worksheet .
2.
Klik Stat
3.
Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor
Regression pilih Stepwise.
X1 sampai X4.
4.
Klik tombol Methods pilih Forward Selection. Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to remove diisi 0,05 Klik OK.
5.
Klik OK , akan menghasilkan output sebagai berkut :
Stepwise Regression: y versus x1; x2; x3; x4
Forward selection.
Alpha-to-Enter: 0,05
Response is y on 4 predictors, with N = 13
Step
1
2
117,6
103,1
-0,738
-0,614
T-Value
-4,77
-12,62
P-Value
0,001
0,000
Constant
x4
x1
1,44
T-Value
10,40
P-Value
0,000
S
8,96
2,73
R-Sq
67,45
97,25
R-Sq(adj)
64,50
96,70
Mallows C-p
138,7
5,5
Regresi stepwise dengan menggunakan metode forward selection pada kasus di atas menunjukkan bahwa untuk pemilihan model terbaik dilakukan 2 langkah/step. Langkah per-tama variabel X4 terpilih untuk dimasukkan ke dalam model. Pada variabel X4, besarnya T2 yaitu 22,7529 > F (1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk memasuk-kan variabel prediktor lain ke model. Langkah kedua
ditambahkan variabel X1 ke dalam mo-del. Dengan T2 yaitu 108,16 < F (1, 10, 0.05) yaitu sebesar 4,96, maka langkah berikutnya tidak diperlukan lagi, sehingga variabel yang digunakan dalam model adalah X1 dan X4.
Langkah-langkah metode forward selection dengan menggunakan program SPSS yaitu : 1.
Memasukkan data pada SPSS data editor.
2.
Klik Analyze Regression pilih Linear.
3.
Pada kotak dialog Dependent masukkan Y, Independent masukkan semua varia bel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Forward .
4.
Klik OK , akan muncul output sebagai berikut : Variables Entered/Removeda Variables
Model
Variables Entered Removed
Method
1
X4
Forward
.
(Criterion: Probability-of-Fto-enter <= ,050) 2
X1
.
Forward (Criterion: Probability-of-Fto-enter <= ,050)
a. Dependent Variable: Y Model Summary Change Statistics Adjusted Std. Error of R Square Model
R
R Square
R Square the Estimate
Change
Sig. F F Change
df1
df2
Change
1
.821a
.675
.645
8.9639
.675
22.799
1
11
.001
2
.986b
.972
.967
2.7343
.298
108.224
1
10
.000
a. Predictors: (Constant), X4
Variables Entered/Removeda Variables Model
Variables Entered Removed
Method
1
X4
Forward
.
(Criterion: Probability-of-Fto-enter <= ,050) 2
X1
.
Forward (Criterion: Probability-of-Fto-enter <= ,050)
b. Predictors: (Constant), X4, X1 Coefficientsa
Model 1
2
Unstandardized
Standardized
Coefficients
Coefficients
B
Beta
Std. Error
(Constant) 117.568
5.262
X4
.155
-.738
-.821
Collinearity Statistics t
Sig.
22.342
.000
-4.775
.001
48.540
.000
Tolerance
VIF
1.000
1.000
(Constant) 103.097
2.124
X4
-.614
.049
-.683
-12.621
.000
.940
1.064
X1
1.440
.138
.563
10.403
.000
.940
1.064
a. Dependent Variable: Y
Dengan menggunakan F- to enter sebesar 0,05, model 1 menunjukkan variabel yang dimasukkan pada model, yaitu variabel prediktor X 4. Besarnya t2 yaitu 22,7529 > F(1, 11, 0.05) yaitu sebesar 4,48, maka diperlukan tahap kedua untuk mamasukkan variabel prediktor lain ke model. Model 2 menunjukkan variabel kedua yang dimasukkan pada model setelah X4 yaitu X1. Nilai t2 yaitu 108,16 < F (1, 10, 0.05) yaitu sebesar 4,96, maka tidak ada variabel lain yang dimasukkan ke dalam model, sehingga variabel yang dipilih adalah X1 dan X4. Berdasarkan langkah-langkah manual, program Minitab, dan program SPSS, ketiga cara tersebut menghasilkan model yang sama yaitu model dengan menggunakan variabel X1, dan X4 sebagai variabel prediktor dengan model terbaik adalah sebagai berikut :
Regression Analysis: y versus x1; x4
The regression equation is y = 103 + 1,44 x1 - 0,614 x4
Predictor
Coef
SE Coef
T
P
103,097
2,124
48,54
0,000
x1
1,4400
0,1384
10,40
0,000
1,1
x4
-0,61395
0,04864
-12,62
0,000
1,1
Constant
S = 2,73427
R-Sq = 97,2%
VIF
R-Sq(adj) = 96,7%
Analysis of Variance Source
DF
SS
MS
F
P
2
2641,0
1320,5
176,63
0,000
Residual Error
10
74,8
7,5
Total
12
2715,8
Regression
METODE STEPWISE REGRESSION
Regresi Stepwise adalah gabungan antara metode forward dan backward , variabel yang pertama kali masuk adalah variabel korelasinya tertinggi dan significant dengan variabel dependent , variabel yang masuk kedua adalah variabel yang korelasi parsialnya tertingi dan masih significant , setelah variabel tertentu masuk kedalam model maka variabel lain yang ada didalam model dievaluasi,jika ada variabel yang tidak signifikan maka variabel tersebut dikeluarkan. Langkah-langkah metode stepwise adalah sebagai berikut : 1.
Mengitung koefisien korelasi Y dengan setiap predictor.
Correlations: X1; X2; X3; X4; Y
X1 X2
X2
X3
X4
0,229 0,453
X3
X4
Y
-0,824
-0,139
0,001
0,650
-0,245
-0,973
0,030
0,419
0,000
0,924
0,731
0,816
-0,535
-0,821
0,005
0,001
0,060
0,001
Korelasi yang paling besar terdapat pada predictor X 4, yaitu sebesar -0,821, sehingga variabel X4 dipertahankan dalam model. 2.
Menghitung korelasi parsial
Correlations: y; x1; x2; x3
y x1
x1
x2
0,731 0,005
x2
x3
0,816
0,229
0,001
0,453
-0,535
-0,824
-0,139
0,060
0,001
0,650
Cell Contents: Pearson correlation P-Value
Korelasi antara X3* dengan Y*, atau korelasi parsial antara X 3 dengan Y yang terkoreksi oleh X4, dinotasikan r 3Y,4, adalah sebesar -0,824.Ini merupakan nilai korelasi parsial terbesar, maka X3 dimasukkan ke dalam model. 3. Meregresikan Y terhadap X3 dan X2 Regression Analysis: Y versus X4; X3
The regression equation is Y = 131 - 0,725 X4 - 1,20 X3
Predictor
Coef
SE Coef
T
P
131,282
3,275
40,09
0,000
X4
-0,72460
0,07233
-10,02
0,000
X3
-1,1999
0,1890
-6,35
0,000
Constant
S = 4,19211
R-Sq = 93,5%
R-Sq(adj) = 92,2%
Analysis of Variance
Source
DF
SS
MS
F
P
2
2540,0
1270,0
72,27
0,000
Residual Error
10
175,7
17,6
Total
12
2715,8
Regression
Prediktor X4 dan X3 keduanya berpengaruh secara bermakna, maka keduanya dipertahankan berada didalam model 4. Menghitung korelasi parsial lanjutan Selanjutnya dihitung korelasi parsial dengan dua variable pengoreksi, yaitu X 4 dan X3. Hasilnya ditampilkan sebagai berikut : Correlations: X1; X2; Y X1 X2
X2
0,229 0,453
Y
0,731
0,816
0,005
0,001
Tampak bahwa r 2y.431 = 0.229 dan r 2y.431 = 0.731.Nilai yang kecil dan tidak bermakna, ditandai oleh nilai P masing-masing 0.435 dan 0.005, dan model yang dipilih adalah dengan menggunakan variabel X 1 dan X2 sebagai prediktor.
Langkah-langkah regresi stepwise dengan menggunakan program Minitab adalah : 1.
Setelah memasukkan data, kemudian klik Stat Regression pilih Stepwise.
2.
Pada variabel Response masukkan Y, dan Predictors masukkan semua prediktor X1 sampai X4.
3.
Klik tombol Methods pilih Stepwise (forward and backward) . Pada kotak dialog paling atas terdapat dua cara, yaitu dengan menggunakan nilai alpha dan nilia F, pilih Use alpha values. Pada kotak dialog Alpha to enter diisi 0,1 dan alpha to remove diisi 0,1 Klik OK.
4.
Klik OK , akan muncul output sebagai berikut :
Stepwise Regression: y versus x1; x2; x3; x4
Alpha-to-Enter: 0,1
Alpha-to-Remove: 0,1
Response is y on 4 predictors, with N = 13
Step
1
2
3
4
Constant
117,57
103,10
71,65
x4
-0,738
-0,614
-0,237
T-Value
-4,77
-12,62
-1,37
P-Value
0,001
0,000
0,205
1,44
1,45
1,47
T-Value
10,40
12,41
12,10
P-Value
0,000
0,000
0,000
0,416
0,662
T-Value
2,24
14,44
P-Value
0,052
0,000
x1
x2
S
52,58
8,96
2,73
2,31
2,41
R-Sq
67,45
97,25
98,23
97,87
R-Sq(adj)
64,50
96,70
97,64
97,44
Mallows Cp
138,7
5,5
3,0
2,7
Pada step pertama regresi stepwise menggunakan Minitab, variabel yang digunakan adalah variabel X4, kemudian pada step kedua menambahkan variabel X 1 sebagai prediktor, dengan melihat P-value X1 dan X4 yang signifikan (< 0,1) maka pada step ketiga menambahkan variabel X2, dan dihasilkan variabel X4 tidak signifikan sehingga pada step selanjutnya variabel X 4 dikeluarkan dari model. Pada step 4 yaitu dengan menggunakan variabel X 1 dan X2 sebagai prediktor, diperoleh P-value yang signifikan, sehingga proses berhenti dan variabel yang dipilih atau digunakan dalam model yaitu X1 dan X2.
Langkah-langkah metode stepwise dengan menggunakan program SPSS yaitu : 1. Setelah memasukkan data, klik Analyze Regression pilih Linear.
2.
3.
Pada kotak dialog Dependent masukkan Y, Independent masukkan semua varia bel prediktor X1 sampai X4. Klik pada Method akan muncul beberapa pilihan, pilih Stepwise.
Klik OK , akan muncul output sebagai berikut. Variables Entered/Removed(a) Model
Variables Entered
Variables Removed
Method
1 X4
Stepwise (Criteria: Probability-of-F-toenter <= ,050, Probability-of-F-toremove >= ,100).
.
2 X1
.
Stepwise (Criteria: Probability-of-F-toenter <= ,050, Probability-of-F-toremove >= ,100).
a Dependent Variable: Y
Model pertama yang diperoleh yaitu dengan memasukkan variabel X 4, dan model kedua yang diperoleh yaitu dengan memasukkan variabel X 1 dengan tetap mempertahankan variabel X4. Dari kedua model diperoleh P-value yang sudah signifikan, sehingga model yang digunakan dalam menggunakan metode stepwise dengan program SPSS yaitu dengan menggunakan variabel prediktor X 1 dan X4. Coefficients(a) Unstandardized Standardized Coefficients Coefficients Model 1 2
(Constant)
B 117,568
Std. Error 5,262
X4 (Constant) X4
-,738 103,097 -,614
,155 2,124 ,049
-,821
1,440
,138
X1
t
Sig.
Beta 22,342
,000
-,683
-4,775 48,540 -12,621
,001 ,000 ,000
,563
10,403
,000
a Dependent Variable: Y
Dari evaluasi metode stepwise dengan menggunakan langkah-langkah manual, program Minitab, dan SPSS menghasilkan model terbaik yang berbeda yaitu Minitab menghasilkan model dengan menggunakan variabel X 1 dan X2 sebagai variabel prediktor, sedangkan program SPSS menghasilkan model dengan variabel X 1 dan X4 sebagai variabel prediktor. Namun, dari kedua model yang dihasilkan sama-sama dapat mengatasi kasus multikolinieritas, ditunjukkan nilai VIF yang kurang dari 10. Regression Analysis: y versus x1; x2
Regression Analysis: y versus x1; x4
The regression equation is
The regression equation is
y = 52,6 + 1,47 x1 + 0,662 x2
y = 103 + 1,44 x1 - 0,614 x4
Predictor
Coef
SE Coef
T
P
VIF
Predictor
Constant
52,577
2,286
23,00
0,000
x1
1,4683
0,1213
12,10
0,000
1,055
x1
0,66225 0,04585
14,44
0,000
1,055
x4
x2
S = 2,40634
R-Sq = 97,9%
Coef
Constant
R-Sq(adj) = 97,4%
SE Coef
T
P
VIF
103,097
2,124
48,54
0,000
1,4400
0,1384
10,40
0,000 1,064
-0,61395 0,04864 -12,62
0,000 1,064
S = 2,73427
R-Sq = 97,2%
R-Sq(adj) = 96,7%
