Least Square atau Kuadrat Terkecil Metode Least Square atau Metode Kuadrat Terkecil digunakan untuk mendapatkan
penaksir koefi-
sien regresi linier. Model regresi linier sederha-
∂S n = 2 ( Y i − b0 − b1 X i ) ( −1) = 0 ∂ b0 ∑ i =1 n
∑ (Y − b − b X ) = 0
na dinyatakan dengan persamaan : Y = β 0 + β 1 X X + ε , model umum Y i = β 0 + β 1 X X i + ε i , model setiap pengamatan
i
0
1
n
n
n
∑ Y − ∑ b − ∑ b X i
i
i =1
=0
i
i=1 n
∑ Y − n b − b ∑ X = 0
+ β ˆ1 X atau Y ˆ = b0 + b1 X , model umum ˆ + β ˆ X atau Y ˆ = β ˆ = b0 + b1 X i , model setiap Y 1
1
n
ˆ ˆ = β Y 0 0
0
i =1
Model dugaan dinyatakan oleh :
i
i
i =1
i
0
1
i
i =1
i
i=1
n b0 + b1
pengamatan
n
n
∑ X = ∑ Y i
............... (1)
i
i =1
i =1
Didapatkan eror, yaitu ε atau ε i sebagai berikut :
ε
= Y − Y ˆ = Y − b0 − b1 X
ε i
= Y i − Y ˆi = Y i − b0 − b1 X i
∂S n = 2 ( Y i − b0 − b1 X i ) (− X i ) = 0 ∂ b1 ∑ i =1
atau :
n
∑ (Y − b − b X ) ( X ) = 0 i
0
1
Secara geometrik, titik-titik hasil eksperimen, model dan error digambarkan pada grafik berikut ini :
n
n
∑ Y X − ∑ b X − ∑ b X
2 i
=0
∑ X Y − b ∑ X − b ∑ X
=0
i
i
0
9
2 i
1
i =1
i =1
n
n
∑ X + b ∑ X = ∑ X Y i
2 i
1
i =1
7
n
i
n
b0
i =1
0
i =1
8
1
n
i i
1,32081 65,4% 58, 5%
i
i =1
n
Y = 2,046 + 0,1705 0,1705 X S R-S q R- Sq Sq (a (a d djj )
i
n
i =1
10
i
i =1
i i
i =1
........ (2)
i =1
Persamaan (1) dan (2) dinamai persa dinamai persamaan maan normal normal .
6
iii . Menghitung b0 dan b1 berdasarkan dua persamaan yang terbentuk. Dari persamaan (1) didapatkan formula b0,
5 4 3 10
15
20
25
30
35
40
45
n b0 Titik-titik merah adalah nilai hasil eksperimen, dinotasikan Y i , yang diduga membentuk garis lurus berwarna biru. Garis inilah model model yang akan ditaksir, dengan cara menaksir koefisiennya, yaitu b0
ˆ = b0 + b1 X i. dan b1, sehingga terbentuk persamaan persamaan Y i Garis tegak lurus sumbu horisontal yang menghu bungkan titik eksperimen eksperimen dengan garis lurus dugaan dugaan dinamai error .
2 i
b0
S = S = f (b0,b1) =
∑
n
i =1
∑ (Y − b − b X ) i
0
1
n
∑
Y
X i
i =1
1
i i
i =1
i =1
n
n
i =1
i =1
n
n
n
i =1
i =1
i =1
− b1 X ∑ X i + b1 ∑ X i2 = ∑ X iY i
n n n 2 n − = − b1 ∑ X i X ∑ X i ∑ X iY i Y ∑ X i i =1 i =1 i =1 i =1
2
i
n
dan
∂S ∂ b1
i
b1
disa-
n
n
∑ X Y − Y ∑ X
ii . Mendiferensialkan S terhadap b0 dan b1, kemudi-
an hasil diferensialnya, yaitu
i
i =1
i =1
∂S ∂ b0
∑ X + b ∑ X = ∑ X Y
(Y − b1 X ) ∑ X i + b1 ∑ X = ∑ X iY i
sekecil
i =1
ε i2 =
n
2 i
2 i
sebagai fungsi b0 dan b1,
n
n
n
n
2 i
∑ Y i − b1 ∑ X i = Y − b1 X n i =1 i =1 n
i =1
mungkin. Prosedur metode kuadrat terkecil adalah sebagai berikut :
∑ ε
i =1
n
i =1
i . Membentuk
i =1
Formula b0 ini kemudian disubstitusikan ke persamaan (2),
n
∑ ε
n
1 n
b0 =
Metode least square bertujuan mendapatkan penaksir koefisien regresi, yaitu b 0 dan b1, yang menjadikan jumlah kuadrat error, yaitu
n
+ b1 ∑ X i = ∑ Y i
=
i
i =1 n
n
∑ X
2
i
i =1
∑ X Y − n X Y
i
i =1
− X ∑ X i i =1
i
=
i
i =1
=
n
∑ X
2
i
− n X
2
S XY S XX
i =1
makan dengan 0.
1
Model regresi linier multiple dinyatakan dengan persamaan berikut : Y i = β 0 + β 1 X 1i + ... + β X k ki + ε i, dengan model dugaan sbb,
ˆ = b0 + b1 X 1i + ... + bk X ki Y i Langkah perhitungan penaksir koefisien regresi : n
S = f (b0,b1) =
∑ ε
2 i
i =1
n
=
∑ (Y − b − b X − ... − b X ) i
0
1
1i
k
2
ki
n
Perhitungan Taksiran Simpangan Baku Penaksir Koefisien Regresi Simpangan baku penaksir koefisien regresi adalah akar variansi penaksir koefisien regresi, sehingga taksiran simpangan baku merupakan akar taksiran variansi. Berikut ini adalah penurunan variansi b1 : n
,
∂S = 0, ∂ bk
Persamaan normal menjadi : n
n b0
i =1
n
b0
n
n
i =1
i =1
+ b1 ∑ X 1i + ... + bk ∑ X ki = ∑ Y i
∑ X
1i
i =1
n
n
n
n
i=1
i =1
i =1
i =1
+ b1 ∑ X 12i + b2 ∑ X 1i X 2i + ... + bk ∑ X 1i X ki = ∑ X 1iY i . . .
n
b0
∑
X ki
i
b1
i =1
=
n 2
n
i =1
i =1
i =1
i =1
∑ ∑ X
2 1i
i =1 n i =1
n
∑ X X 1i
n ∑i=1 b ∑i =1 Y i 0 n n b ∑i=1 X 1i X k 1 1 = ∑i =1 X 1iY i bk n n 2 X Y X ∑ ki i ∑i=1 ki i =1
k 1
i =1
X ki
A( k +1)×( k +1)
b( k +1)×1 = g ( k +1)×1
Pada satu matrik dan dua vektor di atas, masing-masing dinamai : matrik A (berukuran (k+1) × (k+1)), vektor b (berukuran (k+1) × 1), dan vektor g (juga berukuran (k+1)× 1), sehingga persamaan normal menjadi : A b = g , dan didapatkan penaksir koefisien regresi, yaitu b : b = A-1 g
2
i
2
− n X
S XY S XX
i =1
n
X iY i
=1
− n X Y = ∑ ( X − X )(Y − Y ) i
i
i
=1
n
= ∑ ( ( X − X )( Y ) − ( X − X )(Y ) ) i
i
i
i
=1 n
n
= ∑ ( X − X )( Y ) − ∑ ( X − X )(Y ) i
i
i
i
=1
i
=1
n
= ∑ ( X − X )( Y )
n
X 1i
=
n
Formula b1 terdiri dari variabel fixed yaitu X dan variabel random, yaitu Y, sedangkan yang mempunyai variansi hanyalah variabel random. Untuk itu formula b1 diupayakan agar antara X dan Y jelas dan mudah bentuk hubungannya, dan yang akan diolah hanyalah pembilang, karena pembilanglah yang memuat Y.
+ b1 ∑ X 1i X ki + b2 ∑ X 2i X ki + ... + bk ∑ X ki2 = ∑ X kiY i
n
i
i =1
∑ X
i =1
Untuk mempermudah menghitung penaksir koefisien regresi maka persamaan normal diubah ke bentuk matrik,
n n ∑ X 1i i =1 n ∑ X ki i =1
− X ∑ X i
i =1
i
n
i
=
n i
∑ X Y −n X Y
i
i =1
∑ X
∑
n
n
i
i =1
n
n
n
∑ X Y −Y ∑ X
kemudian dideferensialkan terhadap b0, b1, ... bk , dan hasilnya disamakan dengan nol, ... ,
i
i =1
i =1
∂S ∂S = 0, = 0, ∂ b0 ∂ b1
∑Y ˆ / n = Y
3.
i
i
i
=1
= ( X 1 − X )( Y 1 ) + ( X 2 − X )( Y 2 ) + ... + ( X − X )( Y ) n
n
Formula variansi b1 menjadi sebagai berikut :
n ∑ X i Y i − n X Y 1 = var i =1n 2 n 2 2 ∑ X i2 − n X 2 X i − n X i =1 ∑ i =1
n X Y n X Y ∑ i i − i =1
var
n X iY i − n X Y = ∑ i =1 var ( ( X 1 − X ) ( Y 1 ) + ( X 2 − X ) ( Y 2 ) + ... + ( X n − X ) ( Y n ) ) = var
( X 1 − X ) 2 var ( Y 1 ) + ( X 2 − X ) 2 var ( Y 2 ) + ... + ( X n − X ) 2 var ( Y n ) =
( X 1 − X ) 2 σ 2 + ( X 2 − X ) 2 σ 2 + ... + ( X n − X ) 2 σ 2
=
dengan b = (b0 , b1 , ... , bk )T n
Latihan 1 Buktikan persamaan berikut :
ˆ = Y + b ( X − X ) 1. Y 1 2. Buktikan titik ( X , Y ) terletak pada garis regresi.
2
σ
∑ ( X − X )
2
i
i =1
n ∑ X iY i − n X Y 1 = var i =1n 2 n 2 2 ∑ X i − n X ∑ X i2 − n X 2 i =1 i =1
n
σ 2
∑ ( X − X )
2
i
i =1
2
n X Y nXY ∑ i i− 1 = var i =1n 2 n X 2 − nX 2 2 ∑ i ∑ ( X i − X ) i =1 i =1
n
σ 2
∑ ( X
i
− X )
2
i =1
σ 2
=
n
∑ ( X − X )
2
i
i =1
σ
var(b1 ) =
2
n
∑
( X i
; bila σ 2 tidak diketahui, maka menjadi :
ˆ b )1 var(
=
− X )2
ˆ 2 σ n
∑
2 i −X )
(X
i =1
=
i =1
Penaksir Simpangan Baku (b1) =
2
s n
∑( X
i
−X )
2
i =1
s 1/ 2 ∑ ( X − X )2 =1 n
i
i
s2 = jumlah kuadrat error/n-2 Selanjutnya diuraikan penurunan variansi b0,
1 n
∑ Y i − b1 ∑ X i = Y − b1 X n i =1 i =1
b0 =
n
var(b0) = var(Y − b1 X ) = var(Y ) + X var(b1 ) 2
=
var(
1 n
σ 2
n
∑ Y ) + X
2
i
n
∑ ( X − X )
i =1
2
i
i =1
σ 2
n
1 = n2
var(
∑ Y ) + X
2
i
n
∑ ( X − X )
i =1
2
i
i =1
1
(σ + σ + ... + σ ) + X 2
= n2
2
2
σ 2
2 n
∑ ( X − X )
2
i
i =1
1 = n
2
( nσ 2 ) + X 2
σ
2
n
∑ ( X − X )
2
i
i =1
Setelah ke dua suku disamakan penyebutnya, dan σ 2 diganti dengan s2, didapatkan penaksir var(b0) sebagai berikut :
( 2 2 ∑ X − X ) 2 + n X 2 s ∑ X =1 = =1 vaˆr(b0 ) = 2 2 n∑ ( X − X ) n∑ ( X − X ) n
s
n
2
i
i
i
i
n
n
i
i
=1
i
i
=1
1/ 2
s 2 n X 2 ∑i=1 i Penaksir simpangan baku (b0) = n 2 n∑ ( X i − X ) i =1
3
Penaksir Kovariansi Koefisien Regresi Review Rumus : 1. E(X) = µX , E(aX) = a E(X) = a µX 2. var(X) = E(X – E(X)) 2 = E(X – µX)2 3. var(X + Y) = var(X) + var(Y) + 2cov(X,Y) 4. cov(X,Y) = E{(X– µX)(Y– µY)} 5. cov(aX,bY) = E(aX– aµX)(bY– bµY) = E(ab(X– µX)(Y– µY)) = ab E(X– µX)(Y– µY) = ab cov(X,Y) 6. cov(α1+β1Xi , α2+β2X j) = β1β2 cov(Xi,X j), buktikan! Diketahui : Y i variabel random saling independen dan identik, dengan var(Y i) = σ 2, i = 1, 2, ... , n. Akan dilakukan penurunan cov(a,b), a dan b masing-masing fungsi variabel random Yi., sbb : n
a=
∑
a i Y i
n
= a1Y 1 + a 2Y 2 + .. . + a nY n ,
∑ b Y = b Y + b Y + ... + b Y
b=
i
i =1
i
1 1
2
2
n
n
i =1
ai dan bi masing-masing konstanta.
+ a 2Y 2 + . .. + a n Y n ), (b1Y 1 + b2Y 2 + . .. + bn Y n ))
cov(a,b) = cov( ( a1Y 1
Lebih mudah melalui var(a + b), var(a + b) = var(a) + var(b) + 2 cov(a,b), atau 2 cov(a,b) = var(a + b) −var(a) − var(b) var(a + b) = var (( a1Y 1 + a 2 Y 2 + . . . + a n Y n ) + (b1Y 1 + b2 Y 2 + . . . + bn Y n )) = var((a1 + b1)Y1 + (a2 + b2)Y2 + . . . + (an + bn)Yn) = (a1 + b1)2 var(Y1) + (a2 + b2)2 var(Y2) + ... + (an + bn)2 var(Yn) = (a1 + b1)2 σ 2 + (a2 + b2)2 σ 2 + ... + (an + bn)2 σ 2 n
2
= σ
∑ (a + b ) i
2
i
i =1
var(a) = var ( a1Y 1 + a2Y 2 + ... + anY n ) = var((a1)Y1 + (a2)Y2 + . . . + (an)Yn) = (a1)2 var(Y1) + (a2)2 var(Y2) + ... + (an)2 var(Yn) = (a1)2 σ 2 + (a2)2 σ 2 + ... + (an)2 σ 2 n
2
= σ
∑a
2
i
i =1
var(b) = var (b1Y 1 + b2Y 2 + ... + bnY n ) = var(b1)Y1 + (b2)Y2 + . . . + (bn)Yn) = (b1)2 var(Y1) + (b2)2 var(Y2) + ... + (bn)2 var(Yn) = (b1)2 σ 2 + (b2)2 σ 2 + ... + (bn)2 σ 2 n
2
= σ
∑b
2
i
i =1
2 cov(a,b) = var(a + b) − var(a) −var(b) n
2
= σ
∑ (a + b ) i
i
i =1 n
2
= σ
∑ i =1
( ai2
n
2
−σ
2
∑a
i
i =1
2
n
−σ
2
∑b
2
i
i =1
n
n
i =1
i =1
+ bi2 + 2aibi ) −σ 2 ∑ ai 2 −σ 2 ∑ bi 2
n
= σ 2
∑ 2a b
i i
i =1
n
2
cov(a,b) = σ
∑a b
i i
i =1
4
Penurunan cov(b0,b1) Cara Pertama, cov(b0,b1) = cov ((Y
− b1 X ), b1 ) = cov(Y − Xb1 , b1 ) , digunakan review rumus 6, dengan α1 = Y , β1 = − X , α2 = 0, dan β2 = 1. −
= cov( − X cov(b1 , b1 )) = − X var(b1 ) =
X σ 2 n
∑ ( X − X )
2
i
i
=1
Cara Kedua, Menggunakan logika penurunan cov(a,b). Cara ini lebih panjang, tetapi merupakan latihan pemahaman operasi variabel random yang sangat baik. Variabel random b0 dan b1 masing-masing merupakan fungsi variabel random Yi.
Logika penurunan ini kemudian digunakan untuk mendapatkan cov(b0,b1); keduanya merupakan fungsi variabel random Yi..
∑=1 ( X − X )Y 1 cov(b0,b1) = cov ∑ Y − =1 ( X − X ) 2 ∑ =1 n
i
n
i
i
i
n
n
i
i
i
X ) Y − ∑=1 X , ∑=1 ( X − X )2 n
( Xi
i
i
n
i
i
n
∑ ( X − X ) i
i
2
tidak memuat variabel random, dan hasilnya sudah tertentu, sehingga dapat dianggap
=1
konstanta, dinotasikan k . Begitu pula dengan X , juga konstanta, boleh dikeluarkan dari sigma.
( X − X )Y X ∑ ( X − X )Y ∑ =1 , =1 cov(b0,b1) = cov ∑ 1 Y − k k =1 1 kY X ( X − X )Y − ( X X ) Y ∑ ∑ ∑ =1 =1 =1 − , = cov k k k 1 kY − X ( X − X )Y ( ) X X Y − ∑ ∑ ∑ =1 =1 =1 , = cov k k 1 1 1 = cov ∑ ( 1 k ) − X ( X − X ))Y , ∑ ( X − X )Y k =1 k =1 k 1 1 1 2 = σ ∑ ( 1 k ) − X ( X − X ) ( X − X ) k k =1 k n
n
i
n
i
i
i
i
i
i
n
i
n
n
n
i
n
i
i
i
i
n
n
i
n
i
i
i
n
i
i
i
i
i
i
i
n
n
i
n
i
i
i
i
i
n
i
n
i
i
∑ k1 n
2
= σ
i
2
=1
1
k(Xi
n
− X )−
1 2
k
X ( Xi
− X )2
1 1 2 = σ ∑ 2 1 k ( X − X ) − ∑ 2 X ( X − X ) =1 k =1 k 1 2 1 2 = σ 2 1 k ∑ ( X − X ) − 2 X ∑ ( X − X ) k =1 =1 k n
n
2
n
i
i
i
i
n
n
i
n
i
i
i
n
dapat diturunkan bahwa
∑ ( X − X ) = 0 i
i
=1
5
1 2 = σ − 2 X ∑ ( X − X ) k =1 X 2 = σ − 2 ( X − X ) ∑ =1 n
n
2
pada awal penurunan disebutkan k =
i
i
∑ ( X − X )
2
i
i
=1
n
i
i
=
−
σ 2 X n
∑ ( X − X )
2
i
i
=1
cov(b0,b1) =
−
σ 2 X n
∑ ( X − X )
2
i
i
=1
Penaksir Nilai Respon, Y ˆ ˆ Setelah didapatkan penaksir koefisien regresi, y aitu b0 dan b1, maka dapat dihitung penaksir respon, yaitu Y sebagai berikut : ˆ = b0 + b1X Y
(model umum) atau Yˆi
= b0 + b1 X
i
(model setiap pengamatan).
Apabila diketahui atau ditentukan nilai variabel bebas sebesar X 0 , maka didapatkan penaksir atau dugaan nilai
ˆ sebesar : respon, Y 0 Yˆi
= b0 + b1 X
i
.
ˆ ), Selanjutnya dihitung var( Y 0
+ b1 X 0 ) = var(Y − b1 X + b1 X0 ) = var(Y + b1 ( X0 − X )) var(Y ) + var(b1 ( X 0 − X ) + 2 cov(Y , b1 ( X 0 − X ))
ˆ ) = var( b var( Y 0 0 =
( X 0 − X ) ∑ ( X − X )Y =1 1 cov ∑ Y , 2 =1 ( X − X ) ∑ =1 n
i
n
cov(Y , b1 ( X 0 − X )) = cov(Y , ( X 0 − X )b1 ) =
i
i
i
n
n
i
i
i
( X − X ) ( X − X ) ∑=1 0 2 1 σ ∑ ( ) 2 =1 ( X − X ) ∑ =1 n
i
n
=
i
n
n
i
i
i
n
= 0,
karena
∑ ( X − X ) = 0 i
i
=1
σ2 ˆ ) = var(Y ) + var(b ( X var( Y 1 0 0
− X ) + 0 =
n
+ ( X 0 − X )
2
var(b1) =
σ 2 n
+
( X 0 − X ) 2 σ 2 n
∑ ( X − X )
2
i
i
=1
6
s 2 ˆ )= n Penduga var( Y 0
+
( X 0 − X ) 2 s 2 n
∑ ( X − X ) i
i
=1
2
2 1 ( X 0 − X ) 2 + = s n ( X − X ) 2 ∑ =1 n
i
i
1/ 2
ˆ Penduga simpangan baku Y 0
1 ( X − X )2 0 = s + 2 n ( X − X ) ∑ =1 n
i
i
7
