Henny Destina (M’03-05) RINGKASAN RUMUS ANALISIS REGRESI Analisis Regresi merupakan salah satu metode statistika yang banya banyak k digun digunak akan, an, teruta terutama ma untuk untuk menje menjelas laskan kan hubun hubunga gan n fungsion fungsional al (relatin (relatin ship) ship) antara antara variable variable tak bebas bebas (depende (dependent, nt, resp respon onse se vari variab able le)) dan dan satu satu atau atau bebe bebera rapa pa vari variab able le beba bebass (independent, predictor, explanatory variable)
1 . . n Jumlah rerata
: y (tergantung pada x)
Variabel tak bebas Variabel bebas : x
: koefisien regresi yang merupakan 2 parameer
yang akan ditaksir harganya berdasarkan berdasarkan data sample. : Galat, Galat, yang yang bersifat bersifat acak, penyimpa penyimpangan ngan model dari keadaan sesungguhnya.
diperoleh
model
(yan (yang g
umum umumny nyaa
tida tidak k
dike diketa tahu huii
nila nilain inya ya). ).
merupakan suatu variable acak berdistribusi normal dengan
ε i
nila ilai
teng tengaah
(ra (rata-r ta-raata
)
nol nol
dan
vari variaansi
σ 2 ,
atau
2
ε , α ,η (0, σ ) ε i dan ε j tidak berkorelasi berkorelasi untuk untuk i ≠ j sehi sehing ngga ga Cov Cov (
3. ε i
, ε j ) = 0
Ada tidaknya otokorelasi dapat diteksi antara lain dengan Durbin Watson (DW) yang dapat dinyatakan dengan rumus :
Digunakan untuk menaksir harga parameter garis regresi
Sehingga
( xi ) 2
( xi ) ( y i )
E (ε i ) = 0 dan V (ε i ) = σ 2.
y = β o + β 1 xi xi + ε i , dengan
x i
2
Metode Kuadrat Terkecil (Last Square Method)
y i
σ 2
variansi
i =1,2,3,.. n
Dimana :
ε
∑( xi )
ε i merupaka merupakan n variable variable acak dengan dengan nilai nilai tengah tengah nol dan
1.
β o dan β 1
∑ xi ∑( xi ) ( yi )
Asumsi Model Regresi sederhana :
Model regresi sederhana ;
, dengan y = β o + β 1 xi xi + ε i
∑ y
d =
i =1,2,3,.. n
dugaannya,
yaitu
:
∑(e − e ∑e i
i −1
)2
2
i
y i = b0 + b1 xi , deng dengan an bo dan dan b1 berturut-turut berturut-turut sebagai harga taksiran ( dugaaan parameter
KECOCOKAN MODEL
β 0 dan β 1
Galat adalah selisih antara harga y 1 dengan harga taksiran
Simp Simpan anga gan n baku baku gala galatt (sta (stand ndar ard d Error Error of Esti Estima mate te)) dinotasikan dengan Se. digunaka digunakan n untuk untuk menguku mengukurr sebaran sebaran data
y1 ,
ˆi atau penyimp penyimpanga angan n harga harga y
dan bisa bernilai positif atupun negative. Galat :
ε i = ( y1 − y i )
JKG :
∑( ε )
2
Se =
∑( y1
∑ x y − ( ∑ x ∑ y ) / n : ∑ x − ( ∑ x ) / n
b1
i
i
:
b1
dengan
:
i
S =
S xx xx
= ∑( xi − x ) ( yi − y )
S xx xx
= ∑( xi − x )
∑( x
i
− x )
atau
n −1 2
2
S =
y − b1 x
n∑ x1 − (∑ x1 )
2
n (n −1)
Simpangan untuk variable y
Contoh bentuk table :
(xi)
, dimana y = mod el
Simpangan untuk variable x
S xy xy
S xy xy
2
Makin kecil nilai standard error of estimate Se, maka sebaran data makin mendekati garis regresi atau model regresi makin baik.
i
2
2 i
ˆ) − y
n −2
: koefisien regresi i
bo
tertentu.
i
b1
diseki disekitar tar rerata rerata untuk untuk harga harga x
S = (xi) (yi)
(xi)2
No 1 . . n Jumlah
(yi)
∑ y
∑ xi ∑( xi ) ( yi ∑( xi )
rerata
y i
xi
∑( y
i
− y )
n −1
Koefisien korelasi dan Koefisien regresi rxy = ryx
( xi ) ( yi )
r xy =
2
( xi ) 2
∑ ( xi − x ) ( yi − y ) ∑( xi − x ) ∑( yi − y ) 2
2
Koefisien Determinasi ;
R 2
=
∑ ( y ∑ ( y
1
i
− y ) JKR = JKT − y ) 2 JKT
Digunakan untuk menilai kecocokan model dengan data sample.
Tabel juga dapat berbentuk : No (yi) (xi) ( x i − x )( y i
( x i − x -1-
JKT =
∑ ( y
i
− y )
2
Apabila Apabila Fhit>Ftabel = F(1,n-2)
disebut jumlah jumlah kuadrat toatal atau
sebaliknya. Ftabel diperoleh dari table distribusi f.
jumlah variansi variansi total yang menyatakan menyatakan jumlah penyimpangan penyimpangan yi y disektar nilai reratanya . JKR =
∑( yˆ i
Hipotesis : Ho :
− y ) , disebut jumlah kuadrat regresi yang 2
1
H0 : β
> 0 atau
H1 : β
1 > 0 = F(1,n-2) ttabel = t(n-2;1-α /2) apabila nilai harga mutlak t hitung lebih besar daripada ttabel (ditulis t > ttabel, yang berarti ada pengaruh variable bebas x secara individu terhadap variable tak bebas y, dan juga sebaliknya. Selang kepercayaan 1 dan 0
− y i ) , disebut jumlah kuadrat galat yang
JKT = JKR + JKG
1
< 0:
Nilai JKR adalah 0 ≤ JKR ≤ JKT dan karena itu nilai R adalah 0 ≤ R 2≤ 1 2 R = 0, jika JKR = 0 atau JKG = JKT berarti berapapun nilai x i
Variansi b1 = v(b1 ) =
2
ˆ i akan selalu sama yang diberikan, nilai taksiran untuk y i, yaitu y
Simpangan
σ e 2
ˆi R 2 = 1 jika jkg = 0 atau JKR = JKT. JKG =0, jika y i = y
∨ I yang berarti bahwa setiap titik darta hasil pengamatan tepat terletak terletak pada garis regresi. regresi. Dan kecocok kecocokan an data dengan model makin baik, dan sebaliknya jika R 2 = 0, berarti kecocokan data dengan model makin tidak baik.
σ e2 S xx
σ e
baku : s (b1 ) =
Dengan σ e diganti
=
2 ∑( x1 − x )
S xx
dengan y . Dengan kata lain y tidak berpengaruh oleh x i.
<0
t
menyatakan galat dari variable total yang tidak dapat dijelaskan oleh variable x atau merupakam bagian yang sifatnya acak.
1
2 (n-2)
2
∑( y i
β
H1 : β
menyatakan variable respon disekitar nilai reratanya y . JKG =
Henny Destina (M’03-05) maka H 0 : β 1 = 0 ditolak, dan
dengan
Se
β
Selang Selang keperca kepercayaan yaan (confiden (confidentt interval interval)) bagi
1
adala adalah h :
± t ( n − 2, 1 − α / 2) S ( b1 )
b1
atau
R 2 biasanya dinyatakan dalam angka presentase.
b1 −t (n −2,1 −α / 2) S (b1 ) ≤β 1 ≤ b1 +t ( n −2 ,1 −α /
Jika nilai R 2 mendekati angka 1, maka kecocokan data dengan garis garis regresi regresi akan akan menjadi menjadi baik, baik, dan sebaliknya sebaliknya jika mendek mendekati ati angka 0.
Simpangan baku untuk bo :
∑ x n ∑ ( x − x ) 2
TABEL ANOVA
i
S (bo ) = Se
Digun Digunaka akan n untuk untuk menil menilai ai kebera keberarti rtian an (sign (signifi ifikan kansi si atau atau pengaru pengaruh) h) variable variable bebas bebas secara secara bersama bersama sama sama atau simultan simultan terhadap variable bebas. Bentuk umum Anova Regresi Sederhana : sumber Jumlah kuadrat Deraj at bebas regresi
(y ∑
JKR =
Galat
JK G
=
Total terkoreksi
JK T
=
Faktor koreksi Total belum terkoreksi
n y 2
∑ y
i
(
(
1
(n-1)1
2
i
Selang Selang kepercay kepercayaan aan (confiden (confidentt interval) interval) bagi
o adal adalah ah :
bo ± t ( n − 2, 1 − α / 2 ) S ( b0 ) Atau
Rataa F n kuadr at RKR Fhit= = RKR/RK JKR/1 G RKG = JKG/ n-2
bo −t (n − 2, 1 −α / 2) S ( b0 ) ≤ β 0 ≤ b0 +t ( n − 2,1 −α / 2) Uji Hipotesis
Bentuk uji hipotesis terhadap Ho : β 1 = β 10 Hi : β 1 ≠ β 10
n-1
β
10
thitung =
β
1
1
dan
0
dinyatakan sebagai berikut :
bisa berharga nol atau bilangan tertentu. Jika β 10 = 0, sehingga bentuk uji hipotesis : Ho : β 1 = 0 Hi : β 1 ≠ 0
1
2
b1 − β 10 S (b1 )
atau t hit =
b1 − β 10 S /
Deraj Derajat at bebas bebas (degre (degreee of freedo freedom), m), yaitu yaitu bilan bilanga gan n yang yang menujukkan berapa banyak informasi yang bebas diantara n amatan y1, y2, y3,…,yn y3,…,yn yang yang dibutuhk dibutuhkan an untuk untuk mendapa mendapatkan tkan jumlah kuadrat itu.
β
karena β 10 = 0, maka
t hitung =
Sxx b1
S /
Sxx
SELANG KEPERCAYAAN
Hipotesis dengan F hitung ;
H 0 : β 1 = 0
H 1 : β 1 ≠ 0, untuk i =1,2,3, k
hipotesis Ho ditolak, dan bila
bila
β 1 = 0
kepercayaan -2-
β
1
berada diluar selang kepercayaan
β 1 = 0
β
, berarti
1
berada di dalam selang
, berarti hipotesis Ho diterima.
Henny Destina (M’03-05) Contoh : 2,869 < β 1 < 4,912 dan 74,836 < β o , 149,209 β 1 = 0 berada berada diluar interval, interval, berarti berarti Ho : berpengaruh.
Bentuk uji terhadap
Ho : β H1 : β
0
=β
0
≠ β
Selang kepercayaan untuk nilai ramalan tunggal y o untuk x = x 0 adalah :
β
1
atau ± t (n − 2, 1 − α / 2) S ( yˆ 0 − y 0 ) yˆ 0 − t ( n − 2, 1 − α / 2) S ( yˆ 0 − y 0 ) < y 0 < yˆ 0 + t ( n − 2, 1 − α / 2 ) S ( yˆ 0 − y 0 ) yˆ 0
= 0 ditolak, artinya
β 0
ANALISIS REGRESI BERGANDA
00
Bentuk
00
y i
Dimana, β 00 bisa bisa berharga berharga nol atau bilangan bilangan tertentu. tertentu. Misalkna Misalkna harga β 0 = 0, sehingga bentuk uji hipotesis menjadi : Ho : β 0 =
β
H1 : β 0 = 0 H1 : β 0 ≠ 0
hitung =
atau t hitung
β 0 − β 00
b0
=
−
β 00
∑ x n∑( x − x )
Contoh table data hasil pengamatan :
2
S (bo)
var terikat (y)
i
S
2
i
Jika t > t tabel
, mka hipotesis Ho ditolak.
y1 y2 : yn
Selang kepercayaan = b 1 Adjusted R Square
=1 −
JKG / ( n −2 )
dengan ( n − 2) dan ( n −1)
/ ( n −1)
JKT
Variansi :
V ( y 0 ) =
Simpangan baku :
S ( yˆ )
n
n
∑
= Se
(
ˆ x0 Selang kepercayaan untuk E y
)
( x 0 − x ) 2 ( x i − x ) 2
∑
adalah :
ˆ ± t ( n −2, 1 −α / 2 ) S ( y ˆ ) atau y
y0 )
ˆ 0 , tetapi dengan variansi yang lebih besar, yaitu : = y
1
n
simpangan
+
2 ( x i − x )
( x 0 − x ) 2
∑
baku ( y 0 − y 0 ) adalah ;
S ( yˆ 0 − y 0 ) = Se
1 1 + + n
xk
x11 x12 : x1n
x21 x22 : x2n
x31 x32 : x3n
… … … …
xk1 xk2 : xkn
≥k +1
n xk i
= banyaknya pengamatan / jumlah sampel. = variable variable bebas ke k untuk pengamatan ke –i
ε i
= galat galat dari model, yang diamsusi diamsusikan kan bersifat bersifat bebas bebas
Asumsi model model yang yang diperluk diperlukan an untuk untuk penduga pendugaan an paramet parameter er Asumsi dengan dengan metode metode kuadrat kuadrat terkecil terkecil adalah adalah bahwa bahwa kompon komponen en galat galat bersi bersifat fat bebas bebas,, antar antar peng pengama amatan tan tidak tidak berko berkorel relasi asi,, memili memiliki ki distribusi normal, dan memiliki ragam homogen (homoskedastistas). Selain itu xki merupakan nilai-nilai yang fix/ diketahui (ditetapkan terlebih dahulu).
merupakan nilai dari suatu variable acak. Dengan demilian, nilai ramalan untuk suatu amatan individual x = x 0 tetap diberikan oleh y
…
homogen σ 2 , atau ditulis dengan N(0, σ 2 )
menyata menyatakan kan galat galat ramalan ramalan dari rata-rata rata-ratanya nya yang yang
V ( yˆ 0 − y o ) = Se 2 1 +
x3
ber berdi dist stri ribu busi si norm normal al deng dengan an rata rataan an 0 dan dan vari varian anss
ˆ − t ( n −2,1 −α / 2) S ( y ˆ ) < E ( y ˆ x0 ) < y ˆ + t (n y
( yˆ 0 −
x2
Dengan yi = variable terikat pengamatan ke-i , i = 1,2,3,4,…,n ;
( x 0 − x ) 2 Se 2 + ( x i − x ) 2 1 + n
x1
y = β o + β 1 x1 + β 2 x 2 + ... ... + β k x k + ε
Selang Kepercayaan Variabel Respon ( y )
variabel bebas
Jika penga pengama matan tan menga mengamsu msusik sikan an bahwa bahwa varia variable ble bebas bebas x Jika menjelaskan menjelaskan variable terikat y secara linier , maka model model regresi linier yang dapat digunakan itu adalah :
Masing masing derajat kebebasan dari JKG dan JKT. Fungsinya sama dengan dengan R2 dan dianjurk dianjurkan an untukdig untukdigunak unakan an pada pada analisis analisis regresi ganda yang memiliki lebih dari 2 variabel bebas.
Se 2
= β o + β 1 x1 + β 2 x 2 + ... ... + β k x k + ε
Model diatas merupakan model linier, berkaitan dengan variable bebas dan parameternya, yaitu apabila diamati secara visual melalui plot plot data, data, maka pencaran pencaran datanya datanya cenderung cenderung meiliki trend/ trend/ pola linier. Disebut berganda karena variable bebas yang diamati ada dua atau lebih.
00
t
Umum :
( x 0 − x ) 2 2 ( x i − x )
∑
-3-
