Gra e fakultet – Odsek za geodeziju geodeziju i geoinformatiku geoinformatiku evinski vinski fakultet
TESTIRANJE HIPOTEZA Teorija grešaka geodetskih merenja
Verzija Verzija 01.10.2008 01.10.2008
Vanredni profesor. profesor. dr Branko Boži , dipl.geod.inž.
SADRŽAJ • OSNOVNI POJMOVI O TESTIRANJU HIPOTEZA • TESTIRANJE HIPOTEZE O PRIPADNOSTI • • • • •
POJEDINOG POJEDINOG ELEMENA ELEMENATA TA OSNOV OSNOVNOM NOM SKUPU SKUPU TESTIRANJE HIPOTEZE O SREDNJOJ VREDNOSTI POPULACIJE TESTIRANJE HIPOTEZE O VARIJANSI POPULACIJE TESTIRANJE HIPOTEZE O KOLINIKU DVE VARIJANSE ISTE POPULACIJE TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA RASPOREDA SA PRETPOS PRETPOSTAV TAVLJEN LJENIM IM RASPOREDOM
OSNOVNI POJMOVI O TESTIRANJU HIPOTEZA Testiranje hipoteze – procedura iji je cilj utvr ivanje saglasnosti statistike sa pretpostavljenom vrednoš u.
Mogu biti parametarske ili neparametarske. Nulta hipoteza – H0 - osnovna tvrdnja kojom se poredi statistika populacije sa statistikom uzorka Alternativna hipoteza – Ha – tvrdnja koju prihvatamo u slu aju odbacivanja nulte hipoteze Test statistika – vrednost dobijena iz uzorka koju testiramo na saglasnost sa pretpostavljenom vrednošu Reon odbacivanja nulte hipoteze - interval odbacivanja nulte hipoteze
1-α
1-β
Ukoliko su H0 i α fiksirani, mo testa se jedino poveava brojem merenja. S obzirom da je mo testa esto niska ili je nepoznata, odluka se eše formuliše na sledei nain – ne odbacije se nulta hipoteza , umesto prihvata se nulta hipoteza.
TESTIRANJE HIPOTEZE O PRIPADNOSTI POJEDINOG ELEMENTA OSNOVNOM SKUPU poznato standardno odstupanje 1. Na osnovu testa razlike rezultata merenja od istinite ili najverovatnije vrednosti Neka su x 1 , x 2 ,..., x n rezultati merenja fizi ke veliine X koji po pretpostavci pripadaju normalnom rasporedu, iji je standard merenja poznat ( σ) i neka je x n rezultat merenja za koji se pretpostavlja da sadrži neželjene efekte (rezultat koji odska e – outlayer). Razlikujemo dva slu aja: – kada je poznata istinita vrednost fizi ke veliine – kada nije poznata istinita vrednost fizi ke veliine Poznata istinita vrednost A: P( ∆ < z α σ ) = 1 − α z α / 2 σ ∆ = ∆ G
- dozvoljeno odstupanje rezultata
merenja od istinite vrednosti
Nepoznata istinita vrednost A: X=
z α / 2σ
1
n
∆ = X−X
n
x
i
P( ∆ < z α / 2σ ∆
1
n −1 n
= ∆G
2. Definisanje alternativne hipoteze Ha: xn sadrži grubu grešku 3. Raunanje test statistike: xn – A = ∆n
∆ ~ N (0,1) σ
∆ =X−A
POSTUPAK TESTIRANJA:
1. Definisanje nulte hipoteze H0 : xn ne sadrži grubu grešku
n −1 n
) = 1− α
- dozvoljeno odstupanje rezultata
merenja od najverovatnije vrednosti
4. Donošenje odluke: Definisanje reona odbacivanja nulte hipoteze ∆ n > ∆ G = z α ⋅⋅ σ
-
TESTIRANJE HIPOTEZE O PRIPADNOSTI POJEDINOG ELEMENTA OSNOVNOM SKUPU poznato standardno odstupanje 2. Na osnovu testa raspona P( w n ≤ w G = σ ⋅ w α ) = 1 − α Kvantil normiranog raspona
wG = σ ⋅ wα wα =
wn
Primenjuje se za
n≤6
Raspon merenja (rauna se iz uzorka)
σ
3. Na osnovu F testa Ocena varijanse i-tog uzorka maksimalne vrednosti varijanse i f1 stepeni slobode F=
s 12 s 2n − 1 Ocena zajednike varijanse uzoraka bez i-tog uzorka sa fn-1 stepeni slobode
F > Fα,f ,f n − 1
1
Reon odbacivanja nulte hipoteze Kvantil Fišerovog rasporeda za nivo znaajnosti i broj stepeni slobode f1 i fn-1
-
TESTIRANJE HIPOTEZE O PRIPADNOSTI POJEDINOG ELEMENTA OSNOVNOM SKUPU poznato standardno odstupanje Primer
4. Na osnovu Chauvennet kriterijuma Primenjuje se pri malom uzorku Odstupanja sumnjivog rezultata od srednje vrednosti
∆ σ
≥λ
x= s=
λ=
0.18 0.0806
= 2 .3 > 2 . 1
91.58 14
= 6.54
0.0844 13
= 0.0806
n
xi
−x x i −
(x i −− x )
1
6.45
-0.08
0.0064
2
6.62
+0.09
0.0081
3
6.47
-0.06
0.0036
4
6.57
+0.04
0.0016
5
6.62
+0.09
0.0081
6
6.50
-0.03
0.0009
7
6.71
+0.18
0.0324
8
6.43
-0.10
0.0100
9
6.58
+0.05
0.0025
10
6.49
-0.04
0.0016
11
6.60
+0-07
0.0049
12
6.50
-0.03
0.0009
13
6.56
+0.03
0.0009
14
6.48
-0.05
0.0025
91.58
2
0.0844
Odbacuje se sumnjiv rezultat i postupak se ponavlja sve dok se ne iskljue svi rezultati koji odskau
TESTIRANJE HIPOTEZE O PRIPADNOSTI POJEDINOG ELEMENTA OSNOVNOM SKUPU nepoznato standardno odstupanje Sumnjiv rezultat X1, x2, x3, ..., xn X1 =
s1 =
n −1
1
n −1
x
i
1
Srednju vrednost i standardno odstupanje bez sumnjivog rezultata merenja (xn)
n −1
1
n−2
(x
i
− X1 )2
Broj stepeni slobode od s1 iznosi f=n-2
i =1
Test veliina
∆1n = x n − X 1 P( ∆1n < t α / 2,f ⋅ s1
n n −1
) =1− α
Kvantil studentovog rasporeda za nivo zna ajnosti i f = n-2 t α / 2 ,f ⋅ s1
n n −1
= ∆1G
Dozvoljeno odstupanje sluajne promenljive pri nepoznatom standardu
merenja.
TESTIRANJE HIPOTEZE O SREDNJOJ VREDNOSTI POPULACIJE - poznato σ Nulta hipoteza može biti: jednostrana i dvostrana. H0 : x = µ z=
x −µ
σ
n
Nulta hipoteza
Ha : x ≠ µ
Alternativna hipoteza
Test statistika
Tri sluaja:
1
H0 : µ = x Ha : x < µ
2
H0 : µ = x Ha : x > µ
3
H0 : µ = x Ha : x ≠ µ
x −µ
σ
P z =
n
x −µ
σ
P z =
n
< −z α = α
z < −z α
odbacije se nulta hipoteza
: Ukoliko je
z > zα
odbacije se nulta hipoteza
: Ukoliko je
z < −zα / 2
> z α = α
x−µ
σ
P − z α / 2 <
: Ukoliko je
n
< z α / 2 = 1 − α
ili
z > zα / 2
odbacije se nulta hipoteza
TESTIRANJE HIPOTEZE O SREDNJOJ VREDNOSTI POPULACIJE - nepoznato σ t=
x−µ s
n
Umesto σ , koristi se njena ocena s, odnosno zα i zα/2 zamenjuju se sa tα i t α/2 , gde je f = n-1 broj stepeni slobode Za n > 30, t se zamenjuje sa z koji se uzima iz tablica normalnog rasporeda
Pretpostavimo dva meusobno nezavisna uzorka nejednakih dimenzija n1 i n2 normalnog rasporeda sa o ekivanjima µ1 i µ2 Test statistika – poznato σ σ
z=
Nulta hipoteza :
H 0 : µ1 − µ 2 = δ
Alternativne hipoteze: µ1 − µ 2 ≠ δ µ1 − µ 2 > δ
x1 − x 2 − δ 2 1
2 2
σ n1 + σ n 2
Test statistika – nepoznato σ σ t=
x1 − x 2 − δ 2
2
(n 1 − 1) ⋅ s 1 + (n 2 − 1) ⋅ s 2
1
n1 + n 2 − 2
n1
+
1 n2
Broj stepeni slobode f = (n 1 + n 2 − 2)
µ1 − µ 2 < δ
Reoni odbacivanja isti kao pri poznatom σ
TESTIRANJE HIPOTEZE O VARIJANSI POPULACIJE Koristi se χ 2 raspored
TESTIRANJE HIPOTEZE O KOLINIKU DVE VARIJANSE ISTE POPULACIJE Koristi se Fišerov raspored
Vrednosti kvantila Fα Fα/2 lociraju granice α i α/2 intervala F rasporeda, sa f1 stepeni slobode u brojiocu i f2 u imeniocu Kod obostranog testa, broj stepeni slobode brojioca odgovara numeri ki veoj vrednosti varijanse uzorka
TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA
• Testiranje homogenosti serija merenja primenom Fišerovog rasporeda • Testiranje homogenosti serija merenja primenom Bartletovog testa • Testiranje homogenosti serija merenja primenom Levenovog testa
TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA – primenom F statistike Neka je iz osnovnog skupa izdvojeno j=1,2,..., k uzoraka sa elemenatima µ j
- matematiko oekivanje obeležja X iz uzorka j
µ
- matematiko oekivanje obeležja X iz iz svih uzorka
∆µ j
- efekat j. tog uzorka
x j1 , x j2 ,..., x jn1
Važi pretpostavka: k
∆µ
1. Nulta hipoteza :
=0
j
j=1
H 0 : ∆µ1 = ∆µ 2 = ... = ∆µ k = 0 j = 1,2,..., k
Neka su: x j =
1
n j
1
x=
n
2. Alternativna hipoteza :
n j
x
ji
- Srednja vrednost pojedinog uzorka j
k
n
j=1
x ji =
i =1
1
n
- Srednja vrednost svih uzoraka
n j x j
n
Fišerov raspored
- Ukupan broj elemenata
j
n (x j
B=
(x j, i
k
− x ) = n j x j − nx 2
j
2
k
ji
− x j ) 2 = j = 1
n j
x i =1
k
2
ji
− n j x j2 i =1
- Pomone veliine nezavisne meusobno)
χ2 raspored
2
f A F = k − 12 = 2 ⋅ B / σ f 1 B n − k
2
j = 1
j, i
A / σ
j= 1
j=1
A=
- barem jedno
3. Test statistika :
n j
k
n=
H a : ∆µ i ≠ 0
i =1
χ2 raspored
4. Donošenje odluke (, f2=n-k, f1=k-1) F ≥ Ff 1 ,f 2 ,α
Odbacuje H0
TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA – ANOVA tabela (Fisherov raspored) Nulta hipoteza: H 0 : µ1 = µ 2 = µ 3 = µ4
Alternativna hipoteza: H a : µi ≠ µ j
Test procedura:
1. Korak: Odrediti varijanse svakog uzorka 2. Korak: Oceniti ukupnu varijansu iz varijansi po uzorcima (unutrašnja varijansa) 4
(n − 1) ⋅ s i
2
sU =
2
i
i =1 4
(n − 1)
f2
i
s2U = 407.2
i =1
3. Korak: Oceniti uzoraka
s2I = 3372.6
4
F= 8.28
= 0.00014
Funkcija FDIST (program Excel)
(X 2
sI =
* i
*
−X )
i =1
( k − 1)
f1
X *i = ni X i * n * X = Xi i =1
4. Korak: Definisanje test statistike s odluka = F = 2
I
2
sU
F ≥ Fα ,f ,f 1
2
Odbacuje H0
TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA – Bartletov test Bartletov test je osetljiv ukoliko elementi skupova ne pripadaju normalnom rasporedu 1. Nulta hipoteza: H 0 : σ12 = σ 22 = ... = σk 2
2. Alternativna hipoteza: barem u jednom sluaju
H 0 : σi2 ≠ σ 2j
3. Test statistika: k
( N − k ) ln(s 2p ) −
χ2 =
(n
i
− 1) ln(si2 )
Odluka
i =1
k 1 1 1 1+ − N − k n 3( k − 1) 1 − i = 1 i k
N=
n
- Ukupan broj elemenata uzorka
i
i =1
2
sp =
1
(n N − k
i
− 1)s i2 - Zajednika varijansa celog uzorka
i
si
- Varijansa pojedinog uzorka
k
- Broj uzoraka
2
χ 2 > χ 2k −1,α
Odbacuje se nulta hipoteza
n1 n2 1.
2.
n3 3.
... k
x11 x21
x31 .. .....
x12 x22
x32 ... ...
x13 x23
x33 ...
...
...
...
TESTIRANJE HIPOTEZA O HOMOGENOSTI SERIJA MERENJA – Levenov test Levenov test predstavlja alternativu Bartletovom testu i koristi se naj eše u situacijama kada merenja u uzorcima odstupaju od normalnosti. 1. Nulta hipoteza:
4. Odluka
H 0 : σ1 = σ 2 = ... = σ k
W > Fα ,k −1, N − k
2. Alternativna hipoteza: u najmanje jednom sluaju
H a : σ i ≠ σ j
Srednja vrednost iz svih uzoraka
3. Test statistika k
2 ( N − k ) ⋅ n i ( z i − z )
i =1
W=
k
( k − 1) ⋅
ni
(z i =1
ij
− zi )2
j= 1
Srednja vrednost od zij i-tog uzorka
z ij = y ij − y i
yi
- Srednja vrednost
z ij = y ij − ~ yi
~ yi
- Medijana
z ij = y ij − y 'i
y' i
- 10% zaseena vrednost i-tog uzorka
Odbacuje H0 Kritina vrednost Fišerovog rasporeda za k-1 i N-k stepeni slobode i nivo znaajnosti
TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA SA PRETPOSTAVLJENIM RASPOREDOM
• • • •
Pirsonov test Test Jestremskijeva Test Kolmogorova Test Kolmogorov- Smirnova
TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA SA PRETPOSTAVLJENIM RASPOREDOM – Pirsonov test - ajne promenljive X
l 1 , l 2 ,..., l n
f 1' , f 2' ,..., f n' -
-
f 1, , f 2 ,..., f n
n
n
f = f = n '
'
2
χ =
(f − f 1 ) 2 1
f 1
'
+
(f − f 2 ) 2 2
f 2
'
+ ... +
( f n − f n ) 2 f n
'
n
(f i − f i ) 2
i =1
f i
=
i
i
2
i =1
i =1
n
χ2 = i =1
'2
f i
f i
−n
Pri velikom broju podataka merenja, radi lakše matematike obrade podaci se razvrstavaju u grupe (razrede, klase). Prema Fišeru, broj elemenata u klasi ne bi trebao biti manji od 5. n = 23 N
- Optimalan broj klasa
Odluka:
χ 2 ≥ χα2 , ν ν = n − 1 ν = n − 1 − m
Odbacuje se tvrdnja o saglasnosti eksperimentalnog rasporeda sa pretpostavljenim teorijskim rasporedom - Broj stepeni slobode ukoliko su poznati parametri populacije - Broj stepeni slobode ukoliko nisu poznati parametri populacije
Pirsonov test - primer Test procedura :
Osnovni skup promenljive ima funkciju rasporeda oblika F0(x;1,2,...n) koja zavisi od r nezavisnih promenljivih 1,2,...n. Neka su x1,x2,...xn elementi uzorka koji pripada osnovnom skupu, dok su a0
(f i' − nπ i ) 2
i =1
nπ i
χ2 =
∼χ2 raspored sa k-1-m stepeni
slobode
Odluka: χ 2 < χ 2k − r −1,α
Prihvata se hipoteza H0
Pirsonov test – primer, nastavak
TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA SA PRETPOSTAVLJENIM RASPOREDOM –Test Jestremskijeva n
J=
v i2
Npq
- Statistika Jestremskijeva
i =1
v i = f i' − f i
- Razlike eksperimentalnih i teorijskih frekvencija
n - Broj grupa N
- Ukupan broj elemenata iz svih grupa
p - Teorijska verovatnoa pojedine grupe q =1− p
Ukoliko I=J−n
0
Znaajna saglasnost sa teorijskim rasporedom
Maksimalno dozvoljeno odstupanje: I max = 2 2n + 2.4
Test Jestremskijeva - primer Pri merenju 457 uglova dobijeni rezultati su razvrstani u 15 klasa, zajedno sa eksperimentalnim frekfencijama njihove pojave i teorijskim frekvencijama. Testirati date vrednosti na saglasnost sa oekivanim (normalnim) rasporedom. n
f i
fi
pi
qi
vi =f i -fi
vi2
Npq
v2 /Npq
1
11
7.1
0.0157
0.9843
3.9
15.21
7.1
2.1
2
4
8.5
0.0186
0.9814
- 4.5
20.25
8.3
2.4
Imax= 11.4
3
11
15.5
0.0338
...
...
...
14.9
1.4
I < Imax
4
18
25.2
0.0551
23.8
2.2
5
28
36.9
0.0806
...
...
6
51
48.4
0.1059
7
67
56.9
0.1246
8
65
60.1
0.1315
9
68
56.9
0.1246
10
44
48.4
0.1059
11
33
36.9
0.0806
12
30
25.2
0.0567
13
12
15.5
0.0338
14
8
8.5
0.0186
15
7
7.0
0.0000
1.0000
457
457.0
1.0000
0.0000
-0.0
0.01
0.00
-
-
18.3
J = 18.3 I = 18.3 – 15 = 3.3
TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA SA PRETPOSTAVLJENIM RASPOREDOM –Test Kolmogorova x < x1 0, k x 1 , x 2 ,..., x n uzorak od n elemenata ija funkcija rasporeda glasi: Fn ( x ) = , x k < x < x k +1 n xn < x 1, i koju treba uporediti sa teorijskom F ( x ) 0
Neka je k broj elemenata manjih od vrednosti iz skupa x1,x2,...,xn Funkcija
Fn ( x ) =
k n
D n = max Fn ( x ) − F0 ( x )
Nulta hipoteza:
H a : F( x ) ≠ F0 ( x )
Kvantil funkcije rasporeda koji se uzima iz tablica Kolmogorova
p( D n ≥ d n ,α ) = α
Za
- predstavlja meru odstupanja eksperimentalne od teorijske raspodele – parametar Kolmogorova
H 0 : F( x ) = F0 (x )
Alternativna hipoteza: Odluka:
predstavlja novu sluajnu promenljivu
n > 100
PRIMER 4.6.6.3-1
Test Kolmogorova - primer
TESTIRANJE HIPOTEZA O SAGLASNOSTI RASPOREDA SA PRETPOSTAVLJENIM RASPOREDOM –Test Kolmogorov-Smirnova Nulta hipoteza: H 0 : F( x ) = G ( x )
Dve funkcije rasporeda Alternativna hipoteza: H a : F( x ) ≠ G( x )
Test statistiuka: D m ,n = max Fm ( x ) − G n ( x )
Odluka: D m ,n < d m , n ,α
k =
m+n m⋅n
Kritine vrednosti odreuju se iz tablica Kolmogorov-Smirnova
Tablice Kolmogorov-Smirnova
