Table des matières
I
Rappels de probabilités
4
I.1
Espace de probabilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
I.2
Variable aléatoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
I.2.1
Loi d’une variable aléatoire . . . . . . . . . . . . . . . . . . . . .
5
I.2.2
Espérance d’une variable aléatoire . . . . . . . . . . . . . . . . . .
6
I.2.3
Variance et covariance . . . . . . . . . . . . . . . . . . . . . . . .
7
Indépendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7
I.3.1
Indépendance d’évenements . . . . . . . . . . . . . . . . . . . . .
7
I.3.2
Indépendance de tribus . . . . . . . . . . . . . . . . . . . . . . . .
8
I.3 I.3.3
Ind Indépendance de variabl ables aléatoires res . . . . . . . . . . . . . . . . .
8
Espérance conditionnelle . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
I.4. I.4.11
Cond Condit itio ionn nnem emen entt par par rapp rappor ortt à un évén événem emen entt . . . . . . . . . . . .
8
I.4.2 I.4.2
Cond Condit itio ionn nnem ement ent par par rapp rapport ort à une une vari variab able le aléa aléato toir iree disc discrèt rètee Y . .
9
I.4. I.4.33
Cond Condit itio ionn nnem emen entt par par rapp rappor ortt à une une v.a. .a. Y cont contin inue ue . . . . . . . . .
9
I.4.4
Conditionnem Conditionnement ent par rapport à une tribu tribu G . . . . . . . . . . . . .
9
Con Converge ergenc nces es de sui suites de varia ariabl bles es aléa aléattoire oiress . . . . . . . . . . . . . . . .
10
I.3
I.4
I.5 I.5
II Généralités
12
II.1 Processus stochastique . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12
II.2 II.2 Clas Classi sific ficat atio ionn de Proc Proces essu suss stoc stocha hast stiiques ques . . . . . . . . . . . . . . . . . . .
13
1
II.2. II.2.11 Proce Process ssus us à accro accrois issem semen ents ts indé indépe pend ndan ants ts et stat statio ionn nnai aires res . . . . . .
13
II.2.2 Processus stationnaires . . . . . . . . . . . . . . . . . . . . . . . .
14
III Processus de Poisson
15
III. III.11 Proc Proces essu suss ponc ponctu tuel elss et fonc foncttion ion de comp compttage age . . . . . . . . . . . . . . . . .
15
III.2 Processus de poisson . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16
III.3 Les temps d’arrivées . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
III. III.44 Supe Superp rpos osit itio ionn de Proc Proces essu suss de Poi Poisson sson . . . . . . . . . . . . . . . . . . . .
18
III. III.55 Déco Décomp mpos osit itio ionn d’un d’un proc proces essu suss de pois poisso sonn . . . . . . . . . . . . . . . . . .
18
III.5.1 paradoxe de l’autobus . . . . . . . . . . . . . . . . . . . . . . . .
19
IV Chaînes de Markov
20
IV.1 Définition et propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
IV.2 Proprièté forte de Markov . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
IV.2.1 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
23
IV.2.2 Propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . .
24
IV.3 Classification des états . . . . . . . . . . . . . . . . . . . . . . . . . . . .
25
IV.3 IV.3.1 .1 Etat Etat récu récurr rren entt et état état tran transi sittoire oire . . . . . . . . . . . . . . . . . . . .
25
IV.3.2 Classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
IV.3.3 Période . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
IV.4 Comportement asymptotique . . . . . . . . . . . . . . . . . . . . . . . . .
27
IV. IV.4.1 Cas réc récurren rent irréd réductible . . . . . . . . . . . . . . . . . . . . . . .
27
IV.4.2 Chaînes apériodiques . . . . . . . . . . . . . . . . . . . . . . . . .
29
V Processus Markovien de saut
30
V.1 Définition et Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
V.2 propriété de Markov forte . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
V.2.1 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
2
V.3 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
V.3.1 Temps passé dans un état . . . . . . . . . . . . . . . . . . . . . . .
32
V.3.2 Chaîne de Markov incluse . . . . . . . . . . . . . . . . . . . . . .
33
V.3.3 Equations de Kolmogorov . . . . . . . . . . . . . . . . . . . . . .
34
V.4 Mesu Mesure ress invaria ariant ntes es et Théo Théorè rèm mes limit imites es . . . . . . . . . . . . . . . . . .
35
V.4.1 Classification des états . . . . . . . . . . . . . . . . . . . . . . . .
35
V.4.2 Le cas irréductible récurrent . . . . . . . . . . . . . . . . . . . . .
35
V.4.3 Théorèmes limites . . . . . . . . . . . . . . . . . . . . . . . . . .
36
3
Chapitre I Rappels de probabilités I.1
Espace Espace de proba probabil bilité ité
Un espace de probabilité est un triplet (Ω,F ,P ,P ) où: – Ω est l’ensemble de tout les résultats associés à une expérience. – F est une tribu sur Ω, i.e. F est un ensemble de sous ensemble de Ω, appelés événements, tel que: (i) ∅ ∈ F et Ω ∈ F , (ii) A ∈ F ⇒ Ac ∈ F , +∞
(iii)
, alors
Si An ∈ F pour n = 1,2,...
n=1
An
∈ F
– P est une mesure de probabilité sur (Ω,F ), c’est-à-dire, P est une application de dans [0,1] telle que: (a) P (∅) = 0 et P (Ω) = 1 , +∞
(
(b) P
n=1
F
∞
An
)=
deux à deux.
P (An ), pour toute famille An ,n
{
n=1
∈ N} d’événements disjoints
+∞
Les axiomes (i) et (ii) impliquent que
An
n=1
∈ F .
Les axiomes (a) et (b) entrainent, pour tous événements A et B , – P (A) = 1 − P (Ac ), – A ⊂ B ⇒ P (A) ≤ P (B ), 4
C HAPITRE I
R APPELS
– P (A ∪ B ) = P (A) + P (B ) − P (A ∩ B ). Exemple: L’expérience consiste à lancer un dé. Alors
{
}
Ω = 1,2,3,4,5,6
A = 1,3,5 est l’événement avoir un nombre impaire. Si le dé est équilibré, équilibré, la mesure de probabilité probabilité sur (Ω, = 1 1 , i. Et donc P (A) = 2 . 6
{
}
F P (Ω)) (Ω)) est définie par P ({i}) =
∀
I.2
Variabl ariablee aléato aléatoir iree
F → {ω ∈ Ω : X (ω) ∈ B} = {X ∈ B} ∈ F , ∀B ∈ B(R). Proposition I.2.2 X est une v.a. si et seulement si {ω ∈ Ω : X (ω ) ≤ x} ∈ F , , ∀x ∈ R ,P ) est Définition I.2.3 La tribu engendrée par une famille de v.a. {X ,i ∈ I } sur (Ω,F ,P
,P ) un espace de probabilité. Une variable aléatoire (v.a.) est Définition I.2.1 Soit (Ω, ,P une application X : Ω R telle que,
i
définie définie par
σ (X i ,i
I.2.1 I.2.1
∈ I ) = σ({X ∈ B},i ∈ I ,B ∈ B(R)) = σ({X ≤ x},i ∈ I ,x ∈ R). i
i
Loi d’une variable variable aléatoir aléatoiree
B(R) → [0,1] définie par µ(B ) = P ({X ∈ B }), B ∈ B (R). Définition I.2.5 La fonction fonction de répartition répartition d’une v.a. X est l’application F : B(R) → [0,1] définie définie par F (x) = P (X ≤ x) = µ(] − ∞,x]), x ∈ R Définition I.2.4 La loi d’une v.a. X est l’application µ :
F vérifie les propriétés suivantes,
– lim F (x) = 1 , x→+∞
– lim F (x) = 0 , x→−∞
– F est croissante.
S. S AADI
5
C HAPITRE I
R APPELS
Variable aléatoire discrète:
Une v.a. X est discrète si elle prend ses valeurs dans un ensemble D dénombrable. Dans ce cas on a, F (t) =
P (X = x),
x∈D:x≤t
Nous avons
∀t ∈ D
P (X = x) = 1 .
x∈D
Exemple: Loi Binomiale B (n,p), n
≥ 1, p ∈ [0,1] telle que P (X = k ) = C p (1 − p) , 0 ≤ k ≤ n. n− k
p k n
Variable aléatoire continue :
Une v.a. est continue si P (X = x) = 0 pour tout x. La fonction densité d’une d’u ne v.a. continue est une fonction f telle que,
≥ 0 pour tout x réel. (b) f est intégrable et P (a ≤ X ≤ b) = f (x)dx si a < b.
(a) f (x)
b
a
+∞
(c)
f (x)dx = 1.
−∞
x
(d) F (x) =
f (t)dt, pour tout x réel.
−∞
Exemple: Loi exponentielle Soit α > 0, une v.a. X est dite exponentielle de paramètre α si
F (x) =
1− 0
e−αx si x > 0 si x 0.
≤
La fonction de densité est donnée par f (x) =
I.2.2 I.2.2
αe−αx si x > 0 si x 0. 0
≤
Espérance Espérance d’une variable variable aléatoir aléatoiree
Soit X une v.a. discrète prenant ses valeurs dans un ensemble D. La moyenne ou l’espérance de X , notée E [X ], est le nombre
]=
E [X
xP (X = x)
x∈D
S. S AADI
6
C HAPITRE I
R APPELS
Exemple: Soit X une v.a. de Bernoulli de paramètre p (B(1,p)), alors
E [X ] = 0 = p
× P (X = 0) + 1 × P (X = 1)
Si X est une v.a. continue de fonction densité f , on définie l’espérance de X par, +∞
E [X ] =
xf (x)dx
−∞
Exemple: Soit X une v.a. exponentielle de paramètre α. Alors +∞
E [X ] =
xαe−αx dx =
0
I.2.3 I.2.3
1 α
Variance ariance et covarianc covariancee
Définition I.2.6 Soient X et Y deux v.a. On a 2
2
2
− E [X ])]) ) = E [X ] − (E [X ])]) ≥ 0. cov (X,Y ) = E (( ((X − E [X ])( ])(Y − E [Y ])) = E (X Y ) − E (X )E (Y ). var (X ) = E (( ((X
I.3 I.3 I.3.1 I.3.1
Indé Indépe pend ndan ance ce Indépendanc Indépendancee d’évenem d’évenements ents
Définition I.3.1 Deux événements A et B sont indépendants si
P (A
∩ B) = P (A)P (B).
Définition I.3.2 n événements A1 ,...,An sont indépendants ssi
P (
i∈I
Remarques I.3.3 suffit pas.
Ai ) =
i∈I
P (Ai ),
∀I ⊂ {1,...,n}.
1. Pour n > 2 , la condition P (A1
∩ ... ∩ A ) = P (A )...P (A ) ne n
1
n
2. L’indépen L’indépendance dance de n événements est plus forte que l’indépenda l’indépendance nce deux à deux.
S. S AADI
7
C HAPITRE I I.3.2 I.3.2
R APPELS
Indépe Indépenda ndance nce de tribu tribuss
F ,...,F ) de sous-tribu de F est indépendante si ∩ ... ∩ A ) = P (A )...P (A ), ∀A ∈ F ,...,A ∈ F .
Définition I.3.4 Une famille (
P (A1
1
n
n
1
n
1
1
n
n
Proposition I.3.5 (σ (A1 ),...,σ (An )) est une une fami famill llee de sous sous-t -tri ribu buss indé indépe pend ndan ante tess ssi les les évéévénements (A1 ,...,An ) sont indépendants.
I.3.3 I.3.3
Indépendanc Indépendancee de variables variables aléatoir aléatoires es
Définition I.3.6 Une famille (X 1 ,...,X n ) de v.a. est indépendante si la famille de sous-tribu (σ (X 1 ),...,σ (X n )) est indépendante.
{ ≤
une fami famill llee de v.a. .a. indép indépen enda dant ntes es ssi ssi les les évén événem emen ents ts X 1 Proposition I.3.7 (X 1 ,...,X n ) est une x1 ,..., X n xn sont indépendants x1 ,...,xn R
} { ≤ } ∀ ∈ En particulier X ⊥ Y ssi P (X ≤ x,Y ≤ y) = P (X ≤ x)P (Y ≤ y), ∀x,y ∈ R , alors Proposition I.3.8 Soient c ∈ R et X , Y deux v.a. Si X ⊥ Y ,
– E (X Y ) = E (X )E (Y ) , on dit qu’elles sont décorrélées; la réciproque n’est pas vraie. – var (cX + Y ) = c2 var (X ) + var (Y )
Proposition I.3.9 Soient X , Y deux v.a. continues possédant une densité conjointe f X,Y X,Y (i.e.
P (X
≤ x,Y ≤ y) =
x
y
−∞
−∞
f X,Y X,Y (u,v )dudv ). Si X
f X,Y X,Y (x,y ) = f X (x)f Y Y (y ),
I.4 I.4.1 I.4.1
⊥ Y alors ∀x,y ∈ R.
Espéra Espérance nce condit condition ionnel nelle le Condition Conditionnemen nementt par rapport rapport à un un événem événement ent
Soit A,B ∈ F tel que P (B ) = 0
|
P (A B ) =
Soit X une v.a. tel que E (|X |) < ∞,
|
E (X B ) =
S. S AADI
∩
P (A B ) P (B )
E (X 1B ) , s i P (B ) = 0 P (B )
8
C HAPITRE I I.4.2 I.4.2
R APPELS
Condition Conditionnemen nementt par rapport rapport à une variab variable le aléatoi aléatoire re discrèt discrètee Y
Soit A ∈ F , P (A|Y ) = ϕ(Y ), où ϕ(y) = P (A|Y = y), y ∈ D. Soit X une v.a., E (X |Y ) = ψ(Y ), où ψ(y ) = E (X |Y = y), y ∈ D.
|
|
Remarque I.4.1 Il est important de voir que P (A Y ) et E (X Y ) sont des v.a.! Exemple: Soient (X 1 ,X 2 ) deux jets de dés indépendants, E (X 1 + X 2 X 2 ) = ψ (X 2 ), où
|
|
E (( ((X 1 + X 2 )1X2=y ) P (X 2 = y ) E (X 1 + y )P (X 2 = y ) = = E (X 1 ) + y P (X 2 = y )
ψ (y ) = E (X 1 + X 2 X 2 = y ) =
=
E (( ((X 1 + y )1X2=y ) P (X 2 = y )
Donc E (X 1 + X 2 |X 2 ) = E (X 1 ) + X 2 I.4.3 I.4.3
Condition Conditionnemen nementt par rapport rapport à une une v.a. v.a. Y continue continue
Si P (A|Y ) = ϕ(Y ), où ϕ(y) = P (A|Y = y) Problème: P (Y = y) = 0? Il vaut donc mieux généraliser la définition pour une tribu. I.4.4 I.4.4
Condition Conditionnemen nementt par rapport rapport à une une tribu tribu
Soient (Ω,F ,P ,P ) un espace de probabilité; X une v.a. et G une sous-tribu de F .
G
-mesurable telle que E (|X | < ∞) F -mesurable
| | ∞) et
Théorème I.4.2 Il existe une v.a. Z telle que E ( Z <
G
(i) Z est une v.a. -mesurable. (ii) E (X U ) = E (Z U ) , U v.a. -mesurable et bornée.
∀
G
|G|G
Z est notée E (X ) et est appelée l’espérance conditionnelle de X par rapport à De plus, si Z 1 et Z 2 vérifient vérifient (i) et (ii), alors Z 1 = Z 2 p.s.
G.
La condition (ii) est équivalente à la condition, (ii)’ E (X 1B ) = E (Z 1B ), ∀B ∈ G Définition I.4.3
– On définit définit la probabilité conditionnelle par rapport à une tribu par
|G
P (A ) = E (1 (1A
S. S AADI
|G ) 9
C HAPITRE I
R APPELS
l’espérance conditionnelle conditionnelle par rapport à une v.a. par – Et on définit définit l’espérance
|
|
E (X Y ) = E (X σ (Y )) Proposition I.4.4 Soient X , Y deux v.a. continues possédant une densité conjointe f X,Y X,Y , alors
1 E (X Y ) = ψ (Y ) p.s. où ψ (y ) = E (X Y = y ) = f Y Y (y )
|
et f Y Y (y ) =
|
xf X,Y X,Y (x,y )dx
R
f X,Y X,Y (x,y )dx.
R
Preuve: Soit B
∈ B(R), E [X 1Y ∈B ]
= 1 = 1 = x x
=
y ∈B f X,Y X,Y (x,y )dxdy
f X,Y X,Y (x,y ) f Y Y (y )dxdy f Y Y (y ) f X,Y X,Y (x,y ) x dx 1y∈B f Y Y (y )dy f Y Y (y ) y ∈B
ψ (y )1y∈B f Y Y (y )dy = E [ψ (Y )1Y ∈B ]
Propriétés: Soient f, g et h des fonctions mesurables.
|
|
|
P1 E [αX 1 + βX 2 Y ] = αE [X 1 Y ] + βE [X 2 Y ] P2 Si X et Y sont deus v.a. indépendantes alors E [f (X ) Y ] = E [f (X )] )] . En particulier E [X Y ] = E [X ]
|
| |
|
|
P3 E [E [X Y ] Y ] = E [X Y ]
| P5 E [E [f (X,Y )|Y ]]
|
P4 E [g (X )h(Y ) Y ] = h(Y )E [g (X ) Y ]
= E [f (X,Y )], c-à-d l’espérance de l’espérance conditionnelle est
égale à l’espérance.
I.5
Conver Convergenc gences es de suites suites de de variable variabless aléato aléatoire iress
Soient (X n )n∈N une suite de v.a. et X une autre v.a., toutes définies sur (Ω,F ,P ,P ). Il ya plusieurs façons de définir la convergence de la suite (X n )n∈N vers X , Convergence en probabilité
X n
S. S AADI
P n→∞ X
→
si
{ ∈ Ω : |X (ω) − X (ω)| > ε}) = 0
lim P ( ω
n→∞
n
10
C HAPITRE I
R APPELS
Convergence presque sûr
X n
→
n→∞ X
Remarque I.5.1 Si X n
→
{ ∈ Ω : lim X (ω) = X (ω)}) = 1 . X p.s., alors X → X
p.s. si P ( ω
n→∞
n→∞
n
P n→∞
n
Convergence en moyenne (ou convergence L1 )
| − X |) = 0
lim E ( X n
n→∞
Convergence en moyenne quadratique (ou convergence L2 ) 2
| − X | ) = 0
lim E ( X n
n→∞
Remarque I.5.2 L’une ou l’autre de ces convergences implique la convergence en probabilité. Convergence en loi
Soient (X n )n une suite de v.a. (définies sur (Ω,F ,P ,P )) et (F Xn ) la suite des fonctions de répartition correspondantes (F Xn (t) = P (X n ≤ t).) X n converge en loi vers X , on note X n ⇒n→∞ X , si lim F Xn (t) = F X (t), ∀t ∈ R point de continuité de F X . n→∞
Théorèmes limites
Théorème I.5.3 (Loi des grands nombres) Soient (X n )n une suite de variables aléatoires indépendantes et identiquement distribuées n
(i.i.d.), d’espérance finie m, alors la v.a. S n
=
X i vérifie,
i=1
S n n
⇒m
Théorème I.5.4 (Théorème de la limite centrale) Soient (X n )n une suite de variables aléatoires indépendantes et identiquement distribuées n
2
(i.i.d.), d’espérance finie m, et variance finie σ alors la v.a. S n
=
X i satisfait,
i=1
√−nσnm ⇒ Z N (0(0,1). où Z suit une loi normale normale centrée réduite, N S n
S. S AADI
11
Chapitre II Généralités Les cours de probabilités s’intéressent essentiellement à l’étude d’une variable alèatoire, notament notament sa loi, son espérance, sa variance, ou plus généralement généralement à l’étude d’un couple couple ou vecteur aléatoire. Ce cours s’intéresse à l’étude des familles de variables aléatoires indexées par un paramétre discret ou continu.
II.1 II.1
Proce Pr ocessu ssuss stocha stochastiq stique ue
Définition II.1.1 Soit I un ensemble de réels ( I = N,Z,R ,ou R+ ). Un processus stochasI ) de variables aléatoires (v.a.) définies sur un même espace tique est une famille (X t ,t ,P ) et à valeurs dans un espace d’états (E, ). de probabilité (Ω, ,P On peut également le voir comme une fonction aléatoire:
F
∈
X : Ω ω
E
→ { fonctions de I dans E } → t → X (ω) t
– I est l’ensemble des indices. Souvent t représente le temps. Si I est à valeurs discrètes on parle de processus à temps discret et si l’ensemble des valeurs de I est continue, on parle de processus à temps continu. Ainsi si – I = N: instants successifs à partir d’un instant initial t0 . – I = Z: instants successifs avant et après un instant t0. – I = R ou R+ : idem mais en temps continu. – L’ensemble des états du processus peut être continu ou discret. – La notion de processus processus stochastique stochastique élargit la notion de variable variable aléatoire. aléatoire. Une réalisation d’un processus stochastique est appelée trajectoire. 12
C HAPITRE II
G ÉNÉRALITÉS
C’est donc la fonction t → X t (ω ), ω fixé dans Ω. Exemples:
1. Jeu de "pile ou face". Aprés chaque lancer le joueur gagne 1dh s’il obtient "pile" et perd 1dh s’il obtient "face". La variable X n représentant représentant sa fortune après n tirage est un processus appelé marche aléatoire ou processus de Bernouilli.(I = N et E = Z) C’est un processus à temps discret et à espace d’états discret. 2. le cours d’une action cotée en bourse au jour le jour. – X t: valeur de l’action à la date t. – E = R+ . – I = { jour de cotation } C’est un processus à temps discret et espace d’états continu. 3. Mouvement Brownien: Une particule suspendue dans un liquide homogène, subit des chocs de la part des molécules de ce liquide d’où un mouvement aléatoire de la particule. (X t )t∈R est le processus qui donne la position de la particule à l’instant t. +
Pour caractériser une variable aléatoire X, il suffit de donner sa loi P (X ≤ x), ∀x ∈ E. Question: Que faut-il pour caractériser un processus (X t ,t ∈ I ) ? Réponse: Donner P (X t ≤ x1 ,X t ≤ x2 ,...,X tn ≤ xn ), pour tout n ∈ N∗ , t1 ,t2 ,...,tn ∈ I ; 1
2
∈
x1 ,x2 ,...,xn R. Question: Mais a-t-on toujours toujours besoin de toutes toutes ces informations informations pour caractériser caractériser un pro-
cessus?
II.2
Classificatio Classification n de Pr Process ocessus us stochastiqu stochastiques es
II.2.1 II.2.1
Processus Processus à accroissem accroissements ents indépendan indépendants ts et stationnai stationnaires res
∀
Définition Définition II.2.1 (a) (X t )t∈I est dit à accroissements indépendants si t1 < t2 < ... < tn , les variables aléatoires X t2 X t1 ,..., X tn X tn−1 sont indépendantes.
−
−
(b) Si la loi de X t X s ne dépend que de t à accroissements stationnaires .
−
− s et non de t et de s , on dira que (X )
t t∈I
est
Un processus stochastique vérifiant (a) et (b) est dit processus à accroissements indépendants et stationnaires.
S. S AADI
13
C HAPITRE II
G ÉNÉRALITÉS
Pour un tel processus: – Connaitre Connaitre la loi de X t − X 0, ∀t > 0, ainsi que celle de X 0 suffit à caractériser entièrement le processus. – E (X t ) = m0 + m1 t, avec m0 = E (X 0 ) et m1 = E (X 1 ) − m0 . En effet: Soit f (t) = E (X t − X 0 ), alors
− −
f (t + s) = E (X t+s X 0 ) = E (X t+s X s ) + E (X s X 0 ) = E (X t X 0) + E (X s X 0 ) = f (t) + f (s)
−
−
−
Donc f est linéaire et par suite elle s’écrit f (t) = αt, i.e E (X t ) = αt + E (X 0 ). – var (X t ) = σ02 + σ12 t, avec σ02 = var (X 0 ) et σ12 = var (X 1 ) − σ02 . II.2.2 II.2.2
Processus Processus stationna stationnaire iress
– On dira dira que le processus processus (X t )t∈I est stationnaire si ∀n ∈ N, ∀t1,t2,...,tn ∈ I et ∀h ∈ I (X t ,X t ,...,X tn ) et (X t +h ,X t +h ,...,X tn +h ) ont même loi. – On dira dira que X t est à covariance stationnaire si cov(X t ,X t+h ) ne dépend que de h. 1
2
1
2
– Un processus (X t )t∈I stationnaire et tel que E (X t2 ) existe, existe, est à covarianc covariancee stationstationnaire.
S. S AADI
14
Chapitre III Processus de Poisson Dans ce chapitre nous allons étudier un processus défini sur R+, à valeurs dans un ensemble fini ou dénombrable E, qui est constant entre ses sauts s auts qui se produisent à des instants aléatoires. Ce processus modélise des répartitions aléatoires de point sur R+ , qui peuvent correspondre à des instants de collision de particules, mais aussi à des instants d’arrivée de clients dans une file d’attente, d’appels à un central téléphonique.
III.1
Process Pr ocessus us ponctuels ponctuels et fonction fonction de comptage comptage
Un processus ponctuel sur R+ , se décrit par la donnée d’une suite croissante de points aléatoires, 0 < T 1 < T 2 < ... < T n < ... dans R+ qui sont des v.a. définies sur un espace de probabilité (Ω,F ,P ,P ). On suppose de plus que T n ∞, quand n → ∞. On posera: S 1 S 2
.. .
= T 1 = T 2
.. .
.. .
S n = T n
.. .
.. .
.. .
− T
1
− T
n− 1
Les v.a. T n sont les instants où se produisent un événement, les S n sont les délais ou les temps d’attente entre deux événements successifs. On définit la f.a. de comptage {N t ,t
≥ 0} du processus ponctuel {T ,n ∈ N} de la fan
15
C HAPITRE I I I
P ROCESSUS DE P OISSON
çon suivante:
{1
N t = sup n,T n
=
≤ t}
{T j ≤t}
j ≥1
N t est donc le nombre d’événement qui se sont produits avant l’instant t.
∞
Remarques III.1.1 1. Notons Notons que N 0 = 0 , puisque T 1 > 0. Et pour tout t > 0 , N t < . puisque T n , quand n s < t , N t N s est le nombre d’événements qui se sont produits dans 2. Pour 0 l’intervalle de temps ]s,t].
≤
∞
−
→∞
Une trajectoire du processus {N t ,t et continue à droite.
≥ 0} est une fonction en escalier, croissante, de sauts 1
Notons que la donnée de {N t ,t et que l’on a les relations:
≥ 0} est équivalente à celle de la suite {T ,n ∈ N}, n
{N ≥ n} {N = n} {N < n ≤ N } t t
s
III.2 III.2
t
= = =
{T ≤ t} {T ≤ t < T } {s < T ≤ t} n n
n+1
n
Proce Pr ocessu ssuss de poisso poisson n
{ ∈ } ≥ }
Définition III.2.1 On dit que le processus ponctuel T n ,n N ou sa f.a. de comptage N t ,t 0 est un processus de Poisson si N t ,t 0 est un processus stochastique à accroissements indépendants et stationnaires. i.e. si
{
≥ }
{
∀t
{ −
≤ ≤ }
< t1 < ... < tn dans R+ , les accroissements N tj N tj −1 ; 1 j n sont des v.a. indépendantes. (b) Pour 0 s < t , la loi de N t N s ne dépend de s et t que par la différence t-s.
(a)
0
≤
−
Le nom "Processus de Poisson" est justifié par la
{
≥ }
Proposition III.2.2 Soit N t ,t 0 la f.a.de comptage d’un processus de Poisson. Il existe λ > 0 tel que pour tout 0 s < t , la loi de N t N s est la loi de Poisson de paramètre λ(t s) , i.e. [λ(t s)]k P (N t N s = k ) = e−λ(t−s) , k N. k!
−
≤
−
−
−
∈
{ }
Remarque III.2.3 Ce paramètre λ est appelé l’intensité du processus de Poisson N t . Il est égal au nombre moyen d’événement qui se produisen produisentt pendant un intervalle intervalle de temps de
S. S AADI
16
C HAPITRE I I I
P ROCESSUS DE P OISSON
longeur unité, i.e.
E [N t+1
− N ] = λ. t
Remarque III.2.4 On a
P (N t+h P (N t+h P (N t+h
− N = 0) − N = 1) − N ≥ 2)
−
= 1 λh + o(h) = λh + o(h) = o(h)
t t t
−
Donc à des probabilités petites devant h près, N t+h N t est une v.a. de Bernouilli prenant la valeur 0 avec la probabilité 1 λh et la valeur 1 avec la probabilité λh Cette propriété jointe à l’indépendance des accroissements et à la formule
−
n
N t+s
= [
− N
N t+ jh
t
j=1 j =1
− N
t+( j −1)h 1)h ] avec h =
s n
) entraine que N t+s N t suit approximativement une loi binomiale de paramètres (n, λs n . Or quand n , cette loi converge vers la loi de Poisson de paramètre λs
→∞
−
{
≥ }
0 la f.a. de comptage d’un processus processus de Poisson. Il existe existe Corollaire III.2.5 Soit N t ,t λ > 0 tel que pour tout t 0 , la loi de N t est la loi de Poisson de paramètre λt , i.e.
≥
P (N t = k ) = e−λt
{ ≥
[λt]k , k k!
∈ N.
≥ } ∈
Corollaire III.2.6 Soit N t ,t 0 la f.a. de comptage d’un processus de Poisson d’intensité λ. Alors pour tout s,t 0, et k N ,
P [N t+s
− N = k|N ; u ≤ t] t
u
= P [N t+s e
=
III.3 III.3
− N = k] t
−λs
(λs)k k!
Les temps temps d’arr d’arrivé ivées es
Le corol corolla lair iree III.5 III.5.2 .2 rest restee valab alable le si on remp rempla lace ce le temp tempss arbi arbitr trai aire re t par un temp tempss d’ar d’arri rivé véee T n , soit, P [N T T n +s
− N
T T n
|
= 0 N u ; u
−λs
≤ T ] = e n
,
où {N u ; u ≤ T n } est l’histoire du procesus jusqu’à l’instant T n . Remarquons que,
{N
− N = 0} = {T − T > s} et que que l’hi l’hist stoi oire re cont contenu enuee dans dans {N ; u ≤ T } est est la même même que que cell cellee cont conten enue ue dans dans {T ,...,T }. T Tn +s
T T n
u
Nous avons donc le résultat remarquable, S. S AADI
n+1
n
n
1
n
17
C HAPITRE I I I
P ROCESSUS DE P OISSON
Proposition III.3.1 Pour tout n
≥ 0 , − T ≤ t|T ,...,T ] = 1 − e
P [T n+1
n
0
n
−λt
(On convient que T 0 = 0 ). En d’autres termes, T n : délais ou temps d’attente entre deux événements successifs sont les v.a. S n = T n+1 indépendants et identiquement distribuées (i.i.d), de distribution commune la distribution exponentielle de paramètre λ.
−
Dans certaines situation il est plus pratique de travailler avec les temps d’arrivées au lieu du processus de comptage. D’où l’intérêt du théorème suivant,
{
∈ }
Théorème III.3.2 Un processus ponctuel T n ,n N ou sa fonction aléatoire de comptage N t ,t 0 est un processus de Poisson d’intensité λ si et seulement seulement si les interévénements interévénements T 1 ,T 2 T 1 ,... sont des v.a. indépendantes et identiquement distribuées de distribution exponentielle de paramètre λ.
{
≥ } −
Proposition III.3.3 Pour tout n
∗
∈ N , n− 1
P [T n
≤ ]=1− t
k=0
III.4
e−λt (λt)k k!
Superpo Superposition sition de Pr Process ocessus us de Poisson Poisson
Considérons les arrivées à un carrefour par deux voies différentes. Soient (T n )n≥0 la suite des arrivées par la première voie et (T n)n≥0 la suite des arrivées par la seconde voie. On ordonne les (T n )n≥0 et (T n )n≥0 pour obtenir la suite (T n )n≥0 . Soit, N t = N t + N t
(N t )t≥0 est un processus de poisson d’intensité λ et (N t )t≥0 est un processus de poisson
d’intensité λ, alors (N t )t≥0 est un processus de poisson d’intensité λ = λ + λ .
III.5
Décomposit Décomposition ion d’un processu processuss de poisson poisson
Soit (N t )t≥0 un processus processus de poisson poisson d’intensité d’intensité λ et soit (X n )n≥0 un processus de Bernoulli (P (X n = 1) = p) indépendant de N t . S. S AADI
18
C HAPITRE I I I
P ROCESSUS DE P OISSON
A chaque arrivée on fait un tirage de bernoulli, l’arrivée va-t-il tourner à droite ou à gauche. Soit S n: le nombre de succés, S n = X 1 + X 2 + ... + X n . Dans [0,t] on a N t arrivée donc S N N t succés. On pose M t = S N Nt Lt = N t
− M
t
Théorème III.5.1 Les processus M = (M t )t≥0 et L = (Lt )t≥0 sont des processus de poisson de taux respectifs λp et λq. De plus M et L sont indépendant.
III.5. III.5.1 1
parado paradoxe xe de l’aut l’autob obus us
Soit (T n )n≥1 un processus de poisson de paramètre λ. Soit t ∈]0, + ∞[. On a N t = Sup {n,T n (ω ) ≤ t}.
Soit
−
V t = T N t Nt +1 W t = t T N N t
−
Théorème III.5.2 – Les v.a. V t et W t sont indépendantes. – La loi loi de W t est donnée par:
F W W (v ) =
S. S AADI
1 1
−λv
−e
≥
si v t si v < t
19
Chapitre IV Chaînes de Markov Connaissant le présent on peut oublier le passé pour prédire l’avenir.
IV.1 IV.1
Définition Définition et proprié propriétés tés
F
,P ) à espaces d’état Définition IV.1.1 Un processus stochastique (X n )n≥0 définie sur (Ω, ,P E fini ou dénombrable et à espace de temps T = N , est une chaîne de Markov si:
|
|
P [X n+1 = j X 0 ,X 1 ,...,X n ] = P [X n+1 = j X n ],
∀ j ∈ E, ∀n ∈ N
Une chaîne de Markov X est homogène si ces probabilités sont indépendantes de n, on note:
|
P [X n+1 = j X n = i] = P (i,j ) probabilité de transition transition . qu’on appelle probabilité
c’est un processus qui "oublie" son histoire au fur et à mesure Un critère simple qui permet souvent de vérifier qu’un processus est une chaîne de Markov est
× ×
Lemme IV.1.2 Soient E et F deux ensembles dénombrables, et f une application de N E F dans E. Soit X 0 ,Y 1 ,Y 2 ,... des v.a. mutuellement indépendantes, X 0 à valeurs dans E et les Y n à valeurs dans F, et (X n )n≥0 le processus à valeurs dans E défini par
X n+1 = f (n,X n ,Y n+1 ), n Alors (X n )n≥0 est une chaîne de Markov.
20
∈ N.
C HAPITRE IV
C HAÎNES DE M ARKOV
Exemple: File d’attente en temps discret
On considère une file d’attente qui se forme à un guichet. X n désigne désigne le nombre de clients clients dans dans la file file en atte attent ntee ou en trai trainn de se fair fairee serv servir iree à l’in l’inst stan antt n. Entr Entree les les inst instan ants ts n et n+1 arrivent Y n+1 clients, et si X n > 0 partent Z n+1 clients. On suppose que X 0 ,Y 1 ,Z 1 ,Y 2,Z 2,...sont indépendantes, vérifiant 0 < P (Y n = 0) < 1, et les Z n vérifiant P (Z n = 1 ) = p = 1 − P (Z n = 0) . C’est à dire que
−1
X n+1 = X n + Y n+1
{Xn >0} Z n+1
Soit la matrice P = ( P (i,j ))i,j (éventuellement infinie). P est une matrice stochastique ou markovienne i.e P (i,j )
≥ 0, ∀i ∈ E et
P (i,j ) = 1 .
j ∈E
∈ N , m ≥ 1 , i ,i ,...,i ∈ E , = i ,...,X = i |X = i ] = P (i ,i )P (i ,i )...P (i
Théorème IV.1.3 Pour tout n,m
P [X n+1 = i1 ,X n+2
2
0 1
n+m
m
n
n
0
0 1
1 2
m−1 ,im )
Preuve:
|
P [X n+1 = i1 ,X n+2 = i2 ,...,X n+m = im X n = i0 ] =
|
|
P [X n+m = im X n = i0 ,X n+1 = i1 ,...,X n+m−1 = im−1 ]P [X n+1 = i1 ,...,X n+m−1 = im−1 X n = i0 ]
Or
|
|
P [X n+m = im X n = i0 ,X n+1 = i1 ,X n+2 = i2 ,...,X n+m−1 = im−1 ] = P [X n+m = im X n+m−1 = im−1 ] = P (im−1 ,im )
D’où le résultat par récurence. Corollaire IV.1.4 Soit Π une loi sur E tel que P (X 0 = i) = Π( i) , Π est dite loi initiale, alors m N , m 1 , i0 ,i1 ,...,in E ,
∀ ∈
≥
∈
P [X 0 = i0 ,X 1 = i1 ,...,X m = im ] = Π(i0 )P (i0 ,i1 )P (i1 ,i2 )...P (im−1 ,im )
La loi d’une chaîne de Markov est entièrement déterminée par la donnée d’une loi initiale Π, qui est la loi de X 0 , et de la matrice de transition de la chaîne.
S. S AADI
21
C HAPITRE IV
C HAÎNES DE M ARKOV
Remarque:
|
P [X n+2 = j X n = i] =
|
P [X n+2 = j,X n+1 = k, X n = i]
k
=
|
k
=
|
P [X n+2 = j X n+1 = k,X n = i]P [X n+1 = k X n = i] P (k,j )P (i,k)
k
= P 2 (i,j )
Résultat qu’on généralise dans la Proposition IV.1.5
∀m ∈ N ,
P [X n+m = j X n = i] = P m (i,j ),
|
∀i,j ∈ E, n ∈ N
Equation de Chapman-Kolmogorov: Soit r, s, q, entiers tels que q = r + s, alors,
P q = P r P s
autrement dit P q (i,j ) =
P r (i,k)P s (k,j )
k∈E
E
Théorème IV.1.6 Soit Π une loi sur (E, ) et une matrice markovienne P = (P (i,j ))i,j , alors il existe une chaîne de Markov (X n )n≥0 de loi initiale Π et de matrice de transition P. Exemple de chaîne de Markov: Marche aléatoire: (Y n )n≥1 suite de v.a. i.i.d de loi F sur E dénombrable.
X n = Y 1 + Y 2 + ... + Y n
(X n )n≥1 est une chaîne de markov. P (X n+m
− X
n
|
|
= k X 1 ,X 2 ,...,X n ) = P (Y n+1 + ... + Y n+m = k Y 1 ,...,Y n ) = P (Y n+1 + ... + Y n+m = k ) = P (X n+m X n = k )
−
On en déduit,
|
P (X n+1 = j,X n = i) P (X n = i) P (X n+1 X n = j i,X n = i) = P (X n = i) P (X n = i) = P (Y n+1 = j i) P (X n = i) = P (Y n+1 = j i)
P (X n+1 = j X n ) =
−
−
− −
S. S AADI
22
C HAPITRE IV
IV.2 IV.2
C HAÎNES DE M ARKOV
Proprièt Propriètéé forte forte de Markov Markov
Soit {X n ; n ∈ N} une chaîne de Markov à valeurs dans E, définie sur l’espace de probabilité (Ω,F ,P ,P ). Pour tout n ≥ 0, Soit
F = σ(X ,...,X ) n
0
n
C’est l’ensemble des évènements se produisant jusqu’à l’instant n. Le théorème suivant est une conséquence directe de la définition des chaînes de Markov. On l’appelle parfois propriété de Markov faible.
∈ F et pour tout p > 0 , i,i ,...,i ∈ E , = i }|X = i) = P (A|X = i)P (X = i ,...,X = i |X = i)
Théorème IV.2.1 Pour tout A
P (A
∩ {X
n+1
= i1 ,...,X n+ p
n
p
1
n
p
n
1
1
p
p
0
Le résultat précédent confirme que le passé et le futur sont conditionnellement indépendants, sachant la position de la chaîne à l’instant présent n. La propriété de Markov forte permet d’établir ce résultat en remplaçant l’instant fixe n par un instant aléatoire vérifiant une certaine propriété. IV.2.1 IV.2.1
Temps d’arrêt d’arrêt
∪ {+∞} est appelée un temps d’arrêt si pour ∈ { } ∈ F . Cela signifie qu’en observant la chaîne jusqu’à l’instant n, on peut décider si {T = n} a
Définition IV.2.2 Une v.a. T à valeurs dans N tout n N , T = n
n
lieu ou non.
Exemples:
1. On définit définit la variabl variablee S x par:
{ ∈ N : X
S x = inf n
n
}
=x ,
avec la convention inf ∅ = +∞. S x représente le temps de premier passage à l’état x de la chaîne. Alors il est clair que S x est un temps temps d’arrêt d’arrêt :
{S = n} = {X = x} ∩ ... ∩ {X = x} ∩ {X x
S. S AADI
0
n−1
n
} ∈ F .
=x
n
23
C HAPITRE IV
C HAÎNES DE M ARKOV
Et plus généralement: 2. ∀A ⊂ E , le temps d’entrée dans A,
{ ∈ N : X ∈ A}
T A = inf n
n
est un temps d’arrêt. 3. On définit définit la variabl variablee T x par:
{
}
T x = inf n > S x : X n = x . T x représente le temps du premier retour à l’état x de la chaîne. T x est un temps d’arrêt. 4. Par contre, contre, la variabl variablee Lx définie par:
{ ∈ N : X
Lx = sup n
n
}
=x .
qui représente le temps du dernier passage à l’état x de la chaîne, n’est pas un temps d’arrêt. On notera F T T la tribu des événements "déterminés par X 0 ,...,X T T ", définie comme la tribu des événements B ∈ F tels que ∀n ∈ N,
∩ {T = n} ∈ F . Proposition IV.2.3 1. T est un temps d’arrêt ⇔ {T ≤ n} ∈ F pour tout n. 2. F est une tribu. Pour n ≤ ∞ , F ∩ {T = n} = F ∩ {T = n} 3. T constante égal à n ∈ N est un temps d’arrêt. d’arrêt. B
n
n
T T
T T
n
4. Si T 1 et T 2 sont deux temps d’arrêt alors,
∨ T et inf (T ,T ) = T ∧ T sont des temps d’arrêts. d’arrêts. – {T < T } et {T = T } sont dans F ∩ F . T ≤ T , on a F ⊂ F . – Pour T – Sup (T 1 ,T 2 ) = T 1 1
2
1
Remarque: T est T T -mesurable. En effet: T = n = Ω
F
{
IV.2.2 IV.2.2
}
2
1
1
2
2
2
1
T T 1
T T1
2
T T2
T T 2
∩ {T = n} ∈ F . T T
Propriét Propriétéé de Markov Markov forte forte
{
≥ }
0 une chaîne de Markov, et T un temps d’arrêt. Alors Théorème IV.2.4 Soit X n : n E , pour tout A T T , et pour tout p > 0, i,i1 ,...,i p
∈ F
∩{X
P (A
T +1 T +1
S. S AADI
= i1,...,X T + T + p
∈ = i }|X = i,T < ∞) = P (A|X p
T T
T T
= i,T <
∞)P (X = i ,...,X = i |X = i) 1
1
p
24
p
0
C HAPITRE IV
IV.3 IV.3
C HAÎNES DE M ARKOV
Classifi Classificat cation ion des états états
Beaucoup de chaînes ont la propriété suivante: la loi de X n tend vers une limite indépendante de la loi initiale. Pour pouvoir les caractériser il faut commencer par différencier les états que la chaîne peut visiter une infinité de fois de ceux qui ne peuvent l’être qu’un nombre fini de fois. IV.3.1 IV.3.1
Etat récurrent récurrent et état état transitoi transitoire re
Soit (X n )n≥0 une chaîne de Markov tel que X 0 = j . On pose P j (A) = P [A|X 0 = j ]. Définition IV.3.1 Soit (X n )n une chaîne de Markov partant de j
∈ E . L’état j est dit
1. Transitoire si P j [X n = j pour une infinité de valeurs de n] = 0 . ou
∞
P j (X n = j ) <
n≥ 1
2. Récurrent si P j [X n = j pour une infinité de valeurs de n] = 1 . ou
P j (X n = j ) = +
n≥ 1
∞
Pour j ∈ E on introdu introduit it T n la suit suitee des des inst instan ants ts succe success ssif ifss de reto retour ur en j défin définie ie par par récu récurre rrenc ncee pour n ≥ 1
{ ≥ 1 : X = j } = inf {n ≥ T + 1 : X = j }
T 1 = inf n
T n+1
avec la convention convention inf {∅} = ∞ T n est un temps d’arrêt.
n
n
n
Proposition IV.3.2 Soit X n une chaîne de Markov partant de j
∈ E . L’état j est
∞] < 1. 2. Récurrent Récurrent si P [T < ∞] = 1 . 1. Transitoir ransitoiree si P j [T 1 < j
1
On définit le nombre de retour à l’état j : ∞
N j
= 1
Xn = j
n=1
Proposition IV.3.3
S. S AADI
1. Si j est récurr récurrent, ent, alors alors P j (N j = +
∞) = 1 25
C HAPITRE IV
C HAÎNES DE M ARKOV
2. Si j est transit transitoir oiree P j (N j = k) = (1
k j
− π )π , k ≥ 0 , avec π j
j
= P j (T 1 <
∞).
Corollaire IV.3.4 L’état j est récurrent ssi ∞
P n ( j,j ) = +
n=0
Remarque: Si j
∞
est transitoire E j (N j ) = π j (1
−1
−π ) j
<
Définition IV.3.5 Soit j un état récurrent, il est dit
∞
∞.
1. Récurrent positif si E j [T 1 ] < 2. Récurrent nul si E j [T 1 ] = .
∞
Définition IV.3.6 Un état j est absorbant ssi P ( j,j ) = 1 , on a alors P (i,j ) = 0 ,
∀i = j.
Pour résumer
Il existe trois type d’état, transitoire: on n’y revient pas toujours; récurrent nul: on y revient toujours au bout d’un temps moyen infini; ou récurrent positif: on y revient une infinité de fois à intervalles de temps finis, en moyenne. IV.3. IV.3.2 2
Classe Classess
Définition IV.3.7 Etant donnée une chaîne de Markov (X n )n∈N de distribution initiale Π et de matrice de transition P, on dira que l’état j est accessible depuis l’état i, ou que i conduit j. à j s’il existe n N tel que P n (i,j ) > 0. On notera i j , si i j et j i. On dira que les états i et j communiquent , noté i
∈
↔
→
→
→
La relat relatio ionn de comm commun unic icat atio ionn (↔) entre entre deux deux état étatss est est réfléx réfléxiive (par (par con convent ventio ionn ∀i, P 0 (i,i) = 1), symétrique (par définition), et transitive, c’est donc une relation d’équivalence. il est donc possible possible de construire construire une partition des états d’une chaîne de Markov Markov en classes classes d’équivalence telle que tous les états d’une classe communiquent entre eux et que deux états appartenant à deux classes différentes ne communiquent pas.
⊂
Théorème IV.3.8 Soit C E une classe d’équivalenc d’équivalencee pour la relation relation états de C sont soit récurrents soit transitoires.
↔. Alors tous les
Définition IV.3.9 Une chaîne de Markov (X n )n∈N de distribution initiale Π et de matrice de transition P, est dite irréductible si E est constitué d’une seule classe d’équivalence. Elle est dite récurrente irréductible si de plus tous les états sont récurrents. récurrents. Proposition IV.3.10 Toute chaîne de Markov Markov irréductibl irréductiblee sur un espace fini E est irréductible.
S. S AADI
26
C HAPITRE IV IV.3. IV.3.3 3
C HAÎNES DE M ARKOV
Périod Périodee
Définition IV.3.11 Soit j un état récurrent, on appelle période de j,noté d(j) le n
{ ≥ 1 : P ( j,j ) > 0}
pdcd n
Une autre manière équivalente de dire les choses est: d( j ) est la période de j si
∈N ⇒ ∈N ⇒
n = kd ( j ), k n = kd ( j ), k
P n ( j,j ) > 0. P n ( j,j ) = 0 .
Proposition IV.3.12 Deux états j et k appartenant à la même classe de récurrence ont même période. Définition IV.3.13 l’état j est dit apériodique Si d( j ) = 1 .
La période étant une propriété de classe, on parlera de classe périodiques / apériodiques et de chaînes de Markov irréductibles périodiques / apériodiques selon les propriétés de leur états.
IV.4 IV.4
Comportem Comportement ent asymptotiq asymptotique ue
IV.4.1 IV.4.1
Cas récurrent récurrent irréducti irréductible ble
Soit (X n ) une chaîne de Markov irréductible récurrente. Nous allons commencer par étudier les excursions successives de la chaîne entre deux retours successifs à l’état j :
E = ( X
T Tk ,X T Tk
k
+ 1,...,X T T k+1 ); k
≥0
Ces excursions sont des suites aléatoires de longueur aléatoire finie ≥ 2, formées d’états de E distincts de j, sauf le premier et le dernier qui sont égaux à j. Notons U l’ensemble des valeurs des excurssions E k ,k ≥ 0, c’est un ensemble dénombrable.
E ,E ,...) des excurssions est i.i.d., c’est-à-dire pour
Proposition IV.4.1 Sous P j la suite ( tout k > 0 , u0 ,...,uk U , ,
∈
0
1
k
E = u ,...,E = u
P j (
0
0
k
k
)= l=0
P j (
E = u ). l
l
Définition IV.4.2 Soit P une matrice markovienne. On dit que µ mesure sur E est invariante par P si µP = µ.
S. S AADI
27
C HAPITRE IV
C HAÎNES DE M ARKOV
Une mesure de Probabilité µ est invariante par une chaîne de Markov (µ,P ) ssi µ est la loi de X n pour tout n ∈ N. Remarque: Soit π une probabilité invariante, c’est-à-dire
π (i)P (i,j ) = π ( j )(1
i = j
− P (i,i)),
soit
P (X n = j,X n+1 = j ) = P (X n = j,X n+1 = j ),
ce qui signifie que le nommbre moyen de sorties de l’état j entre les instants n et n+1 est égal au nombre moyen d’entrées à l’état j entre n et n+1. Théorème IV.4.3 Soit (X n )n≥0 une chaîne de Markov de matrice de transition P récurrente irréductible. Alors il existe une mesure strictement positive invariante µ , unique à une constante multiplicative près. Théorème IV.4.4 Soit (X n )n≥0 une chaîne de Markov récurrente irréductible. Les assertions suivantes sont équivalentes: (i) J est récurrent positif. (ii) Tous les états sont récurrents positifs. (iii) Il existe une probabilité invariante donnée par:
π ( j ) =
1 m j
∀ ∈ E avec m
, j
j
= E j [T 1 ]
Par conséquent, on distingue dans le cas récurrent irréductible, deux cas de figures: – Le cas récurrent positif: tous les états sont récurrents positifs et il existe une unique probabilité invariante. invariante. – Le cas récurrent nul: tous les états sont récurrents nuls et toutes les mesures mesures invariantes invariantes sont de masse infinie ( π(i) = +∞)
i
Il est clair que si E est fini, il n’existe pas d’état récurrent nul, tout état récurrent est récurrent positif. On est en mesure maintenant d’établir le théorème ergodique. Théorème IV.4.5 (Théorème (Théorème ergodique ergodique)) Soit (X n )n∈N une chaîne de Markov irréductible récurrente positive, de probabilité invariante π . Soit f : E R une fonction bornée. Alors
1 n
S. S AADI
→
n
k=1
f (X k )
p.s. n→+∞
→
π ( j )f ( j )
j ∈E
28
C HAPITRE IV
C HAÎNES DE M ARKOV
Ce théorème est une généralisation de la loi des grands nombres au cas où la suite (X n )n∈N n’est pas indépendante. En effet on peut écrire la relation précédente comme suit: 1 n
n
p.s. n→+∞
→
f (X k )
k=1
E π [f (X )] )]
ou X est de loi π: la probabilité invariante. Une conséquence du théorème ergodique est la suivante: si on munit la chaîne de la loi initiale π , alors la suite est identiquement distribuée et la moyenne empirique converge vers l’espérance. IV.4.2 IV.4.2
Chaînes Chaînes apériodiq apériodiques ues
Le théorème ergodique ergodique nous assure en particulier particulier que si (X n )n∈N une chaîne de Markov Markov irréductible récurrente positive, alors: 1 n
n
1{ X k
=j
k=1
p.s. n→+∞
}→
∀ ∈ E
π ( j ), j
Puisque la convergence p.s. entraîne la convergence convergence en moyenne, en prenant l’espérance l’espéran ce sous P i , on a 1 n
n
P k (i,j )
k=1
→
n→+∞
π ( j ),
∀i,j ∈ E
On voit que les moyennes de Césaro des (P k (i,j )) convergent. On peut se demander si dans le cas irréductible récurrent positif, on a: P n (i,j )
→
n→+∞
π ( j ),
∀i,j ∈ E ?
La réponse est non! Soit par exemple une chaine de Markov de matrice de transition P vérifiant P 2k = I et P 2k+1 = P. Théorème IV.4.6 Soit (X n )n∈N une chaîne de Markov de matrice de transition P , irréductible récurrente positive et apériodique , de probabilité invariante π . Alors
→
P (X n = j )
n→+∞
∀ ∈ E
π ( j ), j
Soit
(µP n ) j
→
n→+∞
π ( j ),
∀i,j ∈ E,
π ( j ),
∀i,j ∈ E.
pour toute loi initiale µ. En particulier
P n (i,j )
S. S AADI
→
n→+∞
29
Chapitre V Processus Markovien de saut Dans ce chapitre, nous allons présenter l’essentiel de la théorie des processus de Markov en temps continu, à valeurs dans un ensemble fini ou dénombrable E.
V.1
Définition Définition et Propriét Propriétés és
Le but de ce chapitre est d’étudier les processus de Markov à valeurs dans un espace d’état E fini ou dénombrable. On supposera que les trajectoires de nos processus n’ont que des discontinuités de première espèce (des sauts), et pour fixer les idées que les trajectoires sont continues à droite et pourvues de limite à gauche en tout point. Les trajectoires d’un tel processus {X t ,t ≥ 0} sont nécessairement nécessairement constantes constantes entre ses sauts, lesquels lesquels se produisent produisent à des instants aléatoires T 1(ω ); T 2(ω ); ...; T n(ω ); .... La différence avec le processus de Poisson est que, connaissant la position avant le saut, la position après le saut est aléatoire.
{
≥ }
Définition V.1.1 0 est un processus de Markov – Un processus processus stochastiqu stochastiquee X t ,t à espace d’états d’états E dénombrabl dénombrablee si, t,s 0 et j E ,
P [X t+s
∀ ≥ ∈ = j |X ,u ≤ t] = P [X u
t+s
|
= j X t ]
– Si de de plus plus
|
P [X t+s = j X t ] ne dépend que de s, le processus de Markov est dit homogène.
On n’étudiera dans la suite que des processus markoviens homogènes. On utilisera la notation:
|
P [X t+s = j X t = i] = P s (i,j )
30
C HAPITRE V
P ROCESSUS DE M ARKOV
où pour tout t > 0, P t est une matrice markovienne sur E × E , appelée matrice de transition dans le temps t. Propriétés: 1. P t (i,j ) ≥ 0. 2. P t (i,j ) = 1 .
j ∈E
3. lim P t (i,j ) = t→0
1
{ {
≥ } }
si i = j 0 si i = j
0 un processus Markovien de saut, de loi initiale µ et de Théorème V.1.2 Soit X t ,t matrices de transition P t ,t > 0 . Pour tout n N , 0 < t1 < ... < t n , la loi du vecteur aléatoire (X 0 ,X t1 ,...,X tn ) est donnée pour tout i0 ,i1 ,...,in E par:
∈
∈
P (X 0 = i0 ,X t1 = i1 ,...,X tn = in ) = µ(i0 )P t1 (i0 ,i1 )P t2−t1 (i1 ,i2 )...P tn −tn−1 (in−1 ,in ) Par conséquent, si µt est la loi de la v.a. X t , on a pour tout t > 0
µt = µP t i.e. µt ( j ) =
µ(i)P t (i,j ).
i∈E
{
}
D’autre part, les matrices de transition P t ,t > 0 vérifient la relation de semi-groupe (Equation de Chapman-Kolmogorov):
P t+s = P t P s ou encore
P t+s (i,j
)=
P t (i,k)P s (k,j ).
k∈E
Exemple 1: Un
processus processus de Poisson Poisson {N t ,t ≥ 0} d’intensité λ est un processus de Markov à valeurs dans N, de matrices de transition:
)= 0
−λt
P t (i,j
e
(λt) j −i si j ( j i)!
−
≥i
sinon
Exemple 2: La file d’attente M/M/1.
les arrivées forment un processus de poisson. Les temps de services sont i.i.d. de distribution exponentielle. Un seul serveur. l’instant t c’est-à-dire c’est-à-dire le nombre de clients en attente + celui qui est X t : longeur de la file à l’instant en train d’être servi. (X t )t≥0 est un processus de Markov. S. S AADI
31
C HAPITRE V
V.2 V.2.1
P ROCESSUS DE M ARKOV
proprié propriété té de Markov Markov forte forte Temps d’arrêt d’arrêt
Soit la filtration F = ( F t ) ou F t = σ(X s ,s ≤ t) et F ∞ = σ (∪F t ) Définition V.2.1
1. Un temps d’arrêt d’arrêt T est une v.a. v.a. vérifiant
∀t ≥ 0, {T ≤ t} ∈ F . t
F des événements antérieur à T est F = {A ∈ F ,A∩ ∈ {T ≤ t} ∈ F ∀t ≥ 0}
2. Si T est un t.a., t.a., la tribu tribu
T T
∞
T T
t
Propriétés:
1. Une constante constante est un temps temps d’arrêt. d’arrêt. 2. T 1 ,T 2 deux temps d’arrêt, alors sup(T 1 ,T 2 ) et inf(T 1 ,T 2 ) sont des temps d’arrêt. 3. Les événements {T 1 < T 2 }, {T 1 ≤ T 2 }, {T 1 = T 2 } ∈ F T T ∩ F T T . 4. T 1 ≤ T 2 implique F T T ⊂ F T T . 1
1
2
2
Théorème V.2.2 Propriété de Markov forte. 0 un processus de Markov, et T un temps d’arrêt. Alors pour tout A Soit X t : t et pour tout p > 0, , , 0 < t1 < t2 < ... < t p , i,i1 ,...,i p E ,
{
≥ }
∩{X
P (A
V.3
T + T +t1
∈
}|
= i1,...,X T + T +tp = i p X T T = i,T <
∞) = P (A|X
T T
= i,T <
∞)P (X i
t1
∈ F , T T
= i1 ,...,X tp = i p )
Générate Générateur ur infinitésima infinitésimall
La propriété de semi-groupe fait que P t est connu pour tout t dès qu’il est connu pour t petit. V.3.1
Temps passé dans un état
On suppose que X t = i Soit W t : le temps qui sépare t de l’instant où le processus X quitte l’état i.
{ ≥ 0,X = X }. Théorème V.3.1 Soit i ∈ E , t ≥ 0 , il existe existe λ(i) ≥ 0 tel que, P [W > u|X = i] = e W t = inf s
t +s
t
t
S. S AADI
t
−λ(i)u
32
C HAPITRE V
P ROCESSUS DE M ARKOV
– Si λ(i) =
∞, dés que le processus il entre dans l’état i il en sort, i est appelé état
instantané.
– Si λ(i) = 0, quand on entre dans l’état i, on en sort plus, l’état est dit absorbant. – Si 0 < λ(i) < ∞, l’état est dit stable. V.3.2
Chaîne Chaîne de Markov Markov incluse incluse
Soit {X t ,t ≥ 0} un processus de Markov dont les temps de saut T 1,T 2 ,...,T n ,... vérifient la condition T n (ω ) → +∞ p.s quand n → ∞ (tous les états sont stables). T n+1 = T n + W T T n
Soit la suite Z n , n ∈ N définie par: Z n = X T T n ,
av ec T0 = 0
Les Z n sont les états visités successivement. Z n = i veut dire X t = i pour t ∈ [T n ,T n+1 [: intervalle de séjour dans l’état i.
∈ N , j ∈ E , et u ∈ R , on a − T > u|Z ,...,Z ,T ,...,T ] = Q(i,j)e
Théorème V.3.2 Pour tout n
P [Z n+1 = j,T n+1
+
n
0
n
0
−λ(i)u
n
, si Zn = i
où Q est une matrice stochastique, tal que Q(i,i) = 0 .
Corollaire V.3.3 La suite (Z n )n∈N des états successifs est une chaîne chaîne de Markov Markov appelée appelée la chaîne incluse , de matrice de transition Q.
∈ N , i ,i ,...,i ∈ E et u ,u ,...,u ∈ R , on a P [T − T > u ,...,T − T > u |Z = i ,...,Z = i ] = e ...e
Corollaire V.3.4 Pour tout n 1
0
1
n
0 1
n− 1
n
n
0
1
0
2
n
n
n
−λ(i0 )u1
−λ(in−1 )un
Les inter-transitions sont indépendantes et exponentiellement distribuées, elles ne dépendent que de l’état visité et sont indépendante de l’état prochain. Remarque: Si il existe W T Tm p.s infini, c’est-à dire T m+1 infini, on pose Z 0 = X 0 et Z n+1 =
X T Tn +1 si T n+1 < X n si T n+1 =
∞ ∞
– Si un état i est absorbant pour le processus, alors i est absorbant pour la chaîne incluse. – Si i est stable, Q(i,i) = 0.
S. S AADI
33
C HAPITRE V V.3.3
P ROCESSUS DE M ARKOV
Equations Equations de Kolmog Kolmogoro orov v
Proposition V.3.5 Pour tout i,j −λ(i)t
P t (i,j ) = e
∈ E et tout t ∈ R , +
t
I (i,j ) +
λ(i)e−λ(i)s
0
∈
A(i,j ) =
Q(i,k)P t−s (k,j )ds
k∈E
fonction t Théorème V.3.6 Pour tout i,j E , la fonction dérivée à l’instant t = 0 est donnée par
→ P (i,j) est continument continument dérivable dérivable et sa t
−λ(i)
si j = i λ(i)Q(i,j ) si j = i
A est appelé générateur infinitésimal du processus X
{
Corollaire V.3.7 (i) P t , t grade" (Backward):
≥ 0} est l’unique solution de l’équation de Kolmogorov "rétrodP t = AP t , P 0 = I dt
(ii)
{P , t ≥ 0} est l’unique solution de l’équation de Kolmogorov "progressive" (farward): t
dP t = P t A, P 0 = I dt
– Si la fonction de transition P t est connue, alors A dérivée de P t en 0 est connu et par conséquent λ(i) et Q sont connus, en effet: λ(i) = −A(i,i) A(i,j ) si i = j et Q(i,i) = 0 . λ(i) – Si λ(i) = 0 , Q(i,j ) = 0 si i = j et Q(i,i) = 1.
– Si λ(i) = 0 , Q(i,j) =
– Si A est connu, alors P t solution de l’équation de Kolmogorov est le semi-groupe engendré par A: ∞
tA
P t = e
= n=0
tn n A n!
Remarques:
1. Pour tout i ∈ E , −λ(i) +
λ(i)Q(i,j ) = 0
j =i
2. Au voisinage voisinage de de t=0 on a: P t (i,j ) = I (i,j ) + tA(i,j ) + o(t).
S. S AADI
34
C HAPITRE V
V.4 V.4.1
P ROCESSUS DE M ARKOV
Mesures Mesures invar invariante iantess et et Théorè Théorèmes mes limites limites Classificat Classification ion des états états
Dans ce qui suit, on désignera comme dans le cas du temps discret par P i la loi conditionnelle de {X t ,t ≥ 0}, sachant que X 0 = i. Les classes d’équivalence du processus de markov sont celles de la chaîne incluse.
{
≥ 0} est irréductible si la chaîne incluse
Définition V.4.1 Le processus de Markov X t ,t Z n ,n N l’est.
{
∈ }
Notons que dés que {X t ,t ≥ 0} est irréductible,
∀i,j ∈ E, t > 0. En effet effet par par l’ir l’irréd réduc ucti tibi bili lité té de la chaî chaîne ne incl inclus use, e, ∀i,j ∈ E , il exis existe te n ∈ N, i P t (i,j ) > 0,
0
= i,i1 ,...,in = j
tel que Q(i0 ,i1 )...Q(in−1 ,in ) > 0, où Q est la matrice de transition de la chaîne incluse. Ainsi on a A(i0 ,i1 )...A(in−1 ,in ) > 0, or A(i,j ) = lim lim
h→0+
P h (i,j ) il s’en suit que h
∀t > 0, P (i,j) > P (i,i )...P (i ,j ) > 0 j ∈ E est dit récurrent (resp. transitoire) pour le processus (X ) Définition V.4.2 Un état j t
t/n t/n
1
t/n t/n
n−1
t t ≥0
s’il est récurrent (resp. transitoire) pour la chaîne incluse.
En particulier dans le cas irréductible, tous les états sont soit récurrents soit transitoires. V.4.2
Le cas irréducti irréductible ble récurrent récurrent
Comme dans le cas discret, on a l’existence d’une unique mesure invariante dans le cas récurrent irréductible.
{
≥ } { ≥ }
0 , irréductible récurrent, processus Markovien Markovien de sauts X t ,t Théorème V.4.3 Soit un processus 0 . Alors il existe une de générateur infinitésimal A et de semi-groupe de transition P t ,t unique mesure strictement positive µ , à une constante multiplicative près, qui vérifie, µA = 0 Et qui est invariante pour le semi-groupe de transition, c’est-à-dire,
µP t = µ,
S. S AADI
∀t ≥ 0 35
C HAPITRE V V.4.3
P ROCESSUS DE M ARKOV
Théorèmes Théorèmes limites limites
On se place dans le cas d’un processus {X t ,t ≥ 0} irréductible récurrent. On va prouver dans cette section l’existence d’une unique probabilité invariante dans le cas particulier récurrent positif. Pour distinguer entre récurrence nulle et récurrence positive, on ne peut pas regarder seulement les propriétés de la chaîne incluse. On verra qu’il existe des processus markoviens de sauts récurrents nuls dont la chaîne incluse est récurrente positive, et inversement. Pour définir la récurrence récurrence positive positive ou nulle. nulle. Définissons Définissons l’instant l’instant du premier retour à l’état j comme:
{ ≥ T : X = j}
R j = inf t
1
t
Définition V.4.4 L’état j est dit récurrent positif s’il est récurrent et si E j [R j ] < rent rent nul s’il est récurrent récurrent et si E j [R j ] = + .
∞ , récur-
∞ A nouveau, comme dans le cas discret, si j ∈ E est récurrent positif, alors tous les états sont
récurrents récurrents positifs et le processus processus est dit récurrent positif. positif. Dans ce cas, il existe une unique unique probabilité invariante. invariante. Théorème V.4.5 Soit (X t )t≥0 un processus Markovien de sauts récurrent, irréductible. Les assertions suivantes sont équivalentes: (i) j est récurrent positif. (ii) Tous les états sont récurrents positifs. (iii) Il existe une unique probabilité invariante donnée par:
π ( j ) =
1 , j λ( j )m j
∀ ∈ E avec m
j
= E j [R j ]
Remarque: Une mesure mesur e invariante π pour le processus markovien (X t )t≥0 vérifie πA = 0 . Cela implique que πΛ est invariante pour Q, matrice de transition de la chaîne incluse.Il est
alors facile de choisir Λ la matrice diagonale des temps de séjours en chaque état telle que (X t )t≥0 est récurrent nul et Q récurrente positive, et vice versa. Il faut pour cela jouer sur les temps de séjours en chaque point. Dans le cas d’un processus irréductible récurrent positif, on peut énoncer le théorème ergodique de la manière suivante. Théorème V.4.6 Soit (X t )t≥0 un processus markovien de sauts irréductible récurrent positif. On note π sa probabilité invariante. Alors, pour f : E bornée,, on a : R bornée
→
1 t
S. S AADI
t
0
f (X s )ds
→
i∈E
f (i)π (i), p.s. quand t
→∞ 36
C HAPITRE V
P ROCESSUS DE M ARKOV
Dans le cas du temps continu, la convergence de la loi de X t vers la probabilité invariante quand t → ∞ est vraie dans le cas irréductible et récurrent positif, sans hypothèse supplémentaire. Théorème V.4.7 Soit (X t )t≥0 un processus markovien de sauts irréductible récurrent positif, et π son unique probabilité invariante. Alors pour toute probabilité µ sur E, on a, j E ,
∀ ∈
(µP t )( j )
→
t→∞
lim P j [X t = j ] =
t→∞
π ( j )
1 λ( j )E j (R j )
Notons que si la probabilité invariante π est la loi de X 0 , le processus (X t )t≥0 est stationnaire au sens où pour tout n ∈ N, 0 ≤ t1 < ... < t n , la loi du vecteur (X t +s ,...,X tn +s ) ne dépend pas de s. 1
Remarque: L’équation πA = 0 s’écrit j
∀ ∈ E,
j =i
()
π ( j )A( j,i) = π i
A(i,j ).
j =i
Le membre de gauche de cette égalité s’interprète comme le flux entrant dans l’état i à l’équilibre en provenance des différents états, le membre de droite comme le flux sortant de i à l’équilibre, vers les divers états. l’équation πA = 0 dit donc qu’à l’équilibre, les nombres moyens par unité de temps de départs et d’arrivées à chaque état sont égaux.
S. S AADI
37
