Faculté des Mathématiques USTHB 14 Janvier 2018

Licence 3 Probabilités et Statistique Module: Processus Stochastiques

Durée: 1h30

Examen

Exercice 1 (10 pts)

On considère une chaı̂ne de Markov sur l’espace des états S = {1, 2, 3, 4, 5}. Pour chaque
état i ∈ {2, 3, 4}, la chaı̂ne a une probabilité p, 0 ≤ p ≤ 1, de passer de i vers i + 1, et une
probabilité q = 1 − p de passer de i vers i − 1. Quand la chaı̂ne atteint l’état i = 1 elle passe
vers 2 avec probabilité p ou bien reste dans 1 avec probabilité q. Si elle atteint l’état 5 elle
peut passer vers 4 avec probabilité q, ou bien reste dans 5 avec probabilité p.
1/ Donner la matrice de transition de cette chaı̂ne.
2/ La chaı̂ne est-elle réductible?
3/ Déterminer les états transients, récurrents et récurrents positifs de cette chaı̂ne.
4/ Calculer la distribution stationnaire si elle existe.
(n)
5/ Calculer les probabilités limites de cette chaı̂ne, limn→∞ pij , i, j ∈ S.

Exercice 2 (10 pts)

On considère un processus de naissance et de mort {X(t); t ≥ 0} de type processus de

Prendiville. Les taux de naissances et de morts sont
 
6

 λ =θ − 1 ; pour 2 ≤ j ≤ 6,
 j

j


2
 µj = β 1 − ; pour 2 ≤ j ≤ 6,


 j

où θ et β sont des constantes positives. En dehors de l’ensemble S = {2, 3, 4, 5, 6} les taux
sont égaux à zero, c’est-à-dire λj = µj = 0 si j ∈
/ S.
1/ Quelle est la condition qui fait qu’une distribution stationnaire unique existe?
2/ Calculer la distribution stationnaire de {X(t); t ≥ 0}.
3/ Calculer le nombre moyen de la population en régime stationnaire pour θ = β.
4/ Soit T2,4 le temps de passage de l’état 2 à l’état 4. Calculer le temps moyen de passage
E(T2,4 ), pour θ et β quelconques.
5/ Soit pj (t) = P (X(t) = j). Écriver les équations différentielles de Chapman-Kolmogorov
pour {pj (t); j = 2, . . . , 6}.

1
Faculté des Mathématiques USTHB
Licence 3 Probabilités et Statistique Module: Processus Stochastiques

Corrigé Examen

Exercice 1 (10 pts)

p p p p
q 1 2 3 4 5 p
q q q q

1/ (2 pts) La matrice de transition de cette chaı̂ne

 
q p 0 0 0
 q 0 p 0 0 
 
P=  0 q 0 p 0 ,

 0 0 q 0 p 
0 0 0 q p

2/ (1 pt) La chaı̂ne est irréductible pour p ∈]0, 1[, et réductible pour p = 0 ou p = 1.

3/ (2 pts) Si 0 < p < 1 tous les états communiquent entre eux, et puisque l’espace des états
est fini, alors tous les états sont récurrents positifs. Si p = 0, l’état 1 est absorbant, donc
récurrent positif et tous les autres états sont transients. Si p = 1, l’état 5 est absorbant, donc
récurrent positif et tous les autres états sont transients.
4/ (3 pts) L’équation π = πP donne


 π 1 = qπ 1 + qπ 2 ,

π 2 = pπ 1 + qπ 3 ,



π 3 = pπ 2 + qπ 4 , (1)

π 4 = pπ 3 + qπ 5 ,





π = pπ + pπ ,
5 4 5

La première et la dernière équations donnent

π 2 = pq π 1 et π 5 = pq π 4

On peut vérifier que

 k−1
p
πk = π 1 , k = 2, . . . , 5.
q
La condition de normalisation
 5
p
5
X 5 
X p
k−1 1− q
1= πk = π1 = π1
k=1 k=1
q 1 − pq

1
montre que
1 − pq
 k−1
p
πk =  5 , k = 1, . . . , 5,
q
1 − pq

pour 0 < p 6= q < 1. Quand p = q = 1/2 on trouve que la distribution uniforme

1
π k = , k = 1, . . . , 5,
5
est stationnaire. Quand p = 0 la distribution stationnaire est concentrée sur {1} et quand
p = 1 elle est concentrée sur {5}.
5/ (2 pts) Si 0 < p < 1 la chaı̂ne est récurrente positive et apériodique, donc sa distribution
limite coincide avec sa distribution stationnaire. On peut aussi vérifier que cela est aussi vrai
pour p = 0 et p = 1, puisque dans ces deux cas la chaı̂ne possède une seule classe fermé.

Exercice 2 (10 pts)

Les taux de naissance et de morts sont



 λ2 = 2θ, µ2 = 0

λ3 = θ, µ3 = 13 β



λ4 = 12 θ, µ4 = 21 β

λ5 = 15 θ, µ5 = 53 β




= 0, µ6 = 23 β.

λ
6

θ 1 1
2θ 2
θ 5
θ
2 3 4 5 6
1 3 2
3
β 1
β 5
β 3
β
2

Figure 1: Taux de transition du processus de naissance et de mort de type processus de

Prendiville.

1/ (1 pts) L’espace des états étant fini il existe une distribution stationnaire unique.
2/ (3 pts) La distribution stationnaire est donnée par
αj
πj = ,
S1

2
 λ0 ···λj−1 P
où αj = µ1 ···µj
et S1 = j∈S αj . On obtient

α2 =1
λ2 θ
α3 = = 6
µ3 β
 2
λ2 λ3 θ
α4 = = 12
µ3 µ4 β
 3
λ2 λ3 λ4 θ
α5 = = 10
µ3 µ4 µ5 β
 4
λ2 λ3 λ4 λ5 θ
α6 = =3
µ3 µ4 µ5 µ6 β
et
6  2  3  4
X θ θ θ θ
S1 = αj = 1 + 6 + 12 + 10 +3
j=2
β β β β
3/ (2 pts) Pour θ = β on a S1 = 32 et donc
1 3
π2 = 32
, π3 = 16
, π4 = 38 , π 5 = 5
16
, π6 = 3
32
.
Le nombre moyen est
6
X 1 3 3 5 3 127
L= jπ j = 2 +3 +4 +5 +6 = ≈ 3.97
j=2
32 16 8 16 32 32

4/ (2 pts)
E(T2,4 ) = E(T2,3 ) + E(T3,4 ).
1 1
on a E(T2,3 ) = λ2
= 2θ
,
   
λ3 1 µ3 1
E(T3,4 ) = + + E(T2,3 ) + E(T3,4 )
λ3 + µ3 λ3 + µ3 λ3 + µ3 λ3 + µ3
1 µ3 1 µ3
= + E(T2,3 ) = +
λ3 λ3 λ3 λ2 λ3
1 β 6θ + β
= + 2 =
θ 6θ 6θ2
Ainsi
1 6θ + β 9θ + β
E(T2,4 ) =
+ 2
= .
2θ 6θ 6θ2
5/ (2 pts) Les équations de Chapman-Kolmogorov


 p02 (t) = 13 βp3 (t) − 2θp2 (t),

0 1 1
p3 (t) = 2θp2 (t) − (θ + 3 β)p3 (t) + 2 βp4 (t),



p04 (t) = θp3 (t) − ( 12 θ + 21 β)p4 (t) + 53 βp5 (t), (2)

p05 (t) = 1 θp4 (t) − ( 1 θ + 3 β)p5 (t) + 2 βp6 (t),


 2 5 5 3
p0 (t) = 1 θp (t) − 2 βp (t).

6 5 5 3 6