Stochastiques

MAT2717 – Processus stochastiques
Élise Davignon
Email address: elise.davignon@umontreal.ca
Résumé. Ces notes de cours accompagnent le cours MAT2717 – Processus stochastiques,
enseigné au département de Mathématiques et Statistiques de la faculté des arts et sciences
de l’Université de Montréal.
Le cours de processus stochastiques est une suite quasi-directe du cours de probabilités
(MAT1720). Il est possible de trouver les notes de cours de probabilités ici.
Création le : 23 mai 2022.
Dernière compilation le : 4 mai 2023
Lien permanent vers la version la plus à jour :
https://www.dms.umontreal.ca/~davignon/files/notes/MAT2717-ndc.pdf
« Le lol > les mathématiques. »

– Léa Stréliski, 3 octobre 2022, via Twitter.
Capture d’écran faite le 3 octobre 2022.
Table des matières
Introduction 1
partie 1. Théorie générale des processus stochastiques 3

Chapitre 1. Les chaînes de Markov 5
1.1. Quoi ? – L’état du système 5
1.2. Pourquoi ? – La quête de sens 8
1.3. La propriété de Markov 10
1.4. Les probabiltiés de transition 12
1.5. La représentation en graphes et les classes d’équivalence. 24
1.6. Temps d’atteinte et de retour, récurrence, transience, périodicité 30
1.7. Le théorème ergodique et la distribution stationnaire. 46
1.8. Bonus : Du point de vue de l’algèbre et de l’analyse. 68
1.9. Exercices 75
Chapitre 2. Chaînes de Markov à temps discret : études. 85
2.1. Le processus de Galton-Watson. 85
2.2. La marche aléatoire sur Zd 96
2.3. Exercices 110
Chapitre 3. Chaînes de Markov à temps continu 115
3.1. Le chapitre 1 à nouveau. 115
3.2. Une description qualitative de Xt . 116
3.3. Probabilités de transitions sur un intervalle de temps. 119
3.4. Taux générateurs et temps d’arrivée exponentiels. 125
3.5. Espérance de temps d’atteinte. 128
3.6. Distribution stationnaire et théorème ergodique. 130
3.7. Exercices 139
Chapitre 4. Processus de naissances et de mort 143
4.1. Le processus de Poisson. 143
4.2. Les processus de naissances 150
4.3. Les processus de naissances et de morts généraux. 153
4.4. Exercices 164
partie 2. Structures de dépendance particulières 167

Chapitre 5. Processus de renouvellements 169
Chapitre 6. Les martingales 171
Un peu de contexte 171
v
vi Table des matières
6.1. Définition et exemples 172

6.2. Temps d’arrêt 177
6.3. Le théorème d’arrêt. 180
6.4. Exercices 186
partie 3. Sujets avancés 189

Chapitre 7. Le mouvement Brownien 191
7.1. Définition axiomatique du processus de Wiener 192
7.2. Le processus de Wiener avec dérive et variance. 196
7.3. Le processus de Wiener géométrique 198
partie 4. Annexes 199

Annexe A. Lexique de la théorie des graphes 201
A.1. Description de la structure des graphes 201
A.2. Connexité, topologie et métrique des graphes 204
Annexe B. Résultats d’analyse 207
B.1. Convergence dominée et limites de séries 207
B.2. Convergence de suites 208
B.3. Convexité 210
B.4. Mesures, fonctions généralisées et distributions. 210
Annexe C. Notions avancés en probabilités 213
C.1. Tribus et sous-tribus 213
C.2. Filtrations, processus adaptés 214
C.3. Résuiltats sur les limites. 215
Introduction
Vous sortez de chez vous. Il fait beau, et vous avez en tête la seule idée d’aller marcher,
mais sans objectif précis. Avec vous, une bouteille d’eau pour la route. Pour choisir dans
quelle direction vous partez, vous la faites tourner sur elle-même jusqu’à ce qu’elle s’arrête.
Vous empruntez alors la direction suggérée par le goulot.
Arrivée à une intersection, vous ressortez votre bouteille, puis vous la faites tourner à
nouveau sur elle-même afin de choisir dans quelle direction vous diriger ensuite. Vous répétez
ces étapes chaque fois que vous avez à choisir parmi plusieurs chemins alternatifs.
Où irez-vous ? Jusqu’où irez-vous ? Reviendrez-vous un jour chez vous ? Ou errerez-vous
ainsi jusqu’aux confins de l’univers ? Et si vous revenez, combien de temps cela vous prendra-
t-il ? Et si vous ne revenez pas, à quel rythme vous éloignerez-vous tranquillement de votre
point d’origine ?
Le processus décrit plus haut est modélisé par ce que l’on appelle une marche aléatoire.
Il s’agit d’un des plus importants exemples de processus stochastiques – des processus dont
l’évolution est gouvernée par des phénomènes aléatoires. Ces notes de cours se penchent sur
la théorie mathématique qui décrit, à l’aide de la théorie des probabilités, le comportement
des processus stochastiques. C’est avec ces outils que nous pourrons répondre aux questions
posées plus haut.
Bonne lecture !
Remarque. Ce document contient les notes de cours pour le cours MAT2717 – Proces-
sus stochastiques. Il s’agit d’un cours de deuxième année au Baccalauréat en Mathématiques
au département de l’unviersité de Montréal.
Le contenu est inspiré de celui présenté dans l’ouvrage Processus stochastiques : cours
et exercices corrigés, de Sabin Lessard (éditions Ellipses).
Veuillez noter que ce document est un chantier en cours, et sera probablement modifié au
cours de la session ; la version la plus à jour sera toujours sur StudiUM, mais peut aussi être
récupérée, en tout temps, à l’adresse https://www.dms.umontreal.ca/~davignon/files/
notes/MAT2717-ndc.pdf.
Date de compilation : 4 mai 2023
1
Première partie
Théorie générale des processus stochastiques

Chapitre 1
Les chaînes de Markov
Andreï Andreïevitch Markov, 1856 – 1922

Andreï Markov n’avait même pas vingt ans lorsqu’il entra à l’uni-
versité impériale de Saint-Pétersbourg. C’est avec l’encourage-
ment de Pafnouti Tchebychev (un autre nom qui devrait être fa-
milier...) que Markov fait ses premiers travaux, d’abord en théorie
des nombres. Ce n’est qu’après sa retraite que Markov s’intéresse
de près à la théorie des probabilités et qu’il fait une première
description rigoureuse des processus stochastiques.
Contrairement à la croyance populaire, Andreï Markov n’a jamais
été défenseur pour les Canadiens de Montréal.
Image : domaine public.
Tout au long de ces notes, notre discussion portera sur les processus sotchastiques. Gros-
sièrement parlant, les processus stochastiques sont des suites de variables aléatoires. Le nom
de « processus » provient du fait qu’on utilise très souvent de telles suites pour décrire l’évo-
lution dans le temps d’objets quelconques. C’est vague – par exprès. Le modèle est très
général, et permet de décrire autant la propagation d’un feu de forêt sur un territoire que
les déplacements de requins au fond des océans, ou l’achallandage d’un réseau de transport.
Dans ce chapitre, on se penche sur les processus stochastiques en général, c’est à dire
qu’on va décrire – de façon très vauge – un « système » qui évolue de façon aléatoire. Ça
peut être n’importe quoi. 1
1.1. Quoi ? – L’état du système

La propriété fondamentale d’un tel système, c’est son état – c’est encore délibérément
vague puisque, encore une fois, ça peut être n’importe quoi.
Exemple 1.1. (a) Un interrupteur peut se trouver dans deux états : ouvert ou fermé.
(b) Sur un échiquier, une pièce peut se trouver dans l’un de 64 états – correspondant bien
sûr aux 64 cases de l’échiquier.
(c) Dans une partie de Serpents et échelles, une joueuse peut se trouver dans 100 états
différents, correspondant aux cent cases de la planche de jeu.
(d) Un américain peut se trouver dans 50 états : Hawaï, l’Alaska, Washington, l’Oregon, la
Californie, l’Arizona, le Nevada, l’Utah, l’Idaho, le Montana, le Wyoming, le Colorado,
le Nouveau-Mexique, le Texas, l’Oklahoma, le Kansas, le Nebraska, le Dakota du Sud, le
Dakota du Nord, le Minnesota, le Wisconsin, l’Iowa, l’Illinois, le Missouri, l’Arkansas, la
Louisiane, le Mississippi, l’Alabama, la Floride, la Georgie, la Caroline du Sud, la Caro-
line du Nord, le Tennessee, la Virginie, la Virginie Occidentale, le Kentucky, l’Indiana, le
1. Oui, oui. N’importe quoi.
5
6 1. LES CHAÎNES DE MARKOV
Michigan, l’Ohio, la Pennsylvanie, le Maryland, le Dellaware, le New-Jersey, New-York,

le Connecticut, le Rhode-Island, le Massachussetts, le Vermont, le New-Hampshire ou
le Maine. 2
(e) Un incendie de forêt peut se trouver dans une infinité d’états – ici, par exemple, chaque
état correspond à « la région qui brûle ». Par exemple, ça pourrait être l’ensemble des
coordonnées géographiques où il y a le feu.
(f) Dans un processus qui décrit la position d’un requin, l’état du système correspond à la
position du requin. Il y a donc une infinité d’états possibles, correspondant à chaque
paires de coordonnées géographiques où le requin pourrait se trouver (voir figure 1.1).
Figure 1.1 – Les déplacements de requins suivis par des scientifiques au

large des côtes de Califournie.
Image : John Blanchard / San Francisco Chronicle / whitesharkscafe.com
(g) Dans un processus qui décrit l’achallandage d’une ligne d’autobus, l’état du système
pourrait correspondre au nombre de voyageurs/ses desservi·e·s par l’autobus jusqu’à
présent.
(h) etc.
Exercice. Trouver d’autres exemples de processus qui pourraient être modélisés par
un processus stochastiques. Quels seraient les états possibles ?
2. Il est laissé en exercice de vérifier qu’hormis les deux premiers, les 48 états subséquents sont listés
dans un ordre tel qu’il serait possible de les parcourir en voiture sans jamais décoller de Terre.
1.1. QUOI ? – L’ÉTAT DU SYSTÈME 7
En ce qui nous concerne, la toute première charactéristique qui nous servira à décrire un
processus sera donc l’espace des états – c’est à dire l’ensemble des états possibles dans
lequel notre système peut se trouver.
Définition 1.1 (L’espace des états.). L’espace des états correspond à l’ensemble des
états possibles pour un processus stochastique.
On le dénotera souvent par S. Il peut être fini, infini dénombrable ou même indénom-
brable, et il peut également porter des structures supplémentaires – par exemple, ça peut être
un espace vectoriel, ou un espace topologique, ou une variété riemannienne, ou un groupe,
ou les sommets d’un graphe, etc.
On dira que S est discret si il est fini ou dénombrable. Sinon, S sera continu 3.
Remarque. Attention de bien distinguer l’espace des états S de l’ensemble fondamental
d’une expérience aléatoire Ω. Ici, l’expérience aléatoire correspond à toute l’évolution du sys-
tème dans le temps. Son ensemble fondamental est donc beaucoup plus riche que simplement
S.
Définition 1.2 (Processus stochastique). Un processus stochastique sur S est une
famille de variables aléatoires 4 X = (Xt : Ω → S)t≥0 à valeurs dans S.
Exemple 1.2. Soit (Xi )i∈Z+ une suite de variables aléatoires i.i.d. à valeurs dans R.
Cette suite est techniquement un processus stochastique.
Toutefois, bien sûr, les Xi étant tous indépendants, ça ne servira pas à grand chose de
l’étudier comme un processus stochastique. L’intérêt de l’étude des processus stochastiques,
c’est de se pencher sur des processus où il y a une certaine dépendance entre les variables...
Exemple 1.3. On lance une pièce de monnaie de manière répétée. À chaque lancer, on
gagne un point si la pièce retombe sur « pile ». Soit Xn le nombre de points total que l’on
a accumulé après n lancers.
La suite (Xn )n∈Z+ est un processus stochastique sur l’ensemble des états S = Z+ . La
figure 1.2 montre l’évolution d’une réalisation de ce processus pour les cent premiers lancers.
Quand ? – Le temps. Dans un processus stochastique (Xt )t≥0 , on réfère souvent à

l’indice t comme au temps – c’est d’ailleurs pour cette raison qu’on aime employer le
symbole t. Les valeurs possibles pour t sont des nombres positifs – on remarque que dans la
définition, on précise simplement que t ≥ 0. C’est, encore une fois, volontairement vague.
On va globalement distinguer deux types de processus :
– les processus à temps discret ;
Ce sont les processus de la forme (Xt )t∈Z+ . Les processus à temps discrets sont
donc des processus stochastique indicés par des entiers positifs ; ce sont donc des
suites de variables aléatoires : X0 , X1 , X2 , X3 , . . .
3. Les termes discret et continu font respectivement référence aux topologie discrète et du « continuum » ;
pas forcément au cardinal. Toutefois, pour nous, le terme discret sera systématiquement synonyme de fini
ou dénombrable.
4. Il convient ici de rappeler qu’une variable aléatoire est en fait une fonction qui dépend du résultat d’une
expérience aléatoire. Dans le cours de probabilités, on s’est particulièrement intéressés au cas particulier où
les valeurs de ces variables étaient des nombres, mais ce n’est pas forcément le cas. Ici, nos variables aléatoires
prennent des valeurs dans l’ensemble S.
50
40
30
20
10
20 40 60 80 100
Figure 1.2 – Le nombre de fois qu’on a obtenu « Pile » en n lancers.
– les processus à temps continu.

Ce sont les processus de la forme (Xt )t∈R+ . Ils sont indicés par R+ = [0, +∞) – ce
sont donc en quelques sortes des « fonctions aléatoires » dont le domaine est R+
et l’image est incluse dans S. Pour cette raison, on notera souvent les processus
stochastiques à temps continu, non pas avec des indices, mais plutôt comme des
fonctions dont t serait l’argument, comme ceci : (X(t))t∈R+ .
Dans le chapitre qui suit, nous nous intéressons en particulier aux processus à temps
discret sur des espaces d’états discrets.
1.2. Pourquoi ? – La quête de sens

C’est le moment d’une bonne crise existentielle : pourquoi fait-on tout ça ? Nous allons
passer toutes ces notes à se pencher sur les processus stochastiques. Qu’est-ce qu’on cherche ?
La réponse évidente, c’est bien sûr que l’on cherche à prédire le comportement de sys-
tèmes dynamiques imprévisibles. 5 Bien sûr, il s’agit de processus stochastiques – ce sont des
processus aléatoires. On ne peut donc pas prédire le comportement exact de tels processus.
Il existe néanmoins des quantités auxquelles on peut s’intéresser.
1.2.1. La distribution de Xt . Ce sera bien sûr la quantité d’intérêt centrale tout au

long de notre étude : la probabilité que le processus se trouve dans la région A ⊆ S de
l’espace d’états S au temps t :
P {Xt ∈ A} .
Plus spécifiquement, on pourra s’intéresser à la probabilité conditionnelle sachant que
X0 = x – et étudier l’influence des conditions initiales sur la dynamique :
P {Xt ∈ A | X0 = x} .
5. Nous reparlerons plus loin des parallèles entre la théorie de processus stochastique et celle des systèmes
dynamiques « déterministes »...
1.2. POURQUOI ? – LA QUÊTE DE SENS 9
Dans le cas d’un espace d’états discret, il nous suffira d’étudier la fonction de masse 6 –
soit la probabilité que Xt = y sachant que X0 = x :
P {Xt = y | X0 = x} .
Nous verrons comment, en utilisant des outils d’analyse et d’algèbre linéaire, nous par-
viendrons à calculer ces quantités d’intérêt.
Naturellement, la prochaine question à considérer sera celle de...
1.2.2. La distribution-limite de Xt . Il s’agira en fait simplement de considérer la

limite de la distribution de Xt lorsque t tend vers l’infini, comme ceci :
lim P {Xt = y | X0 = x} .
t→∞
À condition, bien sûr, que cette limite existe ! Ça ne sera pas forcément toujours le cas. En
fait, la détermination-même de l’existence de cette limite fera l’objet d’une partie importante
de notre étude. On portera une attention toute particulière aux raisons spécifiques qui font en
sorte qu’elle pourrait ne pas exister. On s’intéressera aussi à d’autres façon de la déterminer,
sans passer par le calcul direct de la limite (ça pourrait s’avérer laborieux).
L’intérêt d’identifier si il existe une distribution-limite, c’est de comprendre si le com-
portement du système « se stabilise à long terme » – c’est-à-dire, de déterminer si, après un
moment, l’influence de la condition initiale (la valeur de X0 , l’état initial du système) sera
complètement dissipée.
1.2.3. La proportion moyenne de temps passée dans une région A ⊆ S à long

terme. Une autre façon d’approcher le problème de savoir « où le processus se retrouve à
long terme » est de s’intéresser à la proportion de temps passée en moyenne, à long terme,
dans divers régions de notre espace d’états S.
Par exemple, dans le cas d’un processus à temps discret sur des états discrets, on pourrait
noter Nt (y) le temps passé (en nombre d’incréments, excluant le temps 0) dans l’état y ∈ S,
jusqu’au temps t inclusivement :
t
1{Xk =y} .
X
Nt (y) =
k=1
La proportion de temps passée dans l’état y serait alors Nt (y)/t, et en moyenne, à long
terme, on s’intéresserait donc à :
" t #
1 1
1{Xk =y}
X
lim E [Nt (y) | X0 = x] = lim E X0 = x
t→∞ t t→∞ t
k=1
t
1X
= lim P {Xk = y | X0 = x} .
t→∞ t
k=1
Cette dernière limite correspond en fait à la limite de Cesaró pour la distribution-limite

qui nous intéressait plus haut.
6. Vous aurez deviné que dans le cas d’un espace d’états continu, il faudra plutôt s’intéresser à une
fonction de densité sur S. Nous en reparlerons à la fin des notes lorsque nous aborderons le mouvement
Brownien.
1.2.4. Les temps d’atteinte, les temps de visite, les temps de retour ... On
s’intéressera également à une panoplie d’autres quantités pertinentes ; en voici une petite
liste non-exhaustive :
– le temps moyen entre deux visites au même état ;
– en partant de l’état x, la probabilité de visiter l’état y avant l’état z,
– et le cas particulier lorsque x = z ;
– la probabilité de ne jamais revenir à l’état x ;
– le nombre moyen de visites à l’état x ;
– lorsqu’on aura une notion de distance dans l’espace des états : la vitesse moyenne
à laquelle le système se déplace ;
– etc.
Pour l’instant, ces quantités ne sont pas bien définites ; ce n’est pas important. L’objectif
de cette section était surtout de citer des exemples du genre de mystères que nous chercherons
(et que parfois nous réussirons) à élucider.
1.3. La propriété de Markov

Jusqu’à présent, nous avons parlé de processus stochastiques en général. Toutefois, dans
ces notes, nous nous concentrerons sur un type de processus en particulier : les chaînes de
Markov.
Pour définir ces dernières de façon rigoureuse, nous aurons besoin d’introduire un peu
de notation :
Notation (Sous-familles). Soit x = (xi )i∈I une famille d’éléments xi où les indices i
sont dans l’ensemble I.
Pour n’importe quel ensemble S et n’importe quel ensemble d’indices I, l’ensemble S I
est l’ensemble des familles x = (xi )i∈I où xi ∈ S pour tout i.
Pour J ⊆ I, on notera xJ = (xi )i∈J la sous-famille d’éléments qui correspond à
seulement la famille des éléments dont les indices sont dans l’ensemble J.
Dans le cas d’un processus stochastique (à temps discret ou continu) X = (Xt )t≥0 , on
emploiera les notations suivantes ;
– X>t := (Xu )u>t , le futur du processus strictement après le temps t.
– X<t := (Xu )0≤u<t le passé du processus strictement avant le temps t.
– X≥t et X≤t les futurs et passés du processus, respectivement après et avant le temps
t inclusivement, définis de façon analogue.
Définition 1.3 (Propriété de Markov faible). Soit X = (Xt )t≥0 un processus stochas-
tique quelconque (à temps discret ou continu, sur un espace d’états S discret ou continu).
On dit que le processus X possède la propriété de Markov faible 7 si, pour tout temps
t ≥ 0, on a que
P {X>t ∈ A | Xt = i, X<t ∈ B} = P {X>t ∈ A | Xt = i} ,

pour tous A ⊆ S {u:u>t} et B ⊆ S {u:0≤u<t} .
7. La propriété de Markov forte requiert la notion plus avancée de temps d’arrêt, un temps aléatoire
ayant certaines propriétés utiles. Les temps d’arrêt seront introduits lorsque nous parlerons de martingales.
1.3. LA PROPRIÉTÉ DE MARKOV 11
En mots (et c’est la partie importante à retenir) :

Un processus stochastique a la propriété de Markov faible si et seulement si, pour tout
temps t, sachant l’état du processus au temps t, le passé (strictement avant t) et le
futur (strictement après t) sont indépendants.
On dit qu’un processus qui a la propriété de Markov faible est une chaîne de Markov.
Exemple 1.4. Voici quelques exemples de processus stochastiques. Dire quel est l’espace
des états S. Dire aussi si ce sont des chaînes de Markov.
(a) On lance une pièce de monnaie à répétition. Xi est le résultat de l’ième lancer. Soit
X = (Xi )i≥1 .
(b) On lance une pièce de monnaie à répétition. Soit Xi le nombre de lancers effectués depuis
la dernière fois qu’on a obtenu « Pile », après i lancers (inclusivement). Soit X = (Xi )i≥1 .
(Par exemple, si on a obtenu Pile, Face, Face, Pile, Pile, Face, Pile, ..., on aurait
X = (0, 1, 2, 0, 0, 1, 0, ...).)
(c) On lance une pièce de monnaie à répétition. Après i lancers, soit Xi le nombre de lancers
restants avant d’obtenir Pile de nouveau (incluant le lancer où on obtient finalement
Pile). Soit X = (Xi )i≥0 .
(Par exemple, si on a obtenu Pile, Face, Face, Pile, Pile, Face, Pile, ..., on aurait
X = (1, 3, 2, 1, 1, 2, ...).)
(d) Soit k ∈ N. On lance une pièce de monnaie à répétition. Après i + k lancers (pour i ≥ 1),
on note Xi le nombre de fois qu’on a obtenu « Pile » entre les ième et (i+k)ièmes lancers
(inclusivement). Soit X = (Xi )i≥1 .
(Par exemple, avec k = 1, si on a obtenu Pile, Face, Face, Pile, Pile, Face, Pile, ...,
on aurait X = (1, 0, 1, 2, 1, 1, ...)
Solution. (a) L’espace des états serait S = {Pile, Face}. Le processus X a la propriété
de Markov – en effet, puisque tous les lancers sont indépendants, il est trivialement vrai
que le futur du processus après le temps t est indépendant du passé avant le temps t.
(b) L’espace des états serait S = Z+ – en effet, il peut s’écouler un nombre entier de lancers
depuis la dernière fois qu’on a eu « Pile », mais aussi 0, lorsqu’on vient tout juste d’avoir
Pile.
C’est une chaîne de Markov – si je sais combien de lancers j’ai fait depuis la dernière
fois que j’ai eu « Pile », ce qui s’est passé avant n’importe pas – je sais qu’au prochain
lancer, j’aurai soit Pile (et on retombera à 0), ou Face (et le compteur augmentera
encore).
(c) L’espace des états serait S = N – à chaque lancer, soit le prochain sera Pile (alors il faut
un lancer pour avoir Pile de nouveau), ou bien ce sera Face (alors il faudra plus d’un
lancer pour avoir Pile de nouveau).
Malgré que ça puisse paraître contre-intuitif, le processus X a bel et bien la pro-
priété de Markov. En effet, même si la valeur de Xt dépend du futur des lancers, ça ne
correspond pas à la définition d’une chaîne de Markov !
Dans les faits, une fois qu’on sait que Xi = 5, par exemple, peu importe ce qui s’est
passé avant, on sait immédiatement que Xi+1 = 4, Xi+2 = 3, etc. Peu importe, donc, ce
qui s’est passé avant.
De même, si on sait que Xi = 1, on sait qu’on obtiendra « Pile » au prochain lancer.

Sachant cela, Xi+1 sera donc simplement le nombre de lancers nécessaires pour obtenir
Pile de nouveau immédiatement après celui qu’on vient d’obtenir au lancer i + 1. C’est
donc une variable aléatoire géométrique de paramètre 1/2, peu importe ce qui s’est passé
avant.
(d) Ici, l’espace des états serait S = {0, 1, 2, 3, . . . , k + 1}, correspondant au nombre de Pile
qu’on a obtenu dans les k + 1 derniers lancers.
Le processus X n’a PAS la propriété de Markov faible. En effet, avec k = 2, supposons
qu’on sait que X1 = 2 et X2 = 1. Alors, on sait que les trois premiers lancers ont donné
respectivement Pile, Pile et Face. Donc, on sait qu’il est impossible d’avoir X3 = 2,
puisqu’il faudrait que les troisième et quatrième lancers aient tous les deux donné Pile,
ce qui est impossible.
Par contre, si on avait plutôt que X1 = 0 et X2 = 1, alors la probabilité d’avoir
X3 = 2 serait non-nulle.
On vient de voir que, sachant X2 , des informations sur le passé du processus X
peuvent influencer les probabilités pour le futur du processus. Donc ce processus sto-
chastique n’a pas la propriété de Markov faible.
1.4. Les probabiltiés de transition

Comme mentionné plus haut, pour la suite des choses, nous allons travailler seulement
avec des chaînes de Markov – des processus stochastiques qui ont la propriété de Markov.
Plus particulièrement, nous nous concentrons sur les chaînes de Markov sur des espaces
d’états discrets.
Nous introduisons maintenant formellement les probabilités de transition :
Définition 1.4 (Probabilités de transition). Soit X = (Xt )t≥0 un processus stochas-
tique sur l’espace d’états discret S. Soient x, y ∈ S deux états, et soient 0 ≤ s < t.
On définit la probabilité de transition de x vers y entre les temps s et t :
Px,y (s, t) = P {Xt = y | Xs = x} .
Il s’agit de la probabilité que le processus se retrouve à l’état y au temps t, sachant qu’il
était à l’état x au temps s.
Nous allons maintenant montrer quelques conséquences de la propriété de Markov sur
les probabilités de transition.
Proposition 1.1. Soit X = (Xt )t≥0 une chaîne de Markov sur l’espace d’états discret
S. Les probabilités de transition ont les propriétés suivantes :
i. Pour tout t > 0 et pour tous x, y ∈ S :
(
1 si x = y;
(1.4.1) Px,y (t, t) = δx,y =
0 ̸ y.
si x =
ii. Pour tous 0 ≤ s ≤ s′ ≤ t, x ∈ S :

X
(1.4.2) Px,y (s, t) = 1.
y∈S
1.4. LES PROBABILTIÉS DE TRANSITION 13
iii. Pour tous 0 ≤ s ≤ t et pour tous x, y ∈ S :

X
(1.4.3) Px,y (s, t) = Px,z (s, s′ )Pz,y (s′ , t).
z∈S
Démonstration. La preuve de i est triviale.

ii est simplement un énoncé de la condition de normalisation pour la fonction de masse
de Xt sachant que Xs = x.
Montrons maintenant iii.
On a que par définition, Px,y (s, t) = P {Xt = y | Xs = x}. Or, par la formule des proba-
bilités totales, on a :
X
P {Xt = y | Xs = x} = P {Xt = y | Xs′ = z, Xs = x} P {Xs′ = z | Xs = x}
z∈S
X
= P {Xt = y | Xs′ = z} P {Xs′ = z | Xs = x} .
z∈S
La dernière égalité s’obtient par la propriété de Markov ; si on sait que Xs′ = z, on peut
ignorer l’information que Xs = x, puisqu’on détient déjà de l’information « plus à jour. »
Dès lors, en ré-utilisant la définition des probabilités de transition, on trouve forcément :
X
Px,y (s, t) = = Px,z (s, s′ )Pz,y (s′ , t).
z∈S
□
Avant de continuer, nous introduisons finalement une autre notation pratique :

Notation (Point de départ). Soit X = (Xt )t≥0 un processus stochastique sur l’espace
d’états S, et soir x ∈ S un état. On notera dorénavant
Px {·} := P {· | X0 = x}
la mesure de probabilité correspondant au cas où le processus se trouve initialement dans
l’état x.
En particulier, avec nos définitions des probabilités de transition, on trouve que pour
tous x, y ∈ S, 0 ≤ t,
Px,y (0, t) = Px {Xt = y}
On introduit maintenant la notion d’homogénéité d’une chaîne de Markov :
Définition 1.5 (Homogénéïté). Soit X = (Xt )t≥0 une chaîne de Markov sur un espace
discret d’états S. On dit que X est une chaîne de Markov homogène si, pour toute paire
d’états x, y ∈ S, et pour tous temps 0 ≤ s < t, la probabilité de transition Px,y (s, t) ne
dépend que de la différence entre t et s.
Autrement dit, la chaîne de Markov X est homogène si et seulement si pour tous x, y ∈ S,
0 ≤ s < t,
(1.4.4) Px,y (s, t) = Px,y (0, t − s) = Px {Xt−s = y} .
Notation (Probabilité de transition sur un intervalle). Dans le cas où une chaîne de
Markov est homogène, on notera simplement la probabilité de transition entre x et y en un
(t)
intervalle de temps t par : Px,y = Px {Xt = y} .
Nous verrons plus loin que la notation avec exposants n’est pas sans raison...
Corollaire 1.1. Soit X = (Xt )t≥0 une chaîne de Markov homogène sur l’espace d’états
discret S. Les probabilités de transition ont les propriétés suivantes :
i. Pour tous x, y ∈ S :
(
1 si x = y
(1.4.5) (0)
Px,y = δx,y =
0 ̸ y.
si x =
ii. Pour tous t ≥ 0, x ∈ S :

X
(1.4.6) (t)
Px,y = 1.
y∈S
iii. Pour tous s, t > 0, et tous x, y ∈ S :

X
(1.4.7) (s+t)
Px,y = (s) (t)
Px,z Pz,y .
z∈S
1.4.1. Le temps discret et les probabilités de transition en un pas. Jusqu’ici,

nous avons défini les probabilités de transition en termes très généraux, de telle sorte que
les définitions et les résultats obtenus s’appliquent peu importe que l’on ait une chaîne de
Markov à temps discret ou continu.
Toutefois, nous allons maintenant examiner une conséquence pratique des processus en
temps discret : le fait qu’il existe « une plus petite unité de temps ». Nous appellerons cette
unité de temps un pas.
Définition 1.6 (Probabilité de transition en un pas.). Soit X = (Xt )t∈Z+ une chaîne
de Markov à temps discret sur l’espace d’états discret S. Soient x, y ∈ S deux états. Alors
la probabilité de transition de x vers y en un pas au temps t est donnée par
Px,y (t) := Px,y (t, t + 1).
Si la chaîne X est homogène, on note simplement la probabilité de transition de x

vers y en un pas par :
(1)
Px,y := Px,y (0) = Px,y = Px {X1 = y} .
En particulier, dans le cas homogène, cette notation est très pratique. En effet, elle
permet d’obtenir le résultat suivant :
Proposition 1.2. Soit X = (Xt )t∈Z+ une chaîne de Markov à temps discret homo-
gène sur un espace d’états discret S. Soit P = (Px,y )(x,y)∈S×S la famille des probabilités de
transition en un pas.
Alors, cette famille caractérise entièrement la loi de X.
Démonstration. Soient t1 < t2 < · · · < tn un nombre fini de temps (entiers non-
négatifs), et soient x1 , x2 , x3 , . . . , xn autant d’états.
Alors, par une propriété élémentaire des probabilités, ainsi qu’avec la propriété de Mar-
kov, on a :
n
Y
P {Xt1 = x1 , . . . , Xtn = xn } = P Xtk = xk Xtk−1 = xk−1 , . . . , Xt1 = x1
k=2
Yn

= P Xtk = xk Xtk−1 = xk−1
k=2
n
(t −t )
Y
k k−1
= Pxk−1 ,xk .
k=2
Autrement dit, ces probabilités ne dépendent que des probabilités de transition.
Or, pour tout x, y ∈ S, et pour tout m ∈ N, par (1.4.7) on peut écrire :
X
(m+1) (m)
Px,y = Px,z Pz,y .
z∈S
(m)
Et par récurrence, on a que pour tout x, y ∈ S, et pour tout m ∈ N, Px,y peut être écrit
comme une somme de produits d’éléments de P .
Par conséquent, si P = (Px,y )(x,y)∈S×S est donnée, cela fixe la valeur de P {Xt1 = x1 , . . . , Xtn = xn }
pour toute famille finie de temps t1 < · · · < tn et toute famille finie d’états x1 , . . . , xn .
En somme, donc, la loi de toute sous-famille finie de X est caractérisée par P , donc la
loi de X est également caractérisée par P . □
1.4.2. Les espaces d’états finis et la représentation matricielle. Nous venons

de voir que la famille de probabilités de transition en un pas P = (Px,y )(x,y)∈S×S est très
importante pour les chaînes de Markov à temps discret sur des espaces d’états discrets : elle
caractérise complètement la loi de notre processus stochastique (proposition 1.2).
Par abus de langage, nous appellerons P la matrice de transition ; toutefois, dans le cas
où S est un espace d’états finis, on pourra rendre ce langage parfaitement rigoureux – et ce
sera extrêmement utile.
Numérotation des états. Avant d’aller plus loin, il faut se mettre d’accord sur un « ordre »
pour les états. Celui-ci est arbitraire, mais il doit être fixé, et – si on veut pouvoir s’y retrouver
– il faut l’énoncer explicitement. Ça revient à donner à chaque état un « numéro ».
Exemple 1.5. On considère un processus stochastique indiquant pour le jour t quel
temps il fera. Les états possibles sont S = {clair, nuageux, pluvieux, orageux}.
On peut alors associer un numéro à chaque état, par exemple comme ceci :
(1) clair ;
(2) nuageux ;
(3) pluvieux ;
(4) orageux.
De cette façon, pour n’importe quel processus stochastique sur un espace fini d’états
S ′ avec |S ′ | = n, on peut considérer un processus de loi identique sur l’espace d’états
S = {1, 2, 3, . . . , n} (ou {0, 1, 2, . . . , n − 1}. Si l’espace d’états est dénombrable – c’est-à-dire
que |S ′ | = |N| – alors on peut carrément considérer plutôt le processus de loi identique sur
l’espace d’états S = N (ou Z+ ).
Cette numérotation sera pratique parce qu’elle permettra de noter sans ambiguïté la
famille de probabilités de transition P = (Px,y )(x,y)∈S ′ ×S ′ comme une matrice P ∈ Rn×n .
Exemple 1.6. On considère une chaîne de Markov homogène indiquant pour le jour t
quel temps il fera. Les états possibles sont S = {clair, nuageux, pluvieux}.
— Si le temps est clair, la probabilité qu’il fasse nuageux le lendemain est de 2/5, et la
probabilité qu’il pleuve, 1/10. Sinon il fera encore beau.
— Si le temps est nuageux, la probabilité qu’il fasse nuageux le lendemain est de 1/2,
et la probabilité qu’il pleuve est de 1/3. Sinon, il fera beau.
— Si le temps est pluvieux, la probabilité qu’il fasse beau (clair) le lendemain est de 3/5,
et la probabilité qu’il fasse nuageux est de 1/10. La probabilité qu’il pleuve encore
est de 3/10.
On associe des numéros aux états de la façon suivante :
(1) clair ;
(2) nuageux ;
(3) pluvieux ;
Alors, la matrice de transition en un pas P = (Pi,j )1≤i,j≤3 ∈ R3×3 est donnée par :
 
1/2 2/5 1/10
P = 1/6 1/2 1/3  .
3/5 1/10 3/10
Dans cette matrice, l’entrée Pi,j (ième ligne, jème colonne) donne la probabilité de
transition de l’état i vers l’état j en un pas.
De façon complètement analogue, on peut définir des matrices pour tous les types de
probabilités de transition que nous avons vu jusqu’ici. Nous utiliserons en particulier ces
notations :
– P (s, t) = (Pi,j (s, t))1≤i,j≤n ∈ Rn×n , la matrice de transition entre les temps s et t,
pour 0 ≤ s ≤ t ;
(t)
– P (t) = (Pi,j )1≤i,j≤n ∈ Rn×n , la matrice de transition sur un intervalle de temps t
pour les chaînes de Markov homogènes ;
– P (t) = P (t, t + 1) = (Pi,j (t))1≤i,j≤n ∈ Rn×n , la matrice de transition en un pas au
temps t pour les chaînes de Markov inhomogènes.
Avec cette notation, on obtient directement les propriétés suivantes :
Proposition 1.3. Soit X = (Xt )t≥0 une chaîne de Markov sur un espace fini d’états
S = {1, 2, 3, . . . n}, et soient P (s, t) ses matrices de transition entre les temps s et t, pour
0 ≤ s ≤ t. Les matrices de transition ont les propriétés suivantes :
i. Pour tout t ≥ 0,
(1.4.8) P (t, t) = In
où In est l’identité n × n.
ii. Pour tous 0 ≤ s ≤ t et tout 1 ≤ i ≤ n,
X n
(1.4.9) Pi,j (s, t) = 1.
j=1
Autrement dit, la somme de chaque ligne est de 1.
iii. Pour tous 0 ≤ s ≤ s′ ≤ t, on a que :

(1.4.10) P (s, t) = P (s, s′ )P (s′ , t),
où le produit matriciel est le produit matriciel usuel.
Démonstration. La propriété i est obtenue en comparant simplement les éléments de
P (t, t) (on a Pi,j (t, t) = δi,j ) à ceux de In – ce sont les mêmes.
La propriété ii est exactement la même que celle énoncée dans la proposition 1.1 ; il suffit
de considérer le cas où S = {1, 2, 3, . . . , n}.
La propriété iii est plus surprenante – en effet, elle nous montre qu’au-delà de la façon
pratique et synthétique d’organiser l’information sous forme d’un « tableau », la représen-
tation en matrices est carrément utile. Cela pointe vers une vérité plus profonde sur les
matrices de transition.
Pour voir qu’elle est vraie, il suffit de voir que, élément par élément de la matrice, on a
que
n
X
[P (s, s′ )P (s′ , t)]i,j = Pi,k (s, s′ )Pk,j (s′ , t)
k=1
= Pi,j (s, t).
Ici la première égalité est simplement par définition du produit matriciel ; la seconde est
vraie par (1.4.3). □
Remarque. Si on introduit le vecteur-colonne à n lignes 1n = (1, 1, 1, . . . , 1), alors
l’équation (1.4.9) peut être réécrite simplement comme :
P (s, t)1n = 1n .
Qu’est-ce qu’on remarque ?
Pour les chaînes de Markov homogènes, on obtient le corollaire suivant :

Corollaire 1.2. Soit X = (Xt )t≥0 une chaîne de Markov homogène sur un espace fini
d’états S = {1, 2, 3, . . . , n} et P (t) ses matrices de trensition en un intervalle de temps t,
pour t ≥ 0. Alors les matrices de transition ont les propriétés suivantes :
i.
(1.4.11) P (0) = In .
ii. Pour tous t ≥ 0 et pour tous 1 ≤ i ≤ n, on a :
X (t)
(1.4.12) Pi,j = 1. (⇔ P (t) 1n = 1n )
j=1
Autrement dit, pour chaque ligne de P (t) , la somme est 1.

iii. Soient s, t ≥ 0. Alors, on a :
(1.4.13) P (s+t) = P (s) P (t) .
La démonstration de ce corollaire est laissée en exercice.
Tous ces résultats sont valides en temps discret ou continu. Toutefois, Ils ont des consé-
quences intéressantes en temps discret. Notamment, la proposition suivante :
Proposition 1.4. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret
sur un espace d’états fini S = {1, 2, 3, . . . , n}, et soit P sa matrice de transition en un pas,
et P (t) ses matrices de transition en un intervalle de temps t ∈ Z+ .
Alors,
(1.4.14) P (t) = P t .
Démonstration. On voit immédiatement que cela est vrai pour t = 1. Supposons que
ce soit vrai pour t = m :
P (m) = P m .
Alors,
P (m+1) = P (m) P (1) = P m P = P m+1 ,
où toutes la première égalité est par (1.4.10) ; les autres sont par hypothèse d’induction, par
définition et par associativité du produit.
On a donc vérifié que si c’est vrai pour t = m, c’est aussi vrai pour t = m + 1. Par
induction, puisque c’est vrai pour tout t =, c’est donc vrai pour tout t ∈ N. On accepte
également par convention que P 0 = In = P (0) . □
Exemple 1.7. En reprenant l’exemple 1.6, calculer les matrices de transition

(a) après deux jours ;
(b) après trois jours ;
(c) après une semaine.
(d) S’il fait beau aujourd’hui, quelle est la probabilité qu’il fera beau la semaine prochaine ?
(7) (7) (7)
(e) Comparer P1,1 , P2,1 et P3,1 . Après une semaine, la probabilité qu’il fasse beau dépend-
elle beaucoup des conditions initiales ?
Solution. (a) La matrice de transition en un jour est
 
1/2 2/5 1/10
P = 1/6 1/2 1/3  .
3/5 1/10 3/10
La matrice de transition en deux jours est donc
  
1/2 2/5 1/10 1/2 2/5 1/10
P (2) = P 2 = 1/6 1/2 1/3  1/6 1/2 1/3 
3/5 1/10 3/10 3/5 1/10 3/10
 
113/300 41/100 16/75
=  11/30 7/20 17/60
149/300 8/25 11/60
(b) La matrice de transition en trois jours est
  
113/300 41/100 16/75 1/2 2/5 1/10
P (3) = P (2) P =  11/30 7/20 17/60 1/6 1/2 1/3 
149/300 8/25 11/60 3/5 1/10 3/10
 
577/1500 377/1000 143/600
=  247/600 7/20 143/600 
247/600 377/1000 317/1500
(c) La matrice de transition en six jours est :

  
577/1500 377/1000 143/600 577/1500 377/1000 143/600
P (6) = (P (3) )2 =  247/600 7/20 143/600   247/600 7/20 143/600 
247/600 377/1000 317/1500 247/600 377/1000 317/1500
 
601921/1500500 366821/1000000 139139/600000
=  240331/600000 7351/20000 139139/600000 
240331/600000 366821/1000000 348941/1500000
Donc, la matrice de transition après une semaine est :
  
601921/1500500 366821/1000000 139139/600000 1/2 2/5 1/10
P (7) = P (6) P =  240331/600000 7351/20000 139139/600000  1/6 1/2 1/3 
240331/600000 366821/1000000 348941/1500000 3/5 1/10 3/10
 
2405497/6000000 1835563/5000000 6959137/30000000
= 2404039/6000000 734371/2000000 87053/375000 
1503709/3750000 3668939/10000000 6963511/30000000
Avec des approximations décimales, on trouve :
 
0, 4009 0, 3671 0, 2320
P (7) ≈ 0, 4007 0, 3672 0, 2321 .
0, 4010 0, 3669 0, 2321
(d) La probabilité qu’il fera beau la semaine prochaine sachant qu’il faut beau aujourd’hui
(7)
correspond à P1,1 ≈ 40, 09%.
(e) On remarque que les lignes sont très semblables après une semaine – cela traduit le fait
que, à long terme, les conditions sont « plus ou moins indépendantes » des conditions
initiales.
Si c’est le cas, ça veut dire qu’en moyenne, il fera beau environ 40% des dimanches
(en moyenne, à long terme), tandis qu’environ 37% d’entre eux seront nuageux, et envi-
ron 23% seront pluvieux. En appliquant ce même raisonnement aux autres jours de la
semaine, on voit qu’en moyenne, à long terme, il fera beau 40% du temps, il y aura des
nuages 37% du temps, et de la pluie 23% du temps !
Nous verrons comment formaliser ce raisonnement plus loin...
Exemple 1.8. On va régler ça tout de suite : quand une chaîne de Markov a deux états
possible, notre matrice de transition ne peut que ressembler à ceci :

(1 − a) a
P = ;
b (1 − b)
Trouver P (n) pour un n arbitraire ; calculer limn→∞ P (n) .
Solution. On veut P (n) = P n . Pour trouver cette valeur, il faudra diagonaliser P afin
de pouvoir l’écrire comme
P = QDQ−1 ,
où
λ1 0
D=
0 λ2
est une matrice diagonale. λ1 et λ2 sont les valeurs propres de P ; ce sont les zéros du
polynôme caractéristique det(P − λI).
Étape 1 : calculer les valeurs propres. Pour ce faire, on cherche d’abord le polynôme
caractéristique. C’est le déterminant de P − λI :
det(P − λI) = (1 − a − λ)(1 − b − λ) − ab

= (1 − a)(1 − b) − λ(1 − b) − λ(1 − a) + λ2 − ab
= (1 − a)(1 − b) − (2 − a − b)λ + λ2 − ab
= 1 − a − b − (2 − a − b)λ + λ2
On trouve :
p
(2 − a − b) + (2 − a − b)2 − 4(1 − a − b)
λ1 = = 1,
2
et p
(2 − a − b) − (2 − a − b)2 − 4(1 − a − b)
λ2 = = 1 − a − b.
2
Pour la suite, on présume que a, b ∈ (0, 1)) parce que sinon le comportement à long
terme est assez prévisible.
Étape 2 : calculer les vecteurs propres. Il nous faut un vecteur propre par valeur
propre ; ce sera un vecteur v qui solutionne
P v = λv
pour la valeur propre λ de notre choix.
Pour λ1 = 1, on cherche donc une solution P v1 = v1 ; on peut prendre v1 = (1, 1), et la
condition de normalisation nous garantit que ça fonctionne !
Pour λ2 = 1 − a − b, il faut résoudre. On cherche une solution à
P v2 = (1 − a − b)v2 ,
, ou : (
(1 − a)v12 + av22 = (1 − a − b)v12
bv12 + (1 − b)v22 = (1 − a − b)v22 .
En triturant ce système d’équations, on trouve entre autres que
bv12 = −av22 ,
qui peut avoir pour solution v12 = a et v22 = −b On peut donc prendre
v2 = (a, −b).
Étape 3 : trouver la matrice Q.
La matrice Q est celle dont les colonnes sont les vecteurs propres ; la colonne i un vecteur
propre associé à la valeur propre λi . Donc, ici, on aurait

1 a
Q= ,
1 −b
par exemple.
On peut tester qu’on a trouvé la bonne matrice, en vérifiant que

P Q = QD.

(1 − a) a 1 a
PQ =
b (1 − b) 1 −b

1 (1 − a − b)a
= .
1 −b(1 − a − b)

1 a 1 0
QD =
1 −b 0 1−a−b

1 a(1 − a − b)
= .
1 −b(1 − a − b)
Check !
Étape 4 : inverser Q. Pour ça, on peut utiliser le truc de l’échelonnage-réduisage (pour
les plus grosses matrices c’est la façon la plus simple). Pour une matrice 2 × 2, on peut se
servir de la formule générale :

x y −1 1 w −y
A= ⇒ A = .
z w xw − yz −z x
Donc, dans notre cas, on trouve :

−1 1 −b −a
Q = ;
ab −1 1
on peut encore tester :

1 1 a −b −a
QQ−1 = −
a + b 1 −b −1 1

1 −(a + b) 0
=−
a+b 0 −(a + b)
= I.
Check !
Étape 5 : trouver P n . Pour faire ça, il faut juste tout mettre ensemble. On se souvient
qu’on a
P n = QDn Q−1

1 1 a 1 0 −b −a
=−
a + b 1 −b 0 (1 − a − b)n −1 1
1 a(1 − a − b)n

1 −b −a
=−
a + b 1 −b(1 − a − b)n −1 1
−b − a(1 − a − b) −a + a(1 − a − b)n
n

1
=−
a + b −b + b(1 − a − b)n −a − b(1 − a − b)n
b + a(1 − a − b)n a − a(1 − a − b)n

1
= .
a + b b − b(1 − a − b)n a + b(1 − a − b)n
Étape 6 : trouver limn→∞ P n . C’est simple : (1 − a − b) ∈ (−1, 1), donc

lim (1 − a − b)n = 0.
n→∞
Il suit que
1 b a
(n)
lim P = .
n→∞ a+b b a
Remarque. On remarque que les lignes sont exactement identiques – ce qu’on soup-
çonnait déjà à l’exemple précédent. On va voir plus tard que ce n’est pas un hasard !
Finalement, nous allons illustrer ici un dernier avantage de la représentation matricielle

de nos probabilités de transition ; pour ce faire, nous allons introduire le vecteur de masss
de la distribution de X :
Définition 1.7 (Vecteur de masse). Soit X = (Xt )t≥0 une chaîne de Markov sur un
espace d’états fini S = {1, 2, 3, . . . , n}.
Pour tout t ≥ 0, on définit le vecteur de masse de la distribution de Xt :
(t)
x(t) = (xi = P {Xt = i})1≤i≤n ∈ R1×n .
Attention ! Il s’agit d’un vecteur-ligne – c’est à dire une matrice d’une ligne à n colonnes,
et pas une colonne à n lignes comme on en a peut-être l’habitude...
(0)
Le vecteur x(0) = (xi = P {X0 = i})1≤i≤n donne la condition initiale ; dans le cas le
plus simple où on sait qu’on commence à l’état k, par exemple, on aurait : x(0) = (δk,j )1≤j≤n .
Bien sûr, on doit avoir :
n
(t)
X
(1.4.15) xj = 1 (⇔ x · 1n = 1)
j=1
pour tout j.
On obtient alors le résultat suivant :
Proposition 1.5. Soit X = (Xt )t≥0 une chaîne de Markov sur un espace d’états fini
S = {1, 2, 3, . . . , n}. Soient P (s, t) = (Pi,j (s, t))(i,j)∈S×S ∈ Rn×n les matrices de transitions
des temps s à t pour tous 0 ≤ s ≤ t
Alors, pour 0 ≤ s ≤ t, on a :
(1.4.16) x(t) = x(s) P (s, t)
où la multiplication est la multiplication matricielle habituelle.
Rappel : les vecteurs x(s) et x(t) sont des vecteurs-ligne de R1×n , et non des vecteurs-
colonnes.
Démonstration. Pour tout 1 ≤ j ≤ n, nous avons :
(t)
xj = P {Xt = j}
n
X
= P {Xs = i} P {Xt = j | Xs = i}
i=1
n
(s)
X
= xi Pi,j (s, t)
i=1
(s)
= [x P (s, t)]j .
Ici, la seconde inégalité est simplement par la forumle de probabilités totale ; la dernière
égalité est due à la définition du produit matriciel. Les autres égalités sont simplement par
définition des symboles. □
Exemple 1.9. En reprenant le processus des exemples 1.6 et 1.7, donner

(a) La probabilité qu’il fera beau dans trois jours sachant qu’il fait beau aujourd’hui ;
(b) la probabilité qu’il fera nuageux dans six jours sachant qu’il pleut aujourd’hui ;
(c) la probabilité qu’il fera beau dans les cinq prochains jours sachant qu’il fait beau au-
jourd’hui.
(3)
Solution. (a) On cherche x1 . Puisqu’on sait qu’il fait beau (aujourd’hui), on a bien
sûr
x(0) = 1 0 0 ;

par conséquent, on a que
x(3) = x(0) P (3)

 
577/1500 377/1000 143/600
= 1 0 0  247/600 7/20 143/600 
247/600 377/1000 317/1500

= 577/1500 377/1000 143/600 ,
et
(3) 577
x1 = ≈ 38, 47%.
1500
(6)
(b) De même, on cherche x2 . Puisqu’on sait qu’il pleut aujourd’hui, on a bien sûr
x(0) = 0 0 1 ;

par conséquent, on a que
x(6) = x(0) P (6)

 
601921/1500500 366821/1000000 139139/600000
= 0 0 1  240331/600000 7351/20000 139139/600000 
240331/600000 366821/1000000 348941/1500000

= 240331/600000 366821/1000000 348941/1500000 ,
et
(6) 366821
x2 = ≈ 36, 68%.
1000000
(c) Ici, on cherche (P1,1 )5 = 32 .
1
1.5. La représentation en graphes et les classes d’équivalence.

Pour le reste du chapitre 1, nous allons nous concentrer plus particulièrement sur les
chaînes de Markov à temps discret sur des espaces d’états finis – disons avec n états.
Nous venons de voir que, dans ce cas précis, il est possible
i. d’énumérer les états en les numérotant de 1 à n ;
ii. de caractériser la loi de la chaîne de Markov par ses probabilités de transition en un
pas ; et
iii. de représenter ces probabilités de transition sous la forme d’une matrice, et la fonction
de masse de Xt pour tout t comme un vecteur-ligne ; le vecteur de masse x(t) .
Ce qu’on cherche à faire, maintenant, c’est de faire une description plus « intuitive » de
nos chaînes de Markov, et de voir s’il est possible de déduire certaines choses simplement
d’après la matrice de transition directement.
1.5.1. Graphe des transitions possibles.
Définition 1.8. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret
sur l’espace d’états fini S = {1, 2, 3, . . . , n}, avec matrice de transition en un pas P =
(Pi,j )1≤i,j≤n ∈ Rn×n .
Le graphe des transitions possibles pour X est le graphe orienté 8 Γ = (S, EP ) où les
sommets sont les états S, et les arêtes sont l’ensemble EP des paires ordonnées de sommets
(i, j) telles qu’une transition en un pas est possible de i vers j ; plus précisément :
(1.5.1) EP = {(i, j) ∈ S 2 : Pi,j > 0} ⊆ S 2 .
Exemple 1.10. Dans une usine de petits caramels durs, une machine indispensable à
la production est monitorée chaque jour par le personnel. Si la machine fonctionne bien,
la qu’elle soit défectueuse le lendemain est de 1/20 ; alors, l’équipe technique tente de la
réparer. Chaque jour, la probabilité de réussir à réparer la machine est de 4/5. En revanche,
la probabilité que la machine soit cassée de façon irréparable est de 1/100, et dans ce cas,
elle sera remplacée par une machine neuve le lendemain.
(a) Décrire le processus stochastique à l’étude. Quels sont les états importants ?
(b) Donner la matrice des probabilités de transition en un pas. À quoi un « pas » correspond-
t-il dans notre mise en situation ?
(c) Tracer le graphe des transitions possibles.
Solution. (a) Ici, on s’intéresse à l’état de la machine. La machine peut être :
(1) Fonctionnelle ;
(2) Endommagée ;
(3) En remplacement.
(b) Dans le texte, on nous donne P1,2 = 1/20 et P1,3 = 1/100. Il suit que P1,1 = 47/50. On
nous dit également que si la machine est en remplacement, elle sera remplacée par une
machine fonctionnelle le lendemain. Donc, P3,1 = 1 ; bien sûr, on a donc P3,2 = P3,3 =
0. Finalement, si la machine est endommagée, elle est réparée (et donc fonctionne le
lendemain) avec probabilité 4/5. Donc, P2,1 = 4/5. Il est sous-entendu que si l’équipe
8. Consulter au besoin l’annexe A sur le vocabulaire de la théorie des graphes et les définitions de base.
1.5. LA REPRÉSENTATION EN GRAPHES ET LES CLASSES D’ÉQUIVALENCE. 25
technique n’a pas réussi un jour, la machine demeure endommagée (vu que l’équipe
tentera encore de la réparer le lendemain). Donc, on a P2,2 = 1/5 et P2,3 = 0.
En mettant tout ceci ensemble, on a donc :
 
47/50 1/20 1/100
P =  4/5 1/5 0 .
1 0 0
(c) Le graphe associé à cette matrice est représenté à la figure 1.3
En fonction
3 2
En remplacement Endommagée
Figure 1.3 – Le graphe des transitions possibles pour la machine de

l’exemple 1.10
Rappels : les graphes orientés. Le graphe des transitions possibles nous servira en quelque
sorte de « carte » de notre espace d’états, et il sera très utile pour comprendre plus intui-
tivement la dynamique du processus à l’étude. Pour cette raison, ça vaut la peine de faire
un petit rappel du vocabulaire de base de la théorie des graphes – en particulier pour les
graphes orientés qu’on utilise ici.
Définition (Vocabulaire des graphes orientés). À noter que ces définitions sont des
rappels ; pour des versions plus détaillées et complètes, consulter l’annexe A, qui présente
les définitions importantes pour les graphes orientés et non-orientés, de façon très générale.
i. Un graphe orienté G = (V, E) est un objet mathématique constitué d’un ensemble
de sommets V et d’un ensemble d’arêtes E ⊆ V 2 .
ii. Une arête e ∈ E est représentée par une paire ordonnée de deux sommets (x, y), avec
x, y ∈ V . On dit que l’arête e part de x et qu’elle se termine en y, ou qu’elle est
incidente à y.
On note x → e et e → y respectivement pour indiquer que l’arête e part de x et se
termine en y.
Pour une arête e ∈ E, on note e− ∈ X le sommet d’où l’arête e part, et e+ le
sommet où l’arête e se termine.
iii. On dit que le sommet y ∈ V est adjacent au sommet x ∈ V si et seulement si l’arête
(x, y) est dans E. On note alors x → y.
Attention : Dans les graphes orientés, l’adjacence n’est pas symétrique ; on peut
avoir y adjacent à x sans que x soit adjacent à y.
On dit que l’arête f suit l’arête e si e+ = f − ; c’est à dire que l’arête e se termine au
même sommet où f commence. L’arête e est incidente sur l’arête f . On note e → f .
On dit également que les arêtes e et f se suivent, ou s’enchaînent.
iv. Un chemin fini de longueur n est une suite d’arêtes C = (e1 , e2 , e3 , . . . , en ) où les
−
arêtes consécutives s’enchaînent ; c’est-à-dire que e+ i−1 = ei pour tout i = 2, 3, 4, . . . , n.
Par abus de notation, on notera |C| la longueur du chemin C (même si C n’est pas
un ensemble).
Un tel chemin peut également être décrit par une famille de n+1 sommets (x0 , x1 , x2 , . . . , xn ),
à condition que les arêtes (xi−1 , xi ) = ei soient toutes inclues dans E.
v. Un chemin fini passant par les sommets (x0 , x1 , x2 , . . . , xn ) est un cycle si x0 = xn .
vi. On dit que le sommet y ∈ V est accessible depuis x ∈ V si il existe un chemin fini
passant par les sommets (x0 , x1 , x2 , . . . , xn ) tel que x0 = x et xn = y. On note cela
x −→ y.
On dit que les sommets x et y sont connectés si x est accessible depuis y et y
est accessible depuis x ; on note cela x ←→ y. On admet également que le sommet x
est accessible depuis lui-même par le chemin de longueur 0 (x0 = x), et qu’il est donc
connecté à lui-même.
vii. Pour tous x, y ∈ V , la distance de x à y – notée d(x, y) – est nulle lorsque x = y.
Lorsque x ̸= y, c’est la longueur du plus court chemin reliant x à y, s’il existe. Attention :
dans les graphes orientés, la distance n’est pas symétrique ! On n’a pas forcément que
d(x, y) = d(y, x).
Ouf ! C’est beaucoup de vocabulaire, mais ça demeure relativement intuitif.
1.5.2. Classification des états. La suite de notre discussion repose sur un constat
important concernant la relation de connexité entre deux sommets :
Lemme 1.1. Soit G = (V, E) un graphe orienté. Alors, la relation ←→ sur les sommets
S est une relation d’équivalence entre les sommets. C’est à dire que :
i. La relation est réflexive : x ←→ x pour tous x ∈ V ;
ii. La relation est symétrique : x ←→ y si et seulement si y ←→ x, pour tous x, y ∈ V ;
iii. La relation est transitive : Pour tous x, y, z ∈ V , si x ←→ y et y ←→ z, alors x ←→ z.
Démonstration. i Par l’item vi de la définition, c’est immédiat.
ii C’est également évident par la définition ; si x ←→ y, alors y −→ x et x −→ y, et
il suit que y ←→ x, et vice-versa.
iii Pour montrer la transitivité, on va « rabouter » des chemins ensemble ; ce qu’on
appelle la concaténation :
Si x ←→ y et y ←→ z, alors en particulier x −→ y et y −→ z. Alors, il existe
des chemins C1 = (e1 , e2 , e3 , . . . , em ) et C2 = (f1 , f2 , f3 , . . . , fn ) tels que C1 va de
x à y, et C2 va de y à z. Mais alors, on considère le chemin
C = (e1 , e2 , e3 , . . . , em , f1 , f2 , . . . , fn )
C’est un chemin, puisque les arêtes consécutives s’enchaînent – on vérifie que
−
m = y = f1 ; les autres paires d’arêtes consécutives s’enchaînent puisqu’elles sont
e+
à l’intérieur des chemins C1 ou C2 .
Or, le chemin C part de x et se termine en z ; donc, il existe un chemin de x à

z, et x −→ z.
De façon similaire, on a aussi que z −→ y et y −→ x, donc que z −→ x. On
conclue finalement que x ←→ z.
□
Et la propriété suivante des relations d’équivalence (citée sans preuve) :

Proposition. Soit A un ensemble quelconque et soit ∼ une relation d’équivalence entre
les éléments de A.
Alors, le quotient de A par ∼, noté A/ ∼, est une partition (non-indexée) de A en
classes d’équivalences. Plus précisément, A/ ∼ est un ensemble avec les propriétés sui-
vantes :
i. Les éléments de A/ ∼ sont des parties de A appelées des classes d’équivalence pour
∼ – si C ∈ A/ ∼, alors C ⊆ A.
ii. Pour toute classe d’équivalence C ∈ A/ ∼, on a que tous les éléments de C sont équi-
valents entre eux : pour tous x, y ∈ C, x ∼ y.
iii. Pour tout élément x ∈ A, x appartient à exactement un (unique) C ∈ A/ ∼ ; autrement
dit, les éléments de A/ ∼ forment une partition de A.
En gros : aussitôt qu’on a une relation d’équivalence, on a tout de suite un genre de
« découpage » de notre ensemble en différentes classes d’équivalence.
De retour à notre graphe des transitions possibles : si X = (Xt )t∈Z+ est une chaîne de
Markov homogène à temps discret sur un ensemble d’états fini S = {1, 2, 3, . . . , n}, avec sa
matrice de transition en un pas P = (Pi,j )1≤i,j≤n et son graphe des transitions possibles
Γ = (S, E), alors on a le résultat suivant :
Proposition 1.6. L’espace des états S se décompose en un nombre fini de classes d’équi-
valence par la relation de connexité ←→.
Démonstration. C’est simplement une conséquence de la propriété générale des rela-
tions d’équivalence. □
Exemple 1.11. Les états de la chaîne décrite à l’exemple 1.10 sont tous dans la même
classe d’équivalence, puisqu’ils sont tous connectés entre eux dans le graphe des transitions
possibles (figure 1.3).
Exemple 1.12. On un dé tétraédrique (à quatre faces) à répétition. Soit Xi le maximum

de tous les lancers observés depuis le début jusqu’au lancer i inclusivement. On considère
X = (Xi )i∈N .
(a) Vérifier qu’il s’agit d’une chaîne de Markov homogène à temps discret. Donner l’espace
des états et la matrice de transition en un pas.
(b) Tracer le graphe des transitions possibles pour cette chaîne de Markov.
(c) Identifier toutes les classes d’équivalence.
Solution. (a) Les états possibles ici sont S = {1, 2, 3, 4}, correspondant aux valeurs
possibles que le maximum pourra prendre (ce sont les valeurs que le dé peut afficher).
C’est bien une chaîne de Markov – si on connaît le maximum après i lancer, on

n’a pas besoin de connaître les valeurs précédentes pour déterminer les probabilités de
transition vers les autres valeurs. En effet :
– Si le maximum était 1, ça restera 1 si on roule encore un 1. Si on roule quoi que ce

soit d’autre, cette nouvelle valeur deviendra le nouveau maximum. Donc,
1
P1,1 = P1,2 = P1,3 = P1,4 = ;
4
– Si le maximum était 2, ça restera 2 si on roule un 1 ou un 2. Si on roule un 3
ou un 4, ça deviendra notre nouveau maximum. Il est impossible que le maximum
devienne 1, puisque c’est déjà 2. Donc,
1 1
P2,1 = 0, P2,2 = , P2,3 = P2,4 = ;
2 4
– Si le maximum était 3, alors si on roule un 4, le maximum deviendra 4 ; sinon, le
maximum restera 3. Donc :
3 1
P3,1 = P3,2 = 0, P3,3 = , P3,4 = ;
4 4
– Si le maximum était déjà 4, ça restera 4, quoi qu’on fasse.
P4,1 = P4,2 = P4,3 = 0, P4,4 = 1.
Finalement, on a la matrice de transition suivante :

 
1 1 1 1
1 0 2 1 1
P =  .
4 0 0 3 1
0 0 0 4
(b) Le graphe des transitions possibles est présenté à la figure 1.4.

(c) Ici, on remarque qu’aucun deux états ne sont connectés entre eux ; en effet, pour l’état j,
tous les états i < j sont inaccessibles ! Donc si j est accessible depuis i, c’est que i ≤ j.
Par conséquent, chaque état est seul dans sa propre petite classe d’équivalence.
1 2 3 4
Figure 1.4 – Le graphe des transitions possibles pour la chaîne de Markov

de l’exemple 1.12.
6 3
5 1 2
7 4

de l’exemple 1.13.
Exemple 1.13. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur
l’espace fini des états S = {1, 2, 3, 4, 5, 6, 7}, avec la matrice de transition en un pas
 
0 2/3 0 0 1/3 0 0
0 0 1 0 0 0 0 
 
0 0 0 1 0 0 0 
 
P = 0 1 0 0 0 0 0  .

0 0 0 0 0 1 0 
 
0 0 0 0 0 0 1 
0 0 0 0 1 0 0
(a) Tracer le graphe des transitions possibles.
(b) Identifier les classes d’équivalence.
Solution. (a) Le graphe est présenté à la figure 1.5.
(b) Il y a trois classes d’équivalence :
– L’état 1 est tout seul dans sa classe d’équivalence car il n’est connecté à aucun
autre état, puisqu’il n’est accessible depuis aucun autre état.
– Les états 2, 3 et 4 sont dans une classe, puisqu’ils sont tous connectés entre eux (ils
font tous partie d’un cycle).
– Les états 5, 6 et 7 sont dans une classe puisqu’ils sont tous connectés entre eux (ils
font tous partie d’un cycle).
On introduit les définitions suivantes :

Définition 1.9 (Classe fermée, classe ouverte). Soit G = (V, E) un graphe orienté, et
C ∈ V / ←→ une classe d’équivalence de sommets connectés entre eux.
i. C est une classe ouverte si il existe une arête e ∈ E telle que e− ∈ C et e+ ∈
/ C.
ii. Si C n’est pas une classe ouverte, c’est une classe fermée.
Autrement dit, une classe est ouverte si un chemin qui y commence peut en sortir ; elle
est fermée si tout chemin qui y commence doit forcément y rester.
On a immédiatement le résultat suivant :
Proposition 1.7. Soit G = (V, E) un graphe orienté sur un nombre fini de sommets.
Il existe au moins une classe d’équivalence C ∈ G/ ←→ qui est fermée.
Démonstration. La preuve de cette proposition n’est pas nécessaire mais elle est amu-
sante.
On considère le graphe orienté Γ = (G/ ←→, E), où les sommets sont les classes d’équi-
valence du graphe G, et on choisit :
E = {(C, C ′ ) ∈ (G/ ←→)2 : ∃x ∈ C, y ∈ C ′ : (x, y) ∈ E, C ̸= C ′ }.
En mots : il y a une arête de C à C ′ si et seulement si il existe une arête dans G entre un
sommet de C et un sommet de C ′ (et que C et C ′ sont différentes).
Le graphe Γ n’admet aucun cycle. Si il y avait un cycle passant par les classes C et C ′ ,
par exemple, tous les sommets de C et de C ′ seraient équivalents les uns aux autres – donc
C = C ′.
D’un autre côté, si on suppose que toutes les classes C sont ouvertes, alors il existe
toujours au moins une arête dans le graphe Γ qui part de C et qui se termine à une autre
classe. On commence avec une classe quelconque, que l’on appelle C0 . Puis, pour tout i ∈ N,
on choisit un Ci+1 parmi les classes adjacentes à Ci ; on construit ainsi une suite infinie de
classes d’équivalence. Or, puisque V est fini, G/ ←→ est également fini ; il y a un nombre
fini de classes d’équivalences, et donc forcément, il existe deux entiers i et j avec i < j et
tels que Ci = Cj . Le chemin dans Γ qui passe par les sommets (Ci , Ci+1 , Ci+2 , . . . , Cj ) est
donc un cycle – ce qui est une contradiction, puisque comme nous venons de le montrer, le
graphe Γ n’admet pas de cycles.
On est donc forcé·e·s d’admettre que le graphe Γ admet au moins un sommet C qui n’est
le point d’origine d’aucune arête – c’est à dire qu’il existe au moins une classe d’équivalence
C qui est fermée. □
Exemple 1.14. Pour les processus décrits dans les exemples 1.10, 1.12 et 1.13, identifier
les classes d’équivalences et dire si elles sont ouvertes ou fermées.
Solution. Pour le processus de l’exemple 1.10 (figure 1.3), il n’y a qu’une classe d’équi-
valence. Elle est donc fermée.
Pour le processus de l’exemple 1.12 (figure 1.4), la classe d’équivalence contenant l’état 4
est fermée ; toutes les autres ont un lien vers cette dernière, et sont par conséquent ouvertes.
Pour le processus de l’exemple 1.13 (figure 1.5), la classe d’équivalence contenant l’état
1 est ouverte ; les deux autres sont fermées.
Mais pourquoi diantre ces classes d’équivalences nous intéressent-elles ? C’est parce que,
comme nous allons le voir sous peu, les états de la même classe d’équivalence partagent
certaines propriétés...
1.6. Temps d’atteinte et de retour, récurrence, transience, périodicité

Nous venons de voir une façon simple de « cartographier » notre espace des états, et d’en
faire une petite « topologie ». 9 Par contre, a priori, on se souvient que ce qui nous intéresse,
ce sont les probabilités et les statistiques de la patente ; elles ont été presque entièrement
évacuées lors de la dernière section, où on a principalement décrit des graphes.
On retourne donc à nos processus de Markov en introduisant les définitions suivantes :
9. Ici, j’emploie le mot topologie au sens « semi-mathématique » du terme ; c’est à dire dans un sens
vaguement relié à la notion mathématique rigoureuse de topologie, compris comme « l’étude de la connexité
des espaces ».
1.6. TEMPS D’ATTEINTE ET DE RETOUR, RÉCURRENCE, TRANSIENCE, PÉRIODICITÉ 31
Définition 1.10 (Temps d’atteinte, temps de retour). Soit X = (Xt )t≥0 un processus
stochastique quelconque sur un espace d’états quelconque S.
On introduit les variables aléatoires suivantes :
i. Le temps d’atteinte (ou temps de frappe, de l’anglais hitting time) de la région A ⊆ S
– que nous noterons τA – correspond au « moment où le processus entre en A pour la
toute première fois » (figure 1.6). On définit rigoureusement :
(1.6.1) τA = inf {t ≥ 0 : Xt ∈ A} .
Par abus de notation, pour un état x ∈ S, on admet τx := τ{x} .
ii. Le temps d’atteinte positif de la région A est défini de façon analogue, mais en
excluant 0. On le note τA+ :
(1.6.2) τA = inf {t > 0 : Xt ∈ A} .
Et on fait le même abus de notation : pour x ∈ S, τx+ := τ{x}
+
.
iii. Le temps de retour à l’origine est le temps d’atteinte positif de X0 (τX +
0
) ; c’est le
temps requis pour « revenir au point de départ ».
En pratique, comme on considère souvent la mesure de probabilités sachant que
X0 = x pour un certain x ∈ S, le temps de retour à l’origine sera alors τx+ .
Par convention, on admet que ces temps sont infinis si l’ensemble dont on prend l’infimum
est vide (c’est-à-dire si on n’atteint jamais la région A ou l’état x, par exemple).
Remarque. Ces définitions sont très générales ; dans le cas précis où nous sommes en
temps discret, les infimums seront en fait des minimums.
A
x
τA
S
Figure 1.6 – Le temps d’atteinte de la région A correspond au premier
moment où on touche A.
Pour un processus stochastique X = (Xt )t≥0 quelconque sur un espace d’états S quel-
conque, avec x ∈ S un état et A ⊆ S une région de S (on suppose x ∈
/ A), on peut s’intéresser
aux quantités suivantes 10 :
– Px {τA < τB } : la probabiltié qu’on atteigne A avant la région B ;
10. Il est à noter que dans l’ouvrage de Sabin Lessard, l’auteur utilise les symboles suivants (section 1.6.1) :
– Px {τA < τx+ } : la probabilité qu’on atteigne A avant de revenir en x ;

– Px {τA < +∞} : la probabilité qu’on atteigine éventuellement A sachant qu’on part
de x ;
– Px {τx+ < +∞} : la probabilité que le temps de retour soit fini sachant qu’on part
de x – c’est à dire la probabilité qu’on revienne éventuellement à x.
– Ex [τx+ ], Ex [τA ] : Dans le cas où Px {τx+ < +∞}, on peut s’intéresser à l’espérance
de τx+ ; c’est le « temps moyen pour revenir en x ». De même, on peut s’intéresser
à l’espérance du temps pour atteindre la région A.
– etc.
1.6.1. La méthode du conditionnement par le premier pas. Toutes les définitions
que nous avons introduites jusqu’à présent sont dans le contexte très général des processus
stochastiques ; toutefois, comme nous allons le voir, dans le contexte particulier des chaînes
de Markov, et plus spécifiquement des chaînes de Markov à temps discret sur des espaces
d’états finis, il existe une méthode simple pour calculer ces quantités : c’est la méthode du
conditionnement par le premier pas.
Afin de l’illustrer, nous allons commencer par un exemple.
Exemple 1.15. Alexe se promène dans un labyrinthe constitué de neuf « pièces » carrées
dans une configuration 3 × 3, et où les pièces adjacentes communiquent entre elles par des
portes. Alexe commence dans l’un des coins ; la sortie est dans le coin opposé, et un meurtrier
sanguinaire se cache dans l’un des deux autres coins. (figure 1.7)
1 2 3
4 5 6
7 8 9
Figure 1.7 – Le labyrinthe. Alexe commence dans la pièce 1 ; le meurtrier

est dans la pièce 7, et la sortie est dans la pièce 9.
Chaque fois qu’elle arrive dans une pièce, Alexe choisit aléatoirement l’une des portes
dans la pièce de façon équiprobable. Si Alexe atteint la sortie, elle s’évade ; si elle croise le
meurtrier sanguinaire, celui-ci la découpe en petits morceaux.
— fi,j = Pi τj+ , la probabilité qu’on atteigne l’état j (ou qu’on revienne en i si j = i) sachant qu’on

i;
part de l’état
— µi = Ei τi+ l’espérence du temps du premier retour en i sachant qu’on part de l’état i.
(a) Donner la matrice de transition en un pas pour ce processus.

(b) Quelle est la probabilité qu’Alexe réussisse à s’échapper sans croiser le meurtrier san-
guinaire ?
Solution. (a) On a la matrice de transition suivante :

 
0 1/2 0 1/2 0 0 0 0 0
1/3 0 1/3 0 1/3 0 0 0 0 
 
 0 1/2 0 0 0 1/2 0 0 0 
 
1/3 0 0 0 1/3 0 1/3 0 0 
 
P = 0 1/4 0 1/4 0 1/4 0 1/4 0 
.
 0 0 1/3 0 1/3 0 0 0 1/3
 
 0 0 0 0 0 0 1 0 0 
 
 0 0 0 0 1/3 0 1/3 0 1/3
0 0 0 0 0 0 0 0 1
Notez que les états 7 et 9 sont davantage « Alexe est coupée en petits morceaux »
et « Alexe s’est sauvée », plutôt que simplement les numéros des pièces...
(b) Ce qu’on cherche, ici, c’est la probabilité d’atteindre éventuellement l’état 9 avant l’état
7, sachant que l’on part de l’état 1 ; P1 {τ9 < τ7 }.
Cela peut être compliqué de calculer cette valeur directement ; il existe une infinité de
trajectoires possibles qui permettraient de passer de 1 à 9 dans cette chaîne de Markov.
Cependant, on peut employer une astuce :
Si on note ui = Pi {τ9 < τ7 } la probabilité d’atteindre l’état 9 sachant que l’on
commence en i, alors pour tout i, on a l’équation suivante :
X
ui = Pi,j uj .
j:i→j
On obtient cette équation en conditionnant sur le premier pas :

ui = Pi {τ9 < τ7 }
X
= Pi {τ9 < τ7 | X1 = j} Pi {X1 = j}
j∈S
X
= Pi,j Pi {τ9 < τ7 | X1 = j} .
j∈S
La seconde égalité est donnée par la loi des probabilités totales, pour tous les j adjacents
à l’état i (c’est à dire tous les états j accessibles en un pas depuis l’état i). La dernière
égalité est par définition de Pi,j .
Or, par la propriété de Markov, on a bien sûr que
Pi {τ9 < τ7 | X1 = j} = Pj {τ9 < τ7 } ;
en effet, une fois que nous savons que nous sommes à l’état j, nous savons également
que la probabilité d’atteindre l’état 9 éventuellement est la même que si nous avions
simplement commencé à l’état j.
Donc, on a finalement
X
ui = Pi,j Pi {τ9 < τ7 | X1 = j}
j∈S
X
= Pi,j uj .
j∈S
De plus, on doit avoir que u7 = 0 et u9 = 1, parce que si on commence découpée en

petits morceaux, il n’y a aucune chance de s’écahpper, et que si on commence déjà en
dehors du labyrinthe, la probabilité de gagner est tout de suite 1.
En l’occurence, ceci donne le système d’équations linéaire suivant : 11
P u = u,
où u est le vecteur colonne donné par

 
u1
u2 
 
u3 
 
u4 
 
u5  .
u= 
u6 
 
u7 
 
u8 
u9
En extension, ce système d’équations est :

1


 u1 = (u2 + u3 )


 2
1


u2 = 3 (u1 + u3 + u5 )





1


u3 = (u2 + u6 )





 2
1


u4 = 3 (u1 + u5 + u7 )



1

 u5 = (u2 + u4 + u6 + u8 )


 4
1


u6 = (u3 + u5 + u7 )





 3
u = 0

7




1


u8 = (u5 + u7 + u9 )




 3
u9 = 1.

11. Attention – ceci n’est pas forcément vrai en général, même si c’est le cas ici.
On peut simplifier ce système d’équations drastiquement en remarquant que, par

symétrie, u2 = u5 = u8 = 12 . Quoiqu’il en soit, on trouve que la solution est
 
2/5
 1/2 
 
 3/5 
 
3/10
 
u=  1/2  .

7/10
 
 0 
 
 1/2 
1
En observant ces résultats, on se convainc assez facilement que En particulier, on cher-
chait la probabilité d’atteindre 9 en partant de 1 ; c’est
u1 = P1 {τ9 < τ7 } = 2/5.
Le raisonnement que l’on fait ici n’est pas si spécifique à notre problème ; on peut donc
en extraire facilement le résultat suivant (plus général) :
Lemme 1.2. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur
l’espace d’états dénombrables S = {1, 2, 3, . . . } ; soient k, l ∈ S deux états de S distincts.
Alors,
i. Alors on a le systèmes d’équations suivant :
 X

 Pi {τk < τl } = Pi,j Pj {τk < τl } ∀i ̸= k, l

j∈S

(1.6.3)
P {τ < τl } = 1
 k k


Pl {τk < τl } = 0

ii. De plus, Pl τk < τl+ est donné par

X
(1.6.4) Pl τk < τl+ =

Pl,j Pj {τk < τl } .
j∈S
Démonstration. i Clairement, par définition de τk , τl et Px , il est évident que
Pk {τk < τl } = 1, Pl {τk < τl } = 0.
Pour tout autre état i ∈ S, on a :
X
Pi {τk < τl } = Pi {τk < τl | X1 = j} Pi {X1 = j}
j∈S
X
= Pi,j Pj {τk < τl } ,
j∈S
où la première égalité est donnée par la loi des probabilités totales en conditionnant
sur le premier pas, et la seconde égalité tient au fait que, par la propriété de Markov,
une fois le premier pas effectué,
Pi {τk < τl | X1 = j} = Pj {τk < τl } ,
puisque la suite du processus suit exactement la même loi que si on avait simplement
commencé en j.
ii On remarque que pour tout j ̸= l, Pj τk < τl+ = Pj {τk < τl }, puisqu’on sait

qu’on n’est de toute façon pas en l au temps 0.
On applique donc le même raisonnement que pour la preuve de i.
□
Exemple 1.16. En reprenant le labyrinthe de l’exemple 1.15, on suppose maintenant que

le meurtrier sanguinaire est seul dans le labyrinthe, et qu’il part se promener aléatoirement
(comme l’aurait fait Alexe si elle était partie du même point de départ).
Quelle est la probabilité que le meurtrier trouve la sortie avant d’être revenu à son point
d’origine ?
Solution. On a déjà calculé Pi {τ9 < τ7 } pour i = 1, 2, 3, . . . , 9 ; ces valeurs sont données
par les ui trouvés dans la solution de l’exemple 1.15.
Si on suppose que le meurtrier sanguinaire part de la pièce numéro 7, c’est donc dire
qu’on cherche P7 τ9 < τ7+ ; comme nous venons de le voir avec le Lemme 1.2, on a que

+ 1 1 1 3 1 2
P7 τ9 < τ7 = P4 {τ9 < τ7 } + P8 {τ9 < τ7 } = + = .
2 2 2 10 2 5
On va laisser de côté Px {τx+ < +∞} et Px {τA < +∞} pour l’instant ; bien qu’une mé-
thode similaire soit applicable pour ces événements également, nous verrons plus loin que
ce sont des cas de figure un peu particuliers.
On va s’intéresser plutôt à l’espérance des temps d’atteinte avec un exemple fameux :
Exemple 1.17 (La ruine du parieur). Aymeric et Brandon jouent à un périlleux jeu de
hasard, au risque de leurs vastes fortunes respectives – en tout, ils possèdent N dollars.
À chaque partie, les deux misent 1$ ; le joueur qui l’emporte remporte la mise et sa
fortune personnelle s’accroit de 1$ tandis que celle de l’autre diminue du même montant.
Comme Aymeric et Brandon ne se font aucunement confiance, ils arrêtent de jouer lorsque
l’un d’entre eux a acquis la fortune entière de l’autre (puisque le plus riche refusera systé-
matiquement de faire crédit au predant).
Les parties sont indépendantes ; chacune est remportée par Aymeric avec probabilité p
et par Brandon avec probabilité q := (1 − p).
(a) Décrire le processus stochastique d’intérêt ; donner les états et la matrice de transition.
(b) En supposant qu’Aymeric commence avec a dollars (et Brandon avec b = N − a dollars),
donner la probabilité que celui-ci remporte toute la fortune de Brandon.
(c) Trouver l’espérance du nombre de parties qui seront jouées dans le cas où p = q.
Solution. (a) On considère Xt la fortune d’Aymeric après t parties jouées ; les états
possibles sont S = {0, 1, 2, . . . , N } ; la matrice de transition (dont les indices commencent
à 0) est donnée par les équations suivantes :
P0,0 = PN,N = 1; Pi,i+1 = p, Pi,i−1 = q ∀i : 1 ≤ i ≤ N − 1.
Tous les autres éléments de la matrice sont nuls.
(b) On cherche Pa {τN < τ0 } ; on va définir ui = Pi {τN < τ0 }.
Par le Lemme 1.2, on sait qu’on a le système d’équations suivant :

 ui = qui−1 + pui+1 ∀i : 1 ≤ i ≤ N − 1

u0 = 0

u = 1
N
Il s’agit d’un système d’équations linéaires avec N + 1 équations indépendantes et

N + 1 inconnues ; on peut donc trouver une solution. Évidemment, le cas général est un
peu dur à traiter ; pour en venir à bout, on va se servir d’équations de récurrence (on
dit parfois de différences finies).
En l’occurence, on remarque que p + q = 1. Dès lors, pour tous 1 ≤ i ≤ N − 1,
(p + q)ui = pui+1 + qui−1
⇒ p(ui+1 − ui ) = q(ui − ui−1 )
q
⇒ ui+1 − ui = (ui − ui−1 .
p
C’est à ce stade qu’on introduit ρ = q/p et δi = ui − ui−1 pour tous 1 ≤ i ≤ N . On
a donc :
δi+1 = ρδi = ρ2 δi−1 = · · · = ρi δ1 ;
ou, reformulé :
δi = ρi−1 δ1 .
On termine l’élucidation du mystère en remarquant
PN que δ1 = u1 − u0 = u1 car
u0 = 0. De plus, on doit avoir que uN − u0 = uN = i=1 δi = 1. Ainsi, on trouve que :
N
X
1= ρi−1 u1
i=1
N
!−1
X
⇒ u1 = ρi−1 .
i=1
PN i−1
Si on suppose que ρ = 1, alors i=1 ρ = N , et u1 = N1 . Dès lors, ua =
1 Pa i−1 = a , et la probabilité qu’Aymeric remporte toute la fortune est
N i=1 ρ N
a
Pa {τN < τ0 } = ua = .
N
Si on suppose que ρ ̸= 1, alors
N
X 1 − ρN
ρi−1 = .
1−ρ
i=1
Il suit que
1−ρ
u1 = ,
1 − ρN
et
a
1 − ρ X i−1 1 − ρa
Pa {τN < τ0 } = ua = ρ = .
1 − ρN 1 − ρN
i=1
On peut vérifier rapidement l’intuition : lorsque a = N , cette probabilité est 1.
Lorsque a = 0, cette probabilité est bien Nulle. Entre les deux, elle est croissante en a.
(c) On cherche maintenant Ea τ{0,N } , le temps d’atteinte de la région comprenant les états

0 et N ; c’est le temps où on a joué la dernière partie, puisqu’après ce temps, on arrête
de jouer.
On définit µi = Ei τ{0,N } ; Peut-on utiliser un conditionnement par le premier pas

pour obtenir un système d’équatoins pour µi ? Oui.
En effet,

µi = Ei τ{0,N }

= Ei Ei τ{0,N } X1
X
= Pi,j Ei τ{0,N } X1 = j .
j∈S
Or, encore une fois, par la propriété de Markov, une fois qu’on sait qu’on a atteint
l’état j, la loi du processus est la même que si on venait tout juste de commencer !
Autrement dit, la loi de τ{0,N } sachant que Xt = j est exactement la loi de t + τ{0,N } en
ne sachant rien (on ajoute t parce qu’on sait qu’on a au moins fait t pas avant d’arriver).
Donc,

Ei τ{0,N } X1 = j = 1 + Ej τ{0,N } .
En replaçant ceci dans notre équation précédente, on obtient :

X
µ1 = Pi,j (1 + µj )
j∈S
X
=1+ Pi,j µj .
j∈S
Spécifiquement, pour nous, cela correspond donc au système d’équations suivantes :

µi = 1 + pµi+1 + qµi−1 ∀i : 1 ≤ i ≤ N − 1

µ 0 = µN = 0
Encore une fois, pour résoudre ce système d’équations, on peut faire appel aux
techniques de résolution d’équations aux différences finies. En manipulant un peu les
équations et en notat δi = µi − µi−1 , on trouve que pour 1 ≤ i ≤ N − 1, on trouve que
dans ces cas :
1
δi+1 = ρδi − .
p
Résoudre cette récurrence est très compliqué ; néanmoins, dans le cas où p = q = 12 ,

on trouve simplement que
δi+1 = δi − 2 = δi−1 − 4 = · · · = δ1 − 2i.
Bien sûr, δ1 = µ1 puisque µ0 = 0 ; on a donc
δi = µ1 − 2(i − 1),
et
0 = µN
N
X
= δi
i=1
XN
= (µ1 − 2(i − 1))
i=1
N
X −1
= N µ1 − 2 i
i=1
= N µ1 − N (N − 1),
d’où µ1 = N − 1 et
a
X
µa = δi = a(N − 1) − a(a − 1) = a(N − a).
i=1
On a donc que Ea τ{0,N } = µa = a(N − a).

On peut donner un résultat similaire au Lemme 1.2 pour l’espérance du temps d’atteinte
et des temps de retour à l’état k à partir de n’importe où ; cette fois, on trouve les solutions
à l’aide d’un système d’équations inhomogènes (c’est à dire qu’elles ont des termes constants
non-nuls) :
l’espace d’états dénombrable S = {1, 2, 3, . . .} ; soit k ∈ S un états distincts de S. Alors,
i. on a le système d’équations suivant :
 X
 Ei [τk ] = 1 +
 Pi,j Ej [τk ] ∀i ̸= k
(1.6.5) j∈S

E [τ ] = 0.
k k
ii. De plus, Ek τk est donné par

+
X
(1.6.6) Ek τk+ = 1 +

Pk,j Ej [τk ] .
j∈S
Démonstration. La démonstration de ce lemme suit les mêmes principes que ceux

illustrés dans l’exemple 1.17. □
1.6.2. Récurrence, transience. n C’est maintenant

o le temps de se pencher sur les quan-
tités qu’on a ignorées plus haut : Pi τj < +∞ , la probabilité d’atteindre j éventuellement
+
(ou de revenir en i si j = i).

Cette quantité est d’un grand intérêt pour nous puisqu’elle sera l’une des valeurs clés
pour nous aider à décrire la dynamique de notre processus stochastique. On introduit le
vocabulaire suivant :
Définition 1.11 (Récurrence, transience). Soit X = (Xt )t≥0 une chaîne de Markov
homogène sur l’espace d’états S quelconque, et soit un état x ∈ S.
L’état x est récurrent si Px {τx+ < +∞} = 1 ; sinon, il est transient.
Remarque. Remarquer qu’on s’est replacés dans le contexte des chaînes de Markov
homogènes, pour simplifier les choses.
Dans une chaîne de Markov homogène, un état est donc récurrent si on est (presque)
sûr qu’on va y revenir lorsqu’on en part ; dans ce cas, par la propriété de Markov, une fois
qu’on y est revenu, le processus recommence – et on va donc revenir (presque sûrement) au
point de départ une nouvelle fois, et ainsi de suite.
Autrement dit, si la chaîne commence dans un état récurrent, cet état sera visité un
nomre infini de fois ; à l’inverse, si un état est transient, on le visite seulement un nombre
fini de fois, mais éventuellement, on cesse complètement d’y revenir.
Exemple 1.18. Dans l’exemple 1.10, tous les états sont récurrents ; en effet, on remarque
qu’on finit toujours par revenir éventuellement à l’état 1. On peut se convaincre assez facile-
ment que les états 2 ou 3 sont récurrents aussi ; Si on commence en 3, par exemple, on atteint
éventuellement 1, et de 1, on atteindra éventuellement 3 de nouveau. Même raisonnement
pour l’état 2.
Dans l’exemple 1.12, tous les états sont transients ; En effet, il est manifeste qu’une fois
qu’on a quité un état pour un autre, on ne peut plus y revenir. La seule exception est l’état
4, qui est récurrent.
Dans l’exemple 1.13, l’état 1 est transient ; il est évident qu’on ne peut jamais y revenir
depuis aucun autre état. Les autres états sont récurrents. En effet, si par exemple on com-
mence à l’état 2 (resp. 3, 4), on y revient forcément après avoir fait un petit tour du cycle
2, 3, 4. Même chose pour les états 5, 6 et 7.
Dans l’exemple 1.15, tous les états sont transients sauf les états 7 et 9, qui sont récurrents.
Dans l’exemple 1.17, les états 0 et N sont récurrents tandis que tous les autres sont transients.
Le nombre de visites. Comme nous l’avons déjà mentionné, une façon de distinguer
un état récurrent d’un état transient, c’est de compter le nombre de fois qu’on y revient
lorsqu’on laisse le processus évoluer indéfiniment. Nous avons déjà identifié que, pour un
état transient, le nombre de visites serait forcément infini. Nous allons maintenant utiliser
cette observation pour obtenir la proposition suivante (très utile) :
sur l’espace d’états discret S = {1, 2, 3, . . . } (fini ou dénombrable).
P (t)
L’état i est récurrent si et seulement si la série t∈N Pi,i diverge.
Démonstration. Comme annoncé plus tôt, nous allons utiliser le nombre de visites en
i pour déterminer si un état est transient est récurrent. Soit
(u)
1{Xt =i}
X
Ni =
t>u
(0)
le nombre de visites en i après le temps u. On note aussi Ni = Ni le nombre total de
visites en i.
D’une part, on a que :

∞
(t)
X X
Pi,i = Pi {Xt = i}
t∈N t=1
∞
1{Xt =i}
X
= Ei
t=1
= Ei [Ni ] .
D’autre part, on peut écrire
∞
X
Ei [Ni ] = Pi {Ni ≥ k} .
k=1
Or, pour tout k, on écrit

τi+

Pi {Ni ≥ k} = Ei Pi Ni ≥ k
∞
X
τi+ = u Pi τi+ = u

= Pi Ni ≥ k
u=1
∞ n o
(u)
X
= Pi Ni ≥ k − 1 Xu = i Pi τi+ = u
u=1
∞
X
Pi {Ni ≥ k − 1} Pi τi+ = u

=
u=1
∞
X
Pi τi+ = u

= Pi {Ni ≥ k − 1}
u=1
= Pi {Ni ≥ k − 1} Pi τi+ < +∞ .

Les deux premières égalités sont simplement une présentation de la loi des probabilités
totales. La troisième est due au fait que l’événement τi+ = u est identiquement égal à

l’événement X1 , X2 , X3 , . . . , Xu−1 ̸= i; Xu = i, et qu’on peut donc y appliquer la propriété
de Markov et ne garder que la condition que Xu = i.
L’égalité suivante est due au fait que le nombre de visites après u si on sait qu’on est en i
au temps u, c’est (par homogénéïté du processus et par la propriété de Markov) une variable
qui a la même loi que le nombre total de retours en i si on a commencé à i. Finalement, on
peut mettre le tout en évidence. La dernière égalité vient du fait que
∞
[
+ +
τi < +∞ = τi = u ,
u=1
et donc, par un axiome des probabilités, on obtient que

∞
X
Pi τi+ < +∞ = Pi τi+ = u .

u=1
Bien sûr, cette récurrence linéaire se résout facilement et on trouve :

k−1
Pi {Ni ≥ k} = Pi {Ni ≥ 1} Pi τi+ < +∞

.
Or, Pi {Ni ≥ 1} = Pi τi+ < +∞ , puisque c’est simplement la probabilité qu’on revienne

en i au moins une fois ! Donc, finalement, on a que :
k
Pi {Ni ≥ k} = Pi τi+ < +∞ .

On a donc que
∞ ∞
(t) k
X X
Pi τi+ < +∞

Pi,i = Ei [Ni ] = .
t=1 k=1
Cette série (l’espérance du nombre de visites) diverge si et seulement si Pi τi+ < +∞ =

1 ; autrement, elle converge.
(t)
Donc, par définition, la série ∞
t=1 Pi,i diverge si et seulement si l’état i est récurrent. □
P
Exemple 1.19. Dans le processus de l’exemple 1.13 (dont le graphe est présenté à la
figure 1.5), on voit clairement que pour tout k ≥ 1, on a que
(3k) (3k) (3k)
P2,2 = P3,3 = P4,4 = 1;
(t) (3k)
ce que cela signifie, c’est que forcément, ∞
P∞
k=1 P2,2 = +∞ et que la série
P
t=1 P2,2 ≥
diverge ; donc, les états 2, 3 et 4 sont récurrents. On peut voir que ça fonctionne aussi pour
les états 4, 5 et 6.
On remarque une chose importante : la récurrence et la transience des états semble

souvent pouvoir être déduites à partir d’un examen sommaire du graphe des transitions
possibles, sans avoir vraiment besoin de faire de calculs – du moins, pour les espaces d’états
finis.
Récurrence et classes d’équivalence. Ce constat nous mène à la proposition suivante :
sur l’espace d’états fini S = {1, 2, 3, . . . , n}, et soit Γ = (S, E) son graphe des transitions
possibles. Supposons de plus i, j ∈ S deux états conncetés dans Γ (c’est-à-dire que i ←→ j).
Alors, i est récurrent si et seulement si j est récurrent.
D’abord, si i et j sont connectés, cela signifie que Pi τj < τi+ > 0

Démonstration.
n o
et Pj τi < τj+ > 0.
Avec les mêmes définitions que dans la preuve de la proposition 1.8 pour Ni et Nj ,
on va raisonner par « nombres de visites » encore une fois, et obtenir une inégalité utile.
En effet, d’une part, à chaque fois qu’on visite i, on atteint visite j au moins une fois
avec probabiltié Pi τj < τi+ > 0. Donc, sachant Ni = k pour un certain k, on sait que
Nj ≥ Binom(k, Pi τj < τi+ ). Il suit que
Ei [Nj ] ≥ Pi τj < τi+ Ei [Ni ] .

Bien sûr, on sait aussi que l’espérance du nombre de visites en j partant de j est au
moins le nombre de visites en j après avoir touché i ; donc :
n o
Ej [Nj ] ≥ Pj τi < τj+ Ei [Nj ]
n o
≥ Pj τi < τj+ Pi τj < τi+ Ei [Ni ] .
Et si i est récurrent, alors Ei [Ni ] diverge, et Ej [Nj ] diverge, donc j est forcément récur-
rent aussi.
Puisque les états sont connectés, on peut inverser i et j dans le raisonnement précédent
pour obtenir une preuve similaire dans l’autre sens : si j est récurrent, alors i est récurrent
aussi. □
Et vlan ! On vient de montrer que la récurrence et la transience sont des propriétés

partagées par tous les états d’une même classe d’équivalence ! On peut pousser plus loin, et
utiliser les structures des classes d’équivalence pour déduire directement des choses sur leur
transience et leur récurrence :
sur l’espace d’états dénombrable S = {1, 2, 3, . . .}, soit Γ = (S, E) le graphe des transitions
possibles, et soit C ∈ S/ ←→ une classe d’équivalence.
i. Si C est une classe ouverte, alors ses états sont transients.
ii. Si C est une classe fermée et finie (c’est-à-dire que |C| < +∞), alors C est une classe
récurrente.
Démonstration. i Puisque C est une classe ouverte, il existe i ∈ C et j ∈
/C
tels que i → j – c’est-à-dire que Pi,j > 0.
Or, une fois en j, il est impossible de revenir dans C – autrement on pourrait
revenir en i, et j serait dans C. Donc, pour tout k ∈ C, Pj {τk < +∞} = 0
Donc, la probabilité de ne jamais revenir en i est bornée comme suit :
Pi τi+ = +∞ ≥ Pi,j > 0,

et l’état i est transient.

Puisque i est transient, tous les autres états de C sont aussi transients.
ii À l’inverse, si C est une classe fermée comprenant un nombre fini d’états, soit tous
ses états sont transients, soit ils sont tous récurrents.
On note NC = j∈C Nj , où les Ni sont défini comme dans les preuves des
P
propositions 1.8 et 1.9. On a que pour un certain i ∈ C, Ei [NC ] = j∈C Ei [Nj ].

P
Si on suppose que tous les états de C sont transients, par un raisonnement comme
dans la preuve de la proposition 1.9, on doit avoir que Ei [Nj ] < +∞ pour tous
i, j ∈ C, et, par conséquent, pour tout i ∈ C,
Ei [NC ] < +∞,
puisqu’on a seulement une somme finie de termes de la forme Ei [Nj ].
Mais par ailleurs, cela signifie que Pi {NC < +∞} = 1, ce qui est impossible ;
en effet, C état une classe fermée, une fois l’état i atteint, il est impossible de sortir
de la classe C ; donc Pi {NC = +∞} = 1. C’est une contradiction.
On conclue que les états de la classe C doivent être récurrents.
□
Au vu des propositions 1.9, 1.10 et 1.12, il vaut la peine de faire la définition suivante :
Définition 1.12 (irréductibilité). Soit X = (Xt )t∈Z+ une chaîne de Markov homogène
à temps discret sur l’espace des états dénombrable S = {1, 2, 3, . . .} (possiblement fini), et
soit Γ = (S, E) son graphe des transitions possibles.
On dit que X est irréductible si le graphe Γ n’a qu’une seule classe d’équivalence
(c’est-à-dire que Γ/ ←→= {S}).
Corollaire 1.3. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret
irréductible sur l’espace des états fini S = {1, 2, 3, . . . , n}.
Alors tous les états sont récurrents.
On remarque aussi le résultat suivant (présenté sans preuve) :

l’espace des états dénombrable S = {1, 2, 3, . . .}. Soit Γ = (S, E) le graphe des transitions
possibles pour X, et soit C ∈ Γ/ ←→ une classe d’équivalence finie récurrente.
Pour tout i ∈ C, sachant X0 = i, le processus X a exactement la loi d’une chaîne de
Markov homogène à temps discret irréductible sur l’espace des états C commençant en i.
Autrement dit, une fois qu’on se trouve dans une classe récurrente, on peut considérer
notre chaîne de Markov comme une chaîne irréductible sur seulement les états de cette classe.
La probabilité
n d’atteindre
o éventuellement un état. Vous souvenez-vous des quantités de
la forme Pi τj < +∞ mentionnées plus tôt ? C’est maintenant le temps de voir comment
+
on se débrouille avec.
sur l’espace des états dénombrable S = {1, 2, 3, . . .} (possiblement fini).
i. Si i est un état récurrent, alors on a, pour tout j ̸= i :
(
1 si i ←→ j ;
(1.6.7) Pi {τj < +∞} =
0 sinon.
ii. Si i est un état transient, et j et j ′ sont deux états récurrents avec j ←→ j ′ , alors
(1.6.8)

Pi {τj < +∞} = Pi τj ′ < +∞ .
iii. Si R ⊂ S est l’ensemble des états récurrents, et C ⊆ R est une classe d’équivalence
récurrente, alors, pour tout i ∈ S, k ∈ C, on a que Pi {/tauk < +∞} = Pi {τC < +∞}.
De plus, on a le système d’équations suivant :
 X

 Pi {τC < +∞} = Pi,j Pj {τC < +∞} ∀i ∈ / R;

j∈S

(1.6.9)
P {τ < +∞} = 0 ∀i ∈ R \ C;
 i C


Pi {τC < +∞} = 1 ∀i ∈ C.

iv. Avec les mêmes notations, si k ∈

/ R est un état transient, on a le système d’équations
suivant :
 X

 Pi {τk < +∞} = Pi,j Pj {τk < +∞} ∀i ∈
/ R, i ̸= k;

j∈S

(1.6.10)

 Pi {τk < +∞} = 0 ∀i ∈ R;

Pk {τk < +∞} = 1.

Démonstration. i D’abord, puisque i ←→ j, il existe m, n ∈ N tels que

(m) (n)
Pi,j Pj,i > 0.
On va montrer que
Pi {τj < +∞} Pj {τi = +∞} = 0;
il s’agit de la probabilité d’atteindre j partant de i, puis de subséquemment ne plus
revenir en i ; Cela doit être borné par la probabilité de ne jamais revenir en i :
Pi {τj < +∞} Pj {τi = +∞} ≤ Pi τi+ = +∞ .

Or, Pi τi+ = +∞ = 0, puisque i est récurrent. Donc, on doit avoir le produit :

Pi {τj < +∞} Pj {τi = +∞} = 0,

(m)
et puisque Pi {τj < +∞} ≥ Pi,j > 0, la seule possibilité est que Pj {τi = +∞} =
0 ; autrement dit, si i ←→ j, Pj {τi < +∞} = 1.
En faisant le raisonnement inverse, on obtient le résultat.
ii Pour j, j ′ deux états récurrents qui communiquent, on doit avoir :

Pi τj ′ < +∞ ≥ Pi {τj < +∞} Pj τj ′ < +∞ ;
La probabilité d’atteindre j ′ à partir de i est au moins la probabilité d’atteindre
d’abord j, puis ensuite j ′ . Or, on vient de voir que Pj τj ′ < +∞ = 1.
En renversant le raisonnement, on trouve donc

Pi τj ′ < +∞ = Pi {τj < +∞} ,
ce qu’il fallait démontrer.
iii, iv La preuve de ces deux systèmes d’équations est entièrement analogue aux preuves
du lemme 1.2 ; il s’agit simplement d’un conditionnement par le premier pas.
□
1.6.3. Périodicité. Une autre propriété importante des états est leur périodicité ; des
états dits « périodiques » sont des états qui, même à long terme, sont « périodiquement ac-
cessibles » ; c’est-à-dire qu’on ne peut y revenir qu’après des multiples d’un certain intervalle
de temps. On fait la définition suivante :
Définition 1.13 (Période, périodicité). Soit X = (Xt )t∈Z+ une chaîne de Markov ho-
mogène à temps discret sur l’espace d’états dénombrable S = {1, 2, 3, ...} (possiblement
fini).
On dit que la période de l’état i – notée d(i) – est donnée par
n o
(n)
(1.6.11) d(i) = pgcd n ∈ N : Pi,i > 0 .
(n)
Les états dont la période est 1 et les états pour lesquels Pi,i = 0 pour tout n ∈ N sont
dits apériodiques ; les autres sont périodiques.
Si Γ = (S, E) est le graphe des transitions possibles pour i, et Ci l’ensemble des cycles du
graphe Γ qui passent par i ; si de plus on note |C| la longueur d’un cycle pour tout C ∈ Ci ,
alors la période de i est égale au PGCD des longueurs de tous les cycles de Ci :
(1.6.12) d(i) = pgcd {|C| : C ∈ Ci }
Exemple 1.20. Dans l’exemple 1.10, l’état 1 est apériodique ; en effet, P1,1 > 0, ce qui
signifie que d(1) ≤ 1. Mais comme d(1) ≥ 1, d(1) = 1. De même pour l’état 2. L’état 3 est
également apériodique en effet, selon le graphe des transitions possibles (figre 1.3), on voit
(2) (3)
que P3,3 > 0 (il est possible de revenir à 3 en deux pas), mais P3,3 > 0 aussi (il est possible
de revenir à 3 en 3 pas, par exemple par le chemin 3 → 1 → 1 → 3).
Dans l’exemple 1.12, tous les états sont apériodiques, car pour tout i, Pi,i > 0.
(n)
Dans l’exemple 1.13, l’état 1 est apériodique puisque P1,1 = 0 pour tout n ≥ 1 ; une
fois partis de 1, on n’y retourne jamais. Les états 2, 3 et 4 sont périodiques de période 3. En
effet, la seule façon de revenir en 2 est par le cycle 2 → 3 → 4 → 2 (et resp. pour 3 et 4).
De même, dans cet exemple, les états 4, 5 et 6 aussi périodiques, de période 3.
Dans l’exemple 1.15, (figure 1.7), les états 7 et 9 sont apériodiques. Les autres sont de
période 2 ; en effet, on remarque que le graphe des transitions possible est biparti ; tous les
cycles qui reviennent à leur point de départ (autre que 7 et 9) sont de longueur paire (donc
le PGCD est 2).
Même chose pour l’exemple 1.17 : tous les états sauf 0 et N sont périodiques de période
2. Les états 0 et N sont apériodiques.
La périodicité est une autre propriété que partagent les états de même classe d’équiva-
lence :
sur l’espace d’états dénombrable S = {1, 2, 3, . . .} (possiblement fini). Soit Γ = (S, E) son
graphe des transitions possibles, et soient i, j ∈ S deux états connectés (c’est-à-dire que
i ←→ j).
Alors, d(i) = d(j).
Démonstration. Puisque i et j sont connectés, il existe C un cycle qui passe par i et
par j.
Puisque le cycle C passe par i et par j, on a que |C| est un multiple de d(i) et de d(j).
Supposons Ci un cycle quelconque qui passe par i. La concaténation 12 de C avec Ci
(notée C → Ci ) est elle-même un cycle qui passe aussi par i et j. Donc, on doit aussi
avoir que |C → Ci | est un multiple de d(i) et d(j). Mais alors, |Ci |, la longueur du cycle Ci
lui-même, donnée par |Ci | = |C → Ci | − |C| doit aussi être un multiple de d(i) et d(j).
Donc, pour tout cycle Ci passant par i, on a que |C| est un multiple de d(j) et de d(i)
– c’est à dire que d(j) est un commun diviseur des longueurs de tous les cycles qui passent
par i. On a donc que d(j) ≤ d(i) ; en effet, d(i) est le plus grand commun diviseur.
Par le raisonnement inverse, on voit que d(i) ≤ d(j). Donc, d(i) = d(j). □
1.7. Le théorème ergodique et la distribution stationnaire.

On arrive maintenant à l’un de nos objectifs énoncés à la section 1.2 – identifier le
comportement à long terme de notre chaîne de Markov. Pour rappel : on s’intéresse à la
limite de la distribution de Xt quand t tend vers l’infini. Comme Xt est une variable discrète
(dans le contexte d’une chaîne sur un espace d’états discret), cela correspond à identifier un
12. La concaténation de deux chemins est le chemin qui résulte quand on met ces deux chemins « bout-
à-bout ». Voir la définition A.4 v
1.7. LE THÉORÈME ERGODIQUE ET LA DISTRIBUTION STATIONNAIRE. 47
comportement à la limite pour la fonction de masse de Xt (étant donné une distribution

initiale) ; donc, trouver un comportement-limite pour les quantités
(t)
Pi {Xt = j} =: Pi,j .
1.7.1. La distribution stationnaire. Notre première étape, c’est de faire un petit

peu d’analyse ; et si il y avait une solution simple ?
On se penche sur l’équation (1.4.7) – la revoici, pour rappel, dans le contexte où X =
(Xt )t∈Z+ est une chaîne de Markov homogène à temps discret sur l’espace discret d’états S,
avec les matrices de transition usuelles :
X
(1.4.7) (s+t)
Px,y = (s) (t)
Px,z Pz,y .
z∈S
En particulier, un examen sommaire de cette équation permet de déduire presque im-
médiatement que :
X
(†) (t+1)
Px,y = (t)
Px,z Pz,y .
z∈S
(t)
Si on suppose que la limite de Px,y existe pour toute paire x, y lorsque t tend vers l’infini,
et que, de plus, on suppose que cette limite est indépendante de la distribution initiale, et
que
(t)
lim Px,y = πy ,
t→∞
alors en employant le théorème de convergence dominée 13 avec (†), en plus de la condition
de normalisation (l’équation (1.4.6)), alors on doit avoir le système d’équations suivant :
 X

 πy = πx Px,y ∀y ∈ S;

x∈S
X
 1= πx


x∈S
Il s’avère que les solutions à ce système d’équations sont d’un intérêt tout particulier
pour nous ; c’est pour cela que nous leur donnons un nom : les distributions stationnaires :
Définition 1.14 (Distribution stationnaire). Soit X = (Xt )t∈Z+ une chaîne de Markov
homogène à temps discret sur l’espace d’états discret (dénombrable) S, avec sa famille des
probabilités de transition en un pas P = (Px,y )(x,y)∈S 2 .
Une distribution stationnaire pour X est une famille π = (πx )x∈S indicée par les
états S qui satisfait le système d’équations suivant :
 X

 π y = πx Px,y ∀y ∈ S;

x∈S
(‡) X
 1= πx


x∈S
De façon plus générale, on dira que π est un vecteur stationnaire si il satisfait toutes
les équations dans (‡) sauf la dernière (la condition de normalisation).
13. Il s’agit d’un résultat très utile de la théorie de la mesure et de l’intégration de Lebesgue ; consulter
l’annexe la section B.1 de l’annexe B pour en apprendre plus à ce sujet.
Remarque. Une chaîne de Markov X peut possiblement avoir plus d’une distribution
stationnaire, selon que le système d’équations (‡) admet une ou plusieurs solutions. Elle
pourrait également n’avoir aucune solution stationnaire. Nous verrons un peu plus loin à
quelles conditions une distribution stationnaire.
La distribution stationnaire est appelée ainsi parce que si, au temps t, la distribution de
la variable Xt est stationnaire (le vecteur de masses x(t) est une distribution stationnaire),
alors elle le sera aussi pour tous les temps u ≥ t ; une fois atteinte, elle ne change plus.
Dans le cas spécifiqu où on considère un espace d’états fini S = {1, 2, 3, . . . , n}, la famille
des probabilités de transition en un pas P = (Px,y )x,y∈S est en fait une matrice n × n.
Si on voit une distribution stationnaire π = (πx )x∈S comme un vecteur-ligne (dans
R1×n ), alors le système d’équations (‡) se réduit à :
π = πP

(‡)
π · 1n = 1.
Attention!. Le vecteur π est un vecteur-ligne, pas un vecteur-colonne. La multiplica-
tion par la matrice est par la droite, puisque l’expression P π n’aurait pas de sens – en effet,
les formats des matrices P et π sont incompatibles.
1.7.2. Théorème ergodique. Alors ? Peut-on dire qu’on a trouvé la distribution-
limite pour Xt ? Non.
Souvenez-vous : on a commencé la section 1.7.1 avec l’importante supposition que la
(t)
limite de Px,y existe pour toute paire x, y ∈ S ; est-ce vrai ? On a également assumé que
la distribution-limite était indépendante de l’état de départ. Ça aussi, c’est une hypothèse
importante qui, a priori, n’est pas évidente à démontrer. Et pour cause : parfois, c’est faux !
Exemple 1.21. On considère la chaîne de Markov X = (Xt )t∈Z+ à temps discret et
homogène, sur l’espace des états S = {1, 2, 3}, avec la matrice des probabilités de transition
en un pas :
 
0 1 0
P = 0 0 1  .
1 0 0
(a) Calculer P (2) et P (3) .

(b) Trouver une distribution stationnaire. Est-elle unique ?
(t)
(c) Est-ce que limt→∞ Pi,j existe pour de quelconques i et j dans S ?
(d) Qu’est-ce qui fait que ça ne fonctionne pas ?
Solution. (a) On a
 
0 0 1
P (2) = 1 0 0  P (3) = I3 .
0 1 0
(b) On doit avoir

π = πP,
, c’est à dire que 

π1 = π2 ;

π2 = π3 ;

π = π ,
3 1
ce qui signifie que π1 = π2 = π3 . Avec en plus la condition de normalisation, on doit
donc avoir
1
π1 = π2 = π3 = ,
3
et c’est la seule solution possible.
(3k)
(c) Non. En effet, les états sont périodiques ; pour tout i, on a que Pi,i = 1 tandis que
(3k+1) (3k+2)
Pi,i = Pi,i = 0 ; cette limite ne converge donc pas vers 13 , malgré qu’il s’agit de
la distribution stationnaire.
Exemple 1.22. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur
l’espace des états S = {1, 2, 3, 4, 5, 6, 7} avec la matrice de transition en un pas
 
1/7 1/7 1/7 1/7 1/7 1/7 1/7
 1 0 0 0 0 0 0 
 
 0 0 0 1 0 0 0 
 
P =  0 0 0 0 1 0 0 .
 0 0 1 0 0 0 0 
 
 0 0 0 0 0 1/4 3/4
0 0 0 0 0 3/4 1/4
(a) Tracer le graphe des transitions possibles.
(b) Identifier les classes d’états et leurs propriétés (récurrence/transience, période).
(c) Y a-t-il plus d’une distribution stationnaire possibles ?
(d) Est-ce que la distribution limite dépend de l’état initial ici ?
Solution. (a) Le graphe est reproduit à la figure 1.8.
(b) Il y a trois classes d’états :
– Les états 1 et 2 sont transients car ils forment une classe ouverte. Ils sont apério-
diques (puisque P1,1 > 0).
– Les états 3, 4 et 5 sont récurrents puisqu’ils forment une classe fermée. Ils sont
périodiques avec période 3 (la seule chaîne possible pour revenir en 3 est 3 → 4 →
5 → 3).
– Les états 6 et 7 sont récurrents puisqu’ils forment une classe fermée. Ils sont apé-
riodiques puisque P6,6 > 0.
(c) Oui. On remarque que π (1) = (0, 0, 1/3, 1/3, 1/3, 0, 0) et π (2) = (0, 0, 0, 0, 0, 0, 1/2, 1/2)
sont tous les deux des distributions stationnaires ; puisqu’on a affaire à un système
d’équations linéaires, toutes les combinaisons linéaires de ces deux solutions sont égale-
ment des solutions stationnaires. En particulier, si p ∈ (0, 1),
π = pπ (1) + (1 − p)π (2)
est aussi forcément une distribution stationnaire.
Il existe donc une infinité de distributions stationnaires correspondant aux différentes
valeurs du paramètre p.
(d) Bien sûr. Si on commence en 3, 4 ou 5, la distribution-limite n’existe pas ; si on commence

en 6 ou en 7, elle existe peut-être mais il est impossible qu’elle donne du poids aux états
3, 4 ou 5. Si on commence en 1 ou en 2, c’est encore différent, puisqu’on pourrait finir
soit dans la classe de l’état 3, ou dans celle de l’état 6.
3
6
4 1
7
5 2

de l’exemple 1.22
On va maintenant tenter de répondre à trois questions :

(t)
i. Pour quels états x, y la limite limt→∞ Px,y existe-t-elle ?
ii. Ces limites (ou leur existence) dépendent-elles de x ? Dans quels cas ?
iii. Dans le cas où la limite existe, à quoi cette quantité correspond-t-elle ?
On peut déjà répondre à la première question partiellement :
Proposition 1.13. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps dis-
cret sur l’espace des états discret S (dénombrable, possiblement infini). Soit y ∈ S un état
transient, et x ∈ S.
Alors,
(1.7.1) (t)
lim Px,y = 0.
t→∞
Démonstration. Dans le cas où x = y, on a que, puisque y est transient, on doit avoir

que
∞
X
(u)
Py,y < +∞;
u=1
(t)
ceci implique directement que limt→∞ Py,y = 0.
Dans le cas où x ̸= y, avec x → y (c’est-à-dire que y est accessible depuis x), on considère
∞
X
(u)
Px,y = Ex [Ny ] ,
u=1
le nombre de visites à y si on part de x. On voit que, à condition d’atteindre y (avec
probabilité Px τy+ < +∞ , ça doit être la même espérance que si on part de y directement ;
autrement dit :
∞
X ∞
X
(u)
= Px τy+ < +∞ Ey [Ny ] = Px τy+ < +∞ (u)

Px,y Py,y ,
u=1 u=1
(t)
et donc, il faut forcément que Px,y tende aussi vers 0, puisque cette série doit aussi converger.
(t)
Dans le cas où x ̸→ y, naturellement, Px,y = 0 pour tout t.
(t)
Donc, dans tous les cas, on a limt→∞ Px,y = 0. □
Donc, on a déjà un élément de réponse ; pour tous les états transients, la limite existe –
elle est nulle et ne dépend pas de la condition initiale.
Reste les états récurrents ; là, ça va être un peu plus difficile. On va revenir à notre
première question à la fin ; pour l’instant, on peut répondre à la deuxième :
sur l’espace des états des états discret S (dénombrable, possiblement infini). Soient y ∈ S
un état récurrent et apériodique.
Alors, on a que pour tout x ∈ S connecté à y dans le graphe des transitions possibles
(c’est-à-dire que x ←→ y), on a que
(1.7.2) (t)
lim Px,y (t)
− Py,y = 0.
t→∞
(t) (t)
En particulier, si limt→∞ Py,y existe, alors limt→∞ Px,y existe pour tout x connecté à y
dans le graphe des transitions possibles ; de plus, ces limites sont égales.
Démonstration. Sans perdre de généralité, nous allons assumer que la chaîne X est
irréductible.
Pour faire cette preuve, nous allons procéder par un argument de couplage – plutôt que
de travailler directement sur la chaîne X, nous allons créer une autre chaîne de Markov,
dont X sera « une composante ».
Partie 1 : Le couplage. On introduit d’abord la chaîne Y = (Yt )t∈Z+ , indépendante
de X, et ayant exactement la même loi (c’est à dire les mêmes probabilités de transition
en un pas). Intuitivement, c’est comme si on avait deux « copies indépendantes » de notre
processus, et qu’on suivant simultanément l’évolution des deux.
En soi, cela est un nouveau processus – appelons-le Z = (Zt = (Xt , Yt ))t∈Z+ . Que peut-on
dire sur Z ?
Pour commencer, l’espace des états de Z est S 2 – l’ensemble des couples d’états (x, y)
où x et y sont des états de S.
Quelles sont les de Z ? Pour éviter la confusion, nous allons noter la famille des probabili-
(t)
tés de transition après t unités de temps Q(t) = (Qx,y )x,y∈S 2 , où x = (x1 , x2 ) et y = (y1 , y2 )
sont des états possibles de Z (dans S 2 ) ; c’est à dire que x1 , x2 , y1 ety2 sont dans S.
Puisque X et Y sont indépendantes, on doit avoir que pour tous t ≥ 0 et pour tous
x = (x1 , x2 ), y = (y1 , y2 ) ∈ S 2 ,
(t)
Qx,y = P {Xt = y1 , Yt = y2 | X0 = x1 , Y0 = x2 }
= P {Xt = y1 | X0 = x1 } P {Yt = y2 | Y0 = x2 }
= Px(t) P (t) .
1 ,y1 x2 ,y2
On cherche maintenant à déterminer deux choses importantes.

– Est-ce que la chaîne Z est irréductible ? Ça serait utile.
– Est-ce que la chaîne Z est apériodique ? Ça serait aussi utile.
Pour que la chaîne Z soit irréductible, il suffit qu’il existe, pour tous x = (x1 , x2 ) et
(t)
y = (y1 , y2 ) dans S 2 un certain t ∈ N tel que Qx,y > 0 ; ça voudrait dire que le graphe des
transitions possibles admet un chemin de tout état dans S 2 à tout autre état dans S 2 . Pour
que Z soit apériodique en plus, il suffira de trouver pour tous x, y ∈ S 2 un N (x, y) tel que
(t)
si t > N , alors Qx,y > 0.
Puisque X (et donc Y aussi) est apériodique, pour tous x, y ∈ S (souvenez-vous qu’on
assume que X est irréductible – sinon, c’est pour tous x connectés à y), il existe un N (x, y)
tel que pour tous t > N (x, y), on a que
(t)
Px,y > 0.
En particulier, si x = (x1 , x2 ) et y = (y1 , y2 ) sont deux états dans S 2 , on peut prendre
N (x, y) = max {N (x1 , y1 ), N (x2 , y2 )} .
Dès lors, si t > N (x, y), on a que t > N (x1 , y1 ) et t > N (x2 , y2 ), ce qui implique immédia-
tement :
(t)
Qx,y = Px(t) P (t) > 0,
1 ,y1 x2 ,y2
et on a donc que Z est bel et bien irréductible et apériodique.
Partie 2 : L’argument. On fixe x ∈ S et y ∈ S. À partir d’ici, on va noter x = (x, y)
et y = (y, y) ; ce sont deux états de S 2 qui sont particulièrement intéressants pour nous.
Il va y avoir deux cas à considérer :
– Soit l’état y est récurrent (et donc tous les états de S 2 sont récurrents) ;
– soit l’état y est transient.
Si y est transient, alors pour tous x, y ∈ S, avec x = (x, y), on a que
(t) (t) (t)
Qx,x = Px,x Py,y → 0,
(t)
et en particulier, on devra donc avoir (Px,x )2 → 0 pour tout x ∈ S lorsque t tend vers
(t)
l’infini ; tant que Px,y converge aussi vers 0, ça va.
(t) (t) (t)
Or, Q(x,x),(y,y) = (Px,y )2 ; supposons que Q(x,x),(y,y) ne converge pas vers 0. Alors, il
(t )
existe ϵ > 0 et une suite strictement croissante de temps tk telle que Q(x,x),(y,y)
k
> 0;
Si N(y,y) = u=1 1{Zt =(y,y)} le nombre de visites en (y, y) par Z, alors
P∞
∞ ∞
X (u)
X
E(x,x) N(y,y) = Q(x,x),(y,y) > ϵ = +∞,
u=1 k=1
et l’état (y, y) est récurrent, ce qui est contradictoire.
(t) (t) (t)
Donc, on doit avoir que Q(x,x),(y,y) = (Px,y )2 tend vers 0, et donc il faut aussi que Px,y
tende vers 0 pour tous x ∈ S.
Si y est récurrent, alors il y a plus de travail.
On considère maintenant
τy+ = inf {t ∈ N : Zt = (Xt , Yt ) = (y, y) = y} .
Il s’agit du temps du premier retour simultané en y pour X et Y. Puisque y est récurrent
(et donc x aussi, vu qu’ils communiquent), on a bien sûr que Px τy+ < +∞ = 1.
Une première remarque à faire, c’est que l’on a :
+
τy = u = {Z0 , Z1 , Z2 , . . . , Zu−1 ̸= y; Zu = y} ;
donc, par la propriété de Markov et l’homogénéité de X et Z, et l’indépendance de X et Y,

on a que pour tout t, u ∈ Z+ avec t ≥ u, on a :
Px Xt = y τy+ = u = Px {Xt = y | Xu = y} = Py,y (t−u)
= Px Yt = y τy+ = u .

On remarque d’abord que

(t)
Px,y = Px {Xt = y}
X
= Px Xt = y, τy+ = u .
u≥1
en vertu de la loi des probabilités totales.
On va séparer la sommation en deux portions : les termes où u ≤ t, et les termes où
u>t:
Xt X∞
(t) +
Px Xt = y, τy+ = u .

Px,y = Px Xt = y, τy = u +
u=1 u=t+1
Nous allons borner ces termes séparément.
Tout d’abord, on a que
t
X t
X
+
τy+ = u Px τy+ = u

Px Xt = y, τy = u = Px Xt = y
u=1 u=1
∞
X
τy+ = u Px τy+ = u

≤ Px Yt = y
u=1
∞
X
Px Yt = y, τy+ = u

=
u=1
(t)
= Px {Yt = y} = Py,y .
D’autre part, on a que
X∞ ∞
X
Px Xt = y, τy+ = u ≤ Px τy+ = u = Px τy+ > t .

u=t+1 u=t+1
Finalement, tout ensemble, on obtient donc :
(t) (t)
+ Px τy+ > t ,

Px,y ≤ Py,y
(t)
et en faisant un argument analogue pour Py,y avec la chaîne Y, on obtient également
(t) (t)
+ Px τy+ > t .

Py,y ≤ Px,y
En mettant ces deux inéquations ensemble, on trouve que
(t) (t)
≤ Px τy+ > t ,

Px,y − Py,y
et, en prenant la limite lorsque t tend vers l’infini, on trouve :
(t) (t)
≤ Px τy+ = +∞ = 0;

lim Px,y − Py,y
t→∞
on complète la preuve par le théorème de la sandwich. □
Remarque. On avait déjà réglé la question pour les états y transients ; la limite existe
aussi, et elle ne dépend pas non plus de la condition initiale.
On s’attaque maintenant au plus gros morceau : que peut-on dire sur les états récurrents ?
sur l’espace des états discret S (dénombrable, fini ou non). Soit y ∈ S un état récurrent
apériodique.
Alors,
i. si Ey τy+ < +∞, on a que

1
(1.7.3) (t)
lim Py,y = + ;
t→∞ Ey τy
ii. si Ey τy+ diverge, on a que

(1.7.4) (t)
lim Py,y = 0.
t→∞
Démonstration. Prologue : Un peu d’intuition. La preuve qui suit est longue et
assez subtile. Avant de se lancer dedans, je voudrais donner au moins un peu d’intuition
pour justifier ce résultat
possiblement surprenant.
La quantité Ey τy+ représente le temps qu’il faut, en moyenne, pour revenir à y lorsqu’on
en part. Vu sur un long intervalle de temps, si y est un état récurrent, on va y revenir
tout le temps ; c’est donc (modulo des
variations aléatoires) « un peu comme un processus
dynamique périodique » – et Ey τy+ , avec l’homogénéité du processus, et la propriété de
Markov, ça nous donne la « période », c’est à dire le temps qu’il faut pour revenir, ou le
« nombre d’unités de temps par retour en y »
(t)
Quelle relation avec Py,y ? Eh bien, on a déjà vu que
t
1 X (t) 1 (t)
Py,y = Ey Ny ,
t t
u=1
(t) (t)
où Ny est le nombre de retours en y jusqu’au temps t ; à la limite, Ny représente la
« fréquence » à laquelle on revient, ou le « nombre de retours par unités de temps ». Il
est donc naturel d’imaginer qu’il y aurait une relation de proportionalité inverse entre les
(t)
probabilités Py,y à la limite, et Ey τy+ – puisque dans tout système périodique, la période

est l’inverse de la fréquence.
En théorie des processus stochastiques, des événements qui reviennent « stocha-périodiquement » 14,
on appelle ça des renouvellements.
Étape 1 : L’équation du renouvellement. Notre première étape, ça va être d’obtenir
une équation « simple » dont on pourra prendre une limite, au moment opportun (et en
faisant très très attention).
L’équation du renouvellement est l’affirmation mathématique simple que « la probabilité
qu’il y ait un renouvellement après le temps t est de 1. » Puisque l’état y est récurrent, c’est
trivialement vérifié, bien sûr.
Ce qu’il y a de particulier, c’est la façon dont on va l’écrire, cette probabilité. On va
la disséquer selon la valeur d’un temps aléatoire un peu particulier : le temps du dernier
renouvellement avant t.
On définit
Tt = sup u ∈ Z+ : 0 ≤ u < t, Xu = y ,

14. C’est un mot de mon invention, allez pas dire des affaires comme ça dans des colloques ; ils vont rire
de vous !
le temps du dernier retour en y strictement avant t. Puis, on définit

τy(t) = inf u ∈ Z+ : u ≥ t, Xu = y .

(0) (1) (t)

On reconnaîtra τy = τy et τy = τy+ . De façon générale, τy est le temps du premier
(t)
retour en y après t. Si vous avez suivi : ça veut dire que Tt et sont des renouvellements
τy
consécutifs ; l’un avant t, l’autre après t (inclus).
Comme mentionné précédemment, l’équation du renouvellement, c’est simplement ça :
n o
Py τy(t) < +∞ = 1.
Mais on développe en conditionnant par rapport à la valeur de Tt :
n o
1 = Py τy(t) < +∞
t
X n o
= Py Tt = t − u, τy(t) < +∞ .
u=1
Et c’est ici qu’on fait le tour de magie : observez que
n o n o
Tt = t − u, τy(t) < +∞ = Xt−u = y, t ≤ τy(t−u+1) < +∞ ;
en effet, si on sait qu’on était en y au temps t − u, et que le premier renouvellement après
t − u + 1 a eu lieu après le temps t, alors forcément
– d’une part, t − u était, effectivement le dernier renouvellement ;
– d’autre part, le premier renouvellement après t aura lieu éventuellement.
On a donc finalement
X t n o
1= Py Tt = t − u, τy(t) < +∞
u=1
Xt n o
= Py Xt−u = y, t ≤ τy(t−u+1) < +∞
u=1
t
X n o
= Py τ (t−u+1) ≥ t Xt−u = y Py {Xt−u = y}
u=1
(t−u+1)
Par la propriété de Markov, on a que, sachant que Xt−u = y, la loi de τy est la
même que celle de t − u + τy+ ; en fait, on a
n o
Py τ (t−u+1) ≥ t Xt−u = y = Py τy+ ≥ u .

(t−u)
D’autre part, Py {Xt−u = y} = Py,y , évidemment.
Donc, finalement, on se retrouve avec l’équation du renouvellement, sous sa forme finale :
t
X
(t−u)
Py τy+ ≥ u = 1...

Py,y
u=1
Enfin, presque. On va utiliser une dernière petite astuce, qui nous aidera plus tard : on va
transformer la sommation (dont une borne dépend de t) en une série (dont les bornes sont
constantes). Comment ?
On rajoute simplement un facteur 1{u≤t} , qui vaut 1 si u ≤ t, et 0 sinon :

t ∞
1{u≤t} Py,y
X X
(†) (t−u)
Py τy+ ≥ u = (t−u)
Py τy+ ≥ u = 1.

Py,y
u=1 u=1
Et voilà ! L’équation du renouvellement.
Étape 2 : Trouver la limite pour une sous-suite convergente. Ça pourrait sembler
anodin, comme ça. Mais le défi, c’est qu’à priori, on ne sait pas que la limite existe. Il faut
faire la preuve nous-même !
(t)
Par contre, on sait que la suite Py,y est bornée – forcément, puisque ce sont des probabi-
lités. On a donc immédiatement le résultat suivant : cette suite admet une limite supérieure
et une limite inférieure. 15
(t)
On va donc définir λ = lim supt→∞ Py,y .
(t )
Bien sûr, il existe forcément une sous-suite Py,yk (où les tk sont une suite strictement
croissante d’entiers positifs) telle que
(tk )
lim Py,y = λ.
k→∞
Comme
+
y est apériodique, on peut sans perdre de généralité supposer que Py,y =
Py τy = 1 > 0.
(t −1)
On va montrer que limk→∞ Py,yk = λ aussi ; en effet, on considère l’équation suivante :
tk
X
(tk )
Py Xtk = y, τy+ = u

Py,y =
u=1
Xtk
τy+ = u Py τy+ = u .

= Py Xtk = y
u=1
On a que
τy+ = u = {X1 , X2 , X3 , . . . , Xu−1 ̸= y; Xu = y} ,

et, par homogénéité et par la propriété de Markov, on obtient que

(tk −u)
Py Xtk = y τy+ = u = Py {Xtk = y | Xu = y} = Py,y

.
On obtient donc
tk
X
(tk −u)
(‡) (tk )
Py τy+ = u Py,y

Py,y = .
u=1
En prenant la limite inférieure de part et d’autre, on trouve :
∞
X
(tk −1) (tk −u)
λ ≤ Py τy+ = 1 lim inf Py,y Py τy+ = u lim sup Py,y

+ ,
t→∞ t→∞
u=2
(t −u) (t −u) (t)
mais bien sûr, on a que lim supt→∞ Py,yk ≤ λ, puisque Py,yk est une sous-suite de Py,y
pour tout u.
Finalement, on trouve donc :
(tk −1)
λ ≤ Py τy+ = 1 lim inf Py,y + λPy τy+ > 1 ,

k→∞
15. Consulter la section B.2 de l’annexe B au besoin.

ou, en réarrangeant :
(tk −1) (tk −1)
lim sup Py,y ≤ λ ≤ lim inf Py,y ,
k→∞ k→∞
et on obtient immédiatement
(tk −1)
lim Py,y = λ.
k→∞
Par induction, on déduit que
lim P (tk − u)y,y = λ,
k→∞
pour tout u ≥ 1.
On utilise maintenant notre équation (†) – l’équation du renouvellement.
On distingue maintenant les deux cas :
i Ey τy+ < +∞. Dans ce cas, on a bien sûr que

∞
X
Ey τy+ = Py τy+ ≥ u .

u=1
On peut utiliser le théorème de convergence dominée pour prendre la limite ;

on trouve que
∞
1{u≤tk } Py,y
X
(tk −u)
Py τy+ ≥ u

1 = lim
k→∞
u=1
∞
X
Py τy+ ≥ u

=λ
u=1
= λEy τy+ ,

d’où on tire que

(tk ) 1
lim Py,y = + .
k→∞ Ey τy
ii Ey τy diverge. Dans ce cas, on ne peut pas utiliser directement le théorème de

+

convergence dominée ; il faut user d’un peu de ruse.
On commence par fixer un n ∈ N ; pour tk > n, on a bien sûr que
tk
X n
X
(tk −u) (tk −u)
+
Py τy+ ≥ u Py,y

Py τy ≥ u Py,y ≥ ;
u=0 u=1
Bien sûr, en utilisant l’équation du renouvellement (†), on trouve que

n
X
(tk −u)
Py τy+ ≥ u Py,y

1 ≥ lim inf
k→∞
u=1
n
X
Py τy+ ≥ u .

≥λ
u=1
Mais évidemment, puisque Ey τy+ diverge, on peut obtenir une somme nu=1 Py τy+ ≥ u
P
arbitrairement grande en choisissant n comme on veut ; la seule façon de s’en tirer,
c’est qu’on doit avoir λ = 0 ; on en tire donc
(tk )
lim Py,y = 0.
k→∞
Étape 3 : La conclusion. On y est presque !

(t)
Ce qu’on a montré, c’est que : si λ = lim supt→∞ Py,y , alors
si Ey τy+ converge;
( 1
Ey [τy+ ]
λ=
0 sinon.
On peut également refaire une preuve en tout point similaire pour montrer la même
chose pour la limite inférieure ; il suit donc que
si Ey τy+ converge;
( 1
(t) Ey [τy+ ]
lim Py,y = .
t→∞ 0 sinon.
□
Corollaire 1.4. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret
sur l’espace des états discret S, et soit y ∈ S un état récurrent apériodique.
Alors, pour tout x ∈ S connecté à y, on a que
( 1 +
+ si Ey τy < +∞;
(1.7.5) (t)
lim Px,y = Ey [τy ]
t→∞ 0 sinon.
Démonstration. Il suffit d’appliquer la propositions 1.15 et 1.14. □
OUF ! Grosse preuve, technique, subtile, désagréable... Souvenons-nous de ce qu’on était

en train de faire : on était en train d’essayer d’identifier les cas où la distribution-limite
existe ; à date, ce qu’on a montré, c’est que :
– Pour les états transients, la limite existe tout le temps, indépendamment de la
condition initiale (Proposition 1.13) ;
– Si la limite existe pour l’état y partant de y, elle existe aussi pour toutes les condi-
tions initiales au départ des états dans la même classe que y, et toutes ces limites-là
sont égales entre elles (Proposition 1.14) ;
– La limite existe pour les états récurrents apériodiques (Proposition 1.15)
À date, ça couvre tout, sauf les états récurrents périodiques. On fait la proposition
suivante :
Proposition 1.16. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps dis-
cret sur l’espace des états discret S (fini ou dénombrable), et soit y ∈ S un état récurrent
périodique de période d > 1.
i. Si Ey τy+ diverge, on a que

(1.7.6) (t)
lim Py,y = 0.
t→∞
ii. Si Ey τy +

< +∞, on a que
t
1 X (u) 1 (t) 1
(1.7.7) lim Py,y = lim Ey Ny = + ,
t→∞ t t→∞ t Ey τy
u=1
(t)
1{Xu =y} est le nombre de retours en y jusqu’au temps t inclus.
Pt
où Ny = u=1
Démonstration. Étape 1 : la chaîne « dé-périodisée » . On considère Y = (Yt =

Xdt )t∈Z+ ; il s’agit d’une chaîne de Markov homogène à temps discret sur l’espace des états
S. Intuitivement, Y est la même chaîne que X, mais si on ne l’observe qu’après toutes les
d unités de temps. On va appeler Q(t) a famille des probabilités de transition en t pas de
temps ; on a évidemment que pour tous x, y ∈ S,
Q(t) (dt)
x,y = Px,y .
(t)
Puisque l’état y est de période d > 1 pour la chaîne X, cela signifie que si Py,y > 0, alors
il existe k ∈ Z+ tel que t = dk. En particulier,
X∞ X∞ X∞
(t) (dk)
Py,y = Py,y = Q(t)
y,y .
t=1 k=1 t=1
(t) (t)
Puisque y est récurrent pour X, alors diverge. Donc, t≥1 Qy,y diverge aussi, et
P P
t≥1 Py,y
y est récurrent également pour Y. De plus, si on suppose que y est de période dY pour la
chaîne Y, alors y serait de période ddY pour la chaîne X – on doit donc avoir que dY = 1 ;
y est apériodique pour la chaîne Y.
Il est clair que τy+ est un multiple de d également. En effet, pour tout t non-multiple de
d,
Py τy+ = t ≤ Py,y (t)

= 0.
On définit
τy+,(Y) = inf {t ∈ N : Yt = Xdt = y}
le temps du premier retour en y dans la chaîne Y. On a directement
1
τy+,(Y) = τy+ ;
d
h i
+,(Y)
la conséquence, c’est bien sûr que Ey τy < +∞ si et seulement si Ey τy+ < +∞.

i Si Ey τy+ diverge, la preuve est relativement simple ; pour tout t non-multiple de

(t)
d, on a que Py,y = 0. Donc,
(t)
lim inf Py,y = 0.
t→∞
(t)
On a également que, puisque les seuls termes non-nuls de la suite (Py,y )t∈Z+
sont ceux où t est multiple de d, alors
(t) (dt)
lim sup Py,y = lim sup Py,y .
t→∞ t→∞
Par ailleurs, on a que
(dt)
lim sup Py,y = lim Q(t)
y,y
t→∞ t→∞
= 0,
h i
+,(Y)
en vertu de la Proposition 1.15 puisque Ey τy diverge également.
(t)
Donc, limt→∞ Py,y = 0.
h i
+,(Y)
ii Si Ey τy+ < +∞, alors on a également que Ey τy = d1 Ey τy+ < +∞.

(t)
Comme on l’a déjà vu, la suite des Py,y n’admet pas forcément de limite (voir
l’exemple 1.21).
On définit
qt = ⌊t/d⌋ =: sup {n ∈ Z : n ≤ t/d} , rt = t − dnt ,
soit nt le quotient (entier) de t par d, et rt le reste de la division. Il est clair que
0 ≤ rt ≤ d − 1. On a que
t dnt +rt
1 X (u) 1 X (u)
Py,y = Py,y
t t
u=1 u=1
dn
Xt dn t +rt
1 (u) 1 X
(u)
= Py,y + Py,y ,
t t
u=1 u=dnt +1
mais pour u entre dnt + 1 et dnt + rt inclusivement, u est un non-multiple de d, et

(u)
Py,y = 0. Donc, on a
t dn
1 X (u) 1 Xt (u)
Py,y = Py,y .
t t
u=1 u=1
t −1 X
nX d
1 (dk+r)
= Py,y ,
t
k=0 r=1
(dk+r)
mais, similairement, Py,y est non-nul seulement si r = d (puisque 1 ≤ r ≤ d.
Donc,
t nt −1
1 X (u) 1 X (dk+d)
Py,y = Py,y
t t
u=1 k=0
nt
1 X
(dk)
= Py,y
t
k=1
nt
1X
= Q(u)
y,y .
t
u=1
On passe à la limite, en multipliant par nt /nt :

t nt
1 X (t) nt 1 X (u)
lim Py,y = lim · lim Qy,y .
t→∞ t t→∞ t t→∞ nt
u=1 u=1
D’une part, (t − 1)/d ≤ nt /d ≤ t/d, et par le théorème de la Sandwich,

nt 1
= .
lim
t→∞ t d
D’autre part, on sait que

1 d
lim Q(t)
y,y = h i= + ,
t→∞ +,(Y) Ey τy
Ey τy
en vertu de la Proposition 1.15 puisque y est un état récurrent apériodique pour la

chaîne Y.
(t)
Or, par un résultat d’analyse 16, puisque limt→∞ Qy,y existe, il suit que
t
1 X (u) d
lim Qy,y = lim Q(t)
y,y = + ;
t→∞ t t→∞ Ey τy
u=1
Pnt (u)
en particulier, la sous-suite 1
nt u=1 Qy,y doit admettre la même limite ; on obtient
donc finalement
t
1 X (t) 1 d 1
lim Py,y = · + = + .
t→∞ t d Ey τy Ey τy
u=1
Et ça y est enfin ! On a fait le tour de tous les types d’états qui existent, et identifié
les moments où une limite existe, et laquelle ! Pour célébrer, nous allons regrouper tous ces
résultats dans un seul gros théorème !
Théorème 1.1 (Théorème ergodique – temps discret, espace d’états discret). Soit X =
(Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur l’espace des états discret S
(t)
(fini ou dénombrable), avec probabilités de transition en t pas P (t) = (Px,y )x,y∈S .
i. Pour tout état y ∈ S exceptés les états récurrents périodiques où Ey τy+ < +∞, on a

que pour tout x ∈ S,
Px {τy < +∞} · E 1τ + si Ey τy+ < +∞;

(
y[ y ]
(1.7.8) (t)
lim Px,y =
t→∞ 0 sinon.
u=1 1{Xu =y} le nombre de visites/retours en y entre les temps 1 et t

(t) Pt
ii. Soit Ny =
inclus. Alors, pour tous x, y ∈ S, sans exception,
t
Px {τy < +∞} · E 1τ + si Ey τy+ < +∞;
(
1 (t) 1 X (u) y[ y ]
(1.7.9) lim Ey Ny = lim Px,y =
t→∞ t t→∞ t 0 sinon.
u=1
Démonstration. Les propositions 1.13, 1.15 et 1.16 se chargent déjà de la preuve

lorsque x = y ; dans ce qui suit, on assume que x ̸= y.
16. Voire la section B.2 de l’annexe B.

(t)
i Si on assume que limt→∞ Py,y = λ, alors on a que
t
X
(t)
Px Xt = y, τy+ = u

Px,y =
u=1
Xt
= Px {Xt = y | τy = u} Px {τy = u}
u=1
t
X
= Px {Xt = y | Xu = y} Px {τy = u}
u=1
Xt
(t−u)
= Py,y Px {τy = u}
u=1
∞
1{u≤t} Py,y
X
(†) = (t−u)
Px {τy = u} .
u=1
Par le théorème de convergence dominée, puisque
lim 1{u≤t} Py,y
(t−u)
Px {τy = u} = λPx {τy = u} ,
t→∞
on obtient donc que :
∞
X
(t)
lim Px,y =λ Px {τy = u} = λPx {τy < +∞} .
t→∞
u=1
On complète la preuve en appliquant simplement les propositions 1.13, 1.15 et
1.16 ; le seul cas non-couvert par ces propositions est le cas où y serait un état
récurrent périodique mais que Ey τy+ < +∞.
(t)
ii Si on sait que limt→∞ Px,y existe, alors par un résultat d’analyse, on a que
t
1 X (u) (t)
lim Px,y = lim Px,y ;
t→∞ t t→∞
u=1
il suffit alors d’appliquer la partie i du présent théorème pour obtenir
+ le résultat.
Dans le cas où un état y est récurrent périodique et que Ey τy < +∞, on
utilise l’équation (†) pour obtenir
t t u t t
1 X (t) 1 X X (u−k) 1 X X (u−k)
Px,y = Py,y Px {τy = k} = Py,y Px {τy = k}
t t t
u=1 u=1 k=1 k=1 u=k
∞ t−k
!
1 X (u)
1{k≤t}
X
= Py,y Px {τy = k} .
t
k=1 u=1
(u)
Supposons que limt→∞ 1t tu=1 Py,y = λ.
P
Pour tout k ∈ N, on a bien sûr que

t−k t−k
!
1 X (u) t−k 1 X (u)
lim 1{k≤t} Py,y = lim 1{k≤t} · lim · lim Py,y
t→∞ t t→∞ t→∞ t t→∞ t − k
u=1 u=1
= λ.
Par le théorème de la convergence dominée, on obtient donc :

t ∞ t
!
1 X (u) 1 X (u)
1{k≤t}
X
lim Px,y = lim Py,y Px {τy = k}
t→∞ t t→∞ t
u=1 k=1 u=k
∞
X
=λ Px {τy = k} = λPx {τy < +∞} .
k=1
Il suffit alors d’appliquer la partie ii de la proposition 1.16 pour compléter la

preuve.
□
Et voilà ! On a un théorème qui encapsule complètement le comportement de la suite

(t)
Px,y ,
pour tous x et y ; on sait
– quand lalimite
existe :elle existe pour tous les états y ∈ S apériodiques ou récurrents
avec Ey τy+ = +∞, ou transients ;
– la valeur de cette limite si elle existe.
1.7.3. De retour aux distributions stationnaires. Pour obtenir cette dernière in-
formation, on a utilisé des méthodes analytiques, et ç’a été très ardu. Mais souvenez-vous, au
début de la section 1.7.1, quand on parlait de distributions stationnaires... Le motif n’était-il
pas de trouver une solution simple au problème de la distribution limite ?
Voici venu le temps de boucler la boucle, en rendant plus rigoureux le résultat suggéré
au début du chapitre :
Théorème 1.2. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret
h id’états discret S = {1, 2, 3, . . .} (fini ou dénombrable) irréductible et récurrente,
sur l’espace
avec Ej τj+ < +∞ pour tout j.
i. La distribution stationnaire π = (πi )i∈S existe ; elle est unique.

ii. Pour tous j ∈ S, on a que
1
(1.7.10) πj = h i.
Ej τj+
Démonstration. i L’argument est présenté dans le cas d’un nombre d’états

fini, parce que c’est plus simple. Toutefois, il existe une version de cet argument qui
fonctionne pour des espaces d’états infinis dénombrables aussi.
Dans le cas où S a un nombre d’états finis, on peut considérer P comme une
matrice n × n, où n = |S|.
La matrice M = P − In n’est pas inversible ; en effet, on remarque que, si on
écrit vj = (Pi,j − δi,j )i∈S le vecteur correspondant à la ième colonne de la matrice
P − In , alors on a que :
X
vj = 0;
j∈S
vu que pour tout i, on a que
X X X
[vj ]i = (Pi,j − δi,j ) = Pi,j − 1 = 0.
j∈S j∈S j∈S
Donc, les colonnes sont linéairement dépendantes.

Les solutions stationnaires sont les éléments de ker M , le noyau de M (si on
applique la multiplication par la gauche – attention !)
Sans perdre de génralité, on assume que Pi,j > 0 pour tous i, j ∈ S ; donc,
Pi,j ∈ (0, 1) pour tous i, j ∈ S. Si ce n’est pas le cas, puisque X est une chaîne de
Markov irréductible, il faut nécessairement que ce soit le cas pour tout P (tN ) , pour
un certain tN ≥ N pour tous N , mais l’argument est le même.
Donc, Mi,i < 0 pour tout i ∈ S et Mi,j > 0 pour tous i ̸= j dans S. Les
{vi : 1 ≤ i ≤ n} engendrent le même espace que les vecteurs {ei : 1 ≤ i ≤ n − 1} ;
on conclue que dim ker P = n − (n − 1) = 1 ; un espace de dimension n − 1.
Donc, toutes les solutions stationnaires sont proportionnelles.
Supposons donc que λ′ = (λ′j )j∈S est aussi une distribution stationnaire. Alors,
onPdoit avoir que λ′ = αλ pour un certain α ∈ R. Mais on doit aussi avoir
α j∈S λ′j = 1, donc α = 1. Donc λ′ = λ et la distribution stationnaire est unique.
ii Notre objectif maintenant, c’est de montrer que πx = 1

Ex [τx+ ]
pour tout x ; on
commence par écrire
t
1 X (u)
λy = lim Px,y ;
t→∞ t
u=1
on peut se permettre d’ignorer la dépendance en x puisque comme notre chaîne est

irréductible et récurrente, on a forcément que Px {τy < +∞} = 1 pour tous x, y, et
la limite ne dépend pas de x.
Bien sûr, par le théorème ergodique, on a que
1
λy = + ;
Ey τy
Ce qu’il faut faire maintenant, c’est montrer que λy est une distribution sta-
tionnaire. On a d’une part que :
t
!
X X 1 X (u)
λz Pz,y = lim Px,z Pz,y
t→∞ t
z∈S z∈S u=1
t X
1 X
(u)
= lim Px,z Pz,y
t→∞ t
u=1 z∈S
t
1X (u+1)
= lim Px,y
t→∞ t
u=1
t+1
!
t+1 1 X
(u)
= lim Px,y − Px,y
t→∞ t t+1
u=1
t+1
1 X (u)
= lim Px,y
t→∞ t + 1
u=1
= λy .
(Pour obtenir la seconde égalité, il faut sortir la limite de la sommation, possi-
blement à l’aide du théorème de convergence dominée. Le reste est le résultat des
équations de Chapman-Kolmogorov, et de réarrangement de termes et de change-
ments d’indices.)
On a donc que les λx forment une solution stationnaire ; sont-ils une distribu-
tions stationnaire ? Eh bien oui ! En effet,
t
!
X X 1 X (u)
λy = lim Px,y
t→∞ t
y∈S x∈S u=1
t X
1 X
(u)
= lim Px,y
t→∞ t
u=1 y∈S
t
1X
= lim 1 = 1.
t→∞ t
u=1
Par unicité de la distribution stationnaire, on doit donc conclure que

πx = λx .
□
Exemple 1.23. Alexandre a eu un désastreux accident de voiture sur l’autoroute 15.

Heureusement, pour Marianne, sa passagère, il n’y a pas de blessé·e·s. Pour Alexandre, ce
qui le soulage surtout, c’est qu’il est assuré chez la Métropo’n’cenne.
Il y a 5 classes d’assuré·e·s – la classe dans laquelle un·e assuré·e se trouve détermine la
valeur de la prime que ce·tte dernier/ère devra payer en fonction d’une prime maximale :
100%, 90%, 85%, 80%, et 75%.
À chaque renouvellement (annuel) de son contrat, Alexandre se voit assigné à une classe
selon le montant qui lui a été accordé suite aux réclamations qu’il a soumises dans la dernière
année : il est déclassé une fois pour chaque tranche complète de 100$ qui lui ont été versées,
tandis qu’il est surclassé si il n’a effectué aucune réclamation.
La Métropo’n’cenne estime que, chaque année,
– la moitié de ses client·e·s reçpivent moins de 100$.
– 35% de ses client·e·s reçoivent entre 100 et 200$.
– 12% de ses client·e·s reçoivent entre 200 et 300$.
– 2, 8% de ses client·e·s reçoivent entre 300 et 400$.
– 0, 2% de ses client·e·s reçoivent plus 400$.
On considère Xt la classe d’assuré·e·s à laquelle Alexandre appartient pour l’année t, de

1 à 5 – 1 étant la classe la plus désavantagée (qui paye 100% de la prime maximale) et 5
étant la classe la plus avantagée (qui ne paye que 75% de la prime maximale).
(a) Donner la matrice des probabiltiés de transition en un pas pour X = (Xt )t∈Z+ .
(b) Tracer le graphe des transitions possibles, et identifier la/les classe·s d’équivalence. Pour
chaque classe, indiquer le type (récurrent/transient) et donner la période.
(c) Est-ce que cette chaîne admet une distribution stationnaire ? Si oui, trouver la distribu-
tion stationnaire unique, ou donner une expression générale pour toutes les distributions
stationnaires possibles si il y en a plus d’une.
(d) À long terme, quelle proportion des assuré·e·s paye plus de 80% de la prime maximale
en moyenne chaque année ?
(e) Avant son accident, cela faisait déjà longtemps qu’Alexandre était assuré chez la Mé-
tropo’n’cenne pour son auto. Si la prime maximale est de 1000$ par année, en moyenne
combien Alexandre payait-il par année au cours des dernières années ?
(f) Si Alex est à la classe 5 au départ, en moyenne combien de temps met-il avant de revenir
à la classe 5 ?
Solution. (a) La matrice des probabilités de transition en un pas est la suivante :
 
50% 50% 0 0 0
 50% 0 50% 0 0 
 
P =  15% 35%
 0 50% 0 
.
 3% 12% 35% 0 50%
0, 2% 2, 8% 12% 35% 50%
(b) Le graphe des transitions possibles est représenté à la figure 1.9.

La chaîne ne comporte qu’une seule classe – donc elle est irréductible Puisqu’elle est
finie, on détermine donc immédiatement qu’elle récurrente. Puisque P1,1 > 0, elle est
apériodique.
(c) En vertu du théorème 1.2, il y a une distribution stationnaire unique. Pour le trouver,
on résout :

500 500 150 30 2

π1 = π1 + π2 + π3 + π4 + π5
1000 1000 1000 1000 1000





 500 350 120 28

π2 = π1 + pi3 + π4 + π5
1000 1000 1000 1000






π = 500 350 120
3 π2 + π4 + π5
1000 1000 1000

 500 350

π4 = π3 + π5
1000 1000





 500 500

π5 = π4 + π5
1000 1000




 1= π1 +π2 +π3 +π4 +π5 ;
on trouve que la solution doit être :
1
π= (1057, 830, 650, 500, 500).
3537
Ou, en approximations décimales,
π ≈ (30%, 24%, 18%, 14%, 14%).
(d) On demande à long terme, quelle est la probabilité qu’Alexandre paye plus de 80% de
la prime pour une année donnée. Il s’agit de la distribution-limite pour les gens qui sont
dans les classes 1, 2 ou 3, soit
2537
π1 + π2 + π3 = ≈ 72%.
3537
(e) À la limite où Alexandre souscrit depuis longtemps, on assume que la fonction de masse
pour sa classe est donnée par la distribution stationnaire. Alors, on a que
P {N = 1000$ × 100%} = π1
P {N = 1000$ × 90%} = π2
P {N = 1000$ × 85%} = π3
P {N = 1000$ × 80%} = π4
P {N = 1000$ × 75%} = π5 .
On cherche E [N ] – c’est :
E [N ] = 1000$ × (100%π1 + 90%π2 + 85%π3 + 80%π4 + 75%π5 )

1057 9 830 85 650 8 500 75 500
= 1000$ × + · + · + · + ·
3537 10 3537 100 3537 10 3537 100 3537
6263
= 1000$ ×
7074
≈ 885$.
(f) On cherche
1 3537
E5 τ5+ = ≈ 7, 1 ans.

=
π5 500
5 3
1 2
Figure 1.9 – Le graphe des transitions possibles pour la châine en question

dans l’exercice 1.23.
Ceci complète notre étude de la théorie des chaînes de Markov homogènes à temps discret
sur les espaces d’états discrets.
Dans le chapitre 2, nous allons nous intéresser de plus près à deux exemples de chaînes de
Markov à temps discret sur des espaces d’états infinis. Nous verrons comment utiliser certains
autres outils analytiques pour nous tirer d’affaire et résoudre des problèmes intéressants.
Au chapitre 3, nous allons nous intéresser aux chaînes de Markov à temps continu,
d’abord en restant toujours sur les espaces d’états discrets. Au chapitre 4, nous nous pen-
cherons de façon similaire sur différentes applications de cette théorie.
Au chapitre 5, nous nous intéresserons à la théorie des renouvellements, et à certains
résultats utiles. Nous verrons même comment on peut arriver à les utiliser pour traiter les
cas de certains processus qui n’ont pas la propriété de Markov !
Au chapitre 6, nous allons nous pencher sur une classe de processus stochastiques très
intéressants : les martingales.
Finalement, au chapitre 7, nous ferons une brève incursion dans le monde des processus
stochastiques à temps continus sur des espaces d’états continus.
Bref, il y a de quoi faire !
Et la fin du chapitre ? La section 1.8 est un supplèments qui discute brièvement des
chaînes de Markov d’un point de vue plus abstrait, en utilisant des notions très générales
d’analyse fonctionnelle et d’algèbre linéaire.
La section 1.9 regroupe des exercices à faire pour se pratiquer à manier la matière.
Lorsque ceux-ci sont tirés d’une source précise, cette source sera citée.
1.8. Bonus : Du point de vue de l’algèbre et de l’analyse.

Dans la section 1.4, nous avons introduit les probabilités de transition d’un état vers
un autre, sur un intervalle de temps. Rapidement, nous avons organisé ces probabilités
en matrices. Et, a fortiori, il a semblé que ce fût un judicieux éclat de génie – en effet,
ces matrices, presque par coincidence, semblent avoir des propriétés intéressantes. Étrange,
non ?
Dans cette petite section, pour celles et ceux qui sont curieux/ses, je propose d’étaler
un peu de vocabulaire et de théorie, d’algèbre et d’analyse, afin de donner peut-être un peu
plus de profondeur aux notions présentées dans ce chapitre.
1.8.1. Distributions, mesures, vecteurs. Dans le contexte des probabilités, on ap-

pelle distribution d’une variable aléatoire X la mesure induite par la variable X et la
mesure de probabilité P. Plus précisément, si P est une mesure de probabilités sur Ω, et
1.8. BONUS : DU POINT DE VUE DE L’ALGÈBRE ET DE L’ANALYSE. 69
X : Ω → S est une variable aléatoire à valeurs dans S, alors la mesure µX définie par
µX (A) = P {X ∈ A}
pour tout A ⊆ S (ou au moins tout A dans une tribu de parties mesurables de S), correspond
à la distribution de X. 17
Comme mentionné en début de chapitre, donc : ce qui nous intéresse, c’est la distribution
de notre variable aléatoire Xt – et plus particulièrement, on voudrait savoir comment cette
distribution évoluera dans le temps.
Dans tout le chapitre 1, on s’attaque à cette question d’un point de vue calculatoire
presqu’entièrement calculatoire. Dans ce qui suit, on va plutôt se pencher sur les structures
abstraites. Plutôt que de détailler ce qu’est la distribution de Xt , on va se contenter de la
manipuler comme un objet abstrait – comme un vecteur, en fait.
Les mesures signées. Pour faire ça, il faut prendre un petit pas de recul. En effet, si on
se limite seulement aux distributions sur S, on n’a pas un espace vectoriel. Même si on se
restreint seulement aux mesures positives, on n’a toujours pas un espace vectoriel. Pour ça,
il faut considérer l’espace des mesures signées. Une mesure signée est une mesure (au sens
de la définition B.4) mais qui ne respecte pas le premier axiome – c’est-à-dire qu’on peut
assigner à une partie mesurable une mesure négative.
Si µ est une mesure signée sur S, le théorème de décomposition de Hahn 18 garantit
qu’il existe une partition de S en deux parties P et N , et deux mesures positives µ+ et µ− ,
supportées respectivement sur P et N , et telles que
µ = µ+ − µ− .
On peut définir |µ|, la valeur absolue de la meusure µ, par
|µ| = µ+ + µ− .
Attention ! En général, |µ| (A) ̸= |µ(A)|.
On dit qu’une mesure signée µ sur S est finie lorsque |µ| (S) < +∞.
On introduit M(s) l’ensemble des mesures signées finies sur S. On fait les définitions évi-
dentes pour l’aaddition de deux mesures, et la multiplication d’une mesure par un scalaire :
pour tout A mesurable dans S, et pour tout k ∈ R,
(µ1 + µ2 )(A) = µ1 (A) + µ2 (A); (kµ)(A) = k(µ(A)).
Avec ces définitions, M vérifie les axiomes d’un espace vectoriel !
Le cône positif. Pour retrouver nos distributions, il faut rajouter les axiomes des mesures
de probabilités qui manquent – d’abord, la positivité. On notera M+ (S) l’ensemble des
mesures positives sur S – c’est à dire des mesures de M(S) qui prennent seulement des
valeurs non-négatives. Tous les éléments de M+ (S) sont des mesures au sens exact de la
définition B.4. Nos distributions y sont, mais pas que ! Toutes les mesures positives finies y
sont ! On appelle M+ (S) le cône positif de M(S).
La norme. Pour achever de repérer nos distributions dans l’espace M(S), on va définir
une norme sur M(S). On notera :
∥µ∥ = |µ| (S).
17. On consultera l’annexe B, ou les notes d’André Giroux sur la théroe de la mesure, pour davantage de
détails sur la théorie de la mesure.
18. Consulter l’article Wikipédia en anglais.
Armés de cette norme, c’est évident : les distributions sont précisément les éléments
unitaires du cône positif – c’est à dire les mesures positives dont la mesure totale est de 1.
1.8.2. Les opérateurs stochastiques. Bon, d’accord – on a bel et bien placé nos dis-
tributions – toutes les distributions possibles sur S – dans le contexte d’un espace vectoriel.
Mais qu’est-ce que ça peut bien nous faire ? Eh bien, pour tout temps t, on peut dénoter par
µt ∈ M+ (S) la distribution de Xt . Ce qu’on cherche maintenant, bien entendu, c’est une
façon de « faire évoluer » µt dans le temps – on voudrait bien savoir µt+1 , par exemple, ou
plus généralement, µt+u , pour un quelconque u ≥ 0.
Cet objet, qu’on cherche, c’est une application P (u) : M(S) → M(S), qui a pour
argument une mesure, et qui nous redonne la mesure correspondante après que se soit écoulé
un intervalle de temps de longueur u (on assume que le processus stochastique étudié est
homogène dans le temps).
Immédiatement, on observe que de telles applications doivent respecter certains axiomes :
i. L’opérateur P (0) est l’opérateur identité ;
ii. Pour tout u ≥ 0, l’opérateur P (u) est linéaire : 19
P (u) (kµ1 + µ2 ) = kP (u) µ1 + P (u) µ2 ;
iii. Pour tout u ≥ 0 et toute mesure µ l’opérateur P (u) préserve la masse totale :
P (u) µ(S) = µ(S),
et en particulier, pour les mesures positives, P (u) préserve la norme ;
iv. Pour tous u, v ≥ 0, on a l’équation de Chapman-Kolmogorov :
P (u+v) = P (u) P (v) .
Les plus fûté·e·s d’entre vous aurez reconnus les propriétés détaillées pour les probabilités
de transition à plusieurs reprises, plus haut.
La famille d’opérateurs (P (u) )u≥0 constitue un semi-groupe stochastique. Algébrique-
ment, elle a la structure d’un semi-groupe parce qu’elle est algébriquement fermée pour la
composition, qu’elle admet un élément neutre, et que le produit y est associatif ; notons tou-
tefois que les éléments n’y admettent en général pas d’inverse. L’appellation de semi-groupe
stochastique renvoie à l’équation de Chapman-Kolmogorov spécifiquement, et à la condition
que les opérateurs doivent préserver la norme.
1.8.3. L’espace des operateurs. Si M(S) est un espace vectoriel, on peut introduire
l’espace vectoriel L(M(S)) :
L(M(S)) = {T : M(S) → M(S) : T est linéaire et continue.}
L(M(S)) est l’espace des transformations linéaires continues de notre espace des mesures
signées sur S. Les éléments du semi-groupe stochastique – les P (u) – sont des éléments de
L(M(S)).
On peut introduire une norme aussi sur L(M(S)) : pour tout opérateur linéaire T :
M(S) → M(S), la norme de T dans L(M(S)) est donnée par :
∥T ∥ := sup {∥T (µ)∥ : µ ∈ M(S), ∥µ∥ ≤ 1.}
19. Intuitivement, ceci s’explique par un principe de « superposition » ; si on s’imagine que l’opérateur
agit sur la somme de deux distributions, on veut que chacune de ces deux distributions soit propagée dans
le temps indépendamment l’une de l’autre, un peu comme le sont les ondes ou la chaleur (ce n’est pas une
coincidence non plus !
On peut même se simplifier la vie et remarquer que cela est équivalent à

∥T ∥ = sup {∥T (µ)∥ : µ ∈ M(S), ∥µ∥ = 1} .
La norme de P (u) . On peut obtenir rapidement un résultat sur la norme de l’opérateur
stochastique P (u) ; en effet, on a exigé que P (u) préserve la norme de toute mesure positive.
Dès lors, pour toute mesure quelconque µ ∈ M(S) :
P (u) µ = P (u) (µ+ − µ− )
≤ P (u) µ+ + P (u) µ−
= µ+ + µ−
= ∥µ∥ ;
Il suit donc immédiatement que P (u) ≤ 1. Or, puisqu’il existe au moins une distri-
bution µ ∈ M+ (S) avec ∥µ∥ = 1 (donc telle que P (u) µ = 1), on doit aussi avoir que
P (u) ≥ 1, et finalement, pour tout u ≥ 0, l’opérateur stochastique P (u) a la propriété
suivante :
P (u) = 1.
Intuitivement, la norme d’une transformation linéaire indique « le facteur maximal par
lequel la transformation peut allonger un vecteur. » En l’occurence, ici, ce facteur est de 1
pour les opérateurs stochastiques.
La distance entre deux distributions. C’est bien beau tout ça, mais à quoi ça sert ? Pour
le découvrir, on peut s’intéresser à la distance entre deux distributions µ1 et µ2 :
∥µ2 − µ1 ∥ .
Cette distance donne une façon de déterminer si deux distributions sont semblables ou pas.
On s’intéresse à ce qui arrive à la distance entre deux distributions lorsqu’on les fait « avancer
dans le temps » en appliquant l’opérateur P (u) :
P (u) µ1 − P (u) µ2 = P (u) (µ1 − µ2 )
≤ ∥µ1 − µ2 ∥ .
Ce que ce résultat nous indique, c’est que, en avançant dans le temps, la distance entre
deux distributions ne peut pas augmenter.
opérateurs adjoints, valeurs propres et points fixes. En analyse fonctionnelle, l’espace
dual de l’espace vectoriel M(S), noté M(S)′ , est l’espace vectoriel constitué de toutes les
applications linéaires de M(S) dans le corps C des nombres complexes.
Par exemple, l’application f : M(S) → R donnée par
f (µ) = µ(S)
pour tout µ ∈ M(S)
est une application linéaire – c’est donc un élément de l’espace dual de M(S).
Les éléments de l’espace dual sont appelés des covecteurs. Donc, ici, f est un covecteur.
Dans l’espace L(M(S)) des opérateurs linéaires continus sur M(S), on introduit pour
tout opérateur T la notion d’opérateur adjoint noté T ∗ . L’opérateur adjoint T ∗ est un
opérateur linéaire sur l’espace dual M(S)′ , qui est défini pour tout covecteur g par :
T ∗ (g) = g ◦ T.
Autrement dit, pour tout µ ∈ M(S), l’opérateur adjoint T ∗ doit satisfaire :

T ∗ g(µ) = g(T µ).
Nous allons nous servir des opérateurs adjoints pour montrer une propriété intéressante
de l’opérateur stochastique P (u) , en utilisant la propriété suivante : pour des espaces vec-
toriels de dimension finie, les valeurs propres de l’opérateur adjoint T ∗ sont les conjugués
complexes des valeurs propres de l’opérateur T .
On se penche maintenant sur (P (u) )∗ , l’opérateur adjoint de P (u) . On remarque que
(P (u) )∗ f = f ◦ P (u) ;
en particulier, pour tout µ ∈ M(S), on a donc :
(P (u) )∗ f (µ) = f (P (u) µ)
= P (u) µ(S)
= µ(S) = f (µ),
et on conclue donc que
(P (u) )∗ f = f.
Résultat : f est un vecteur propre de (P (u) )∗ , donc 1 est une valeur propre de (P (u) )∗ .
Et lorsque (S) est un espace vectoriel de dimension finie (c’est-à-dire lorsque |S| < +∞), on
peut conclure immédiatement que 1 est aussi une valeur propre de P (u) .
Conclusion : il existe donc une mesure signée π ∈ (S) non-triviale telle que P (u) π =
π. C’est ce qu’on appelle un point fixe pour l’opérateur P (u) . Les distributions propres
associées à cette valeur propre sont les distributions stationnaires !
1.8.4. Les parallèles avec la théorie des sections précédentes. Ce qu’on vient de
faire, de façon très abstraite, c’est de décrire très généralement la façon dont les opérateurs
stochastiques doivent agir sur la distribution de notre processus aléatoire dans le temps. En
autant qu’on respecte les principes que l’on vient d’énoncer, on peut, en principe, utiliser
n’importe quel espace vectoriel pour représenter les mesures et les distributions, et tout le
reste suivra.
Ce qu’on va faire dans les prochains paragraphes, c’est montrer comment la théorie
qu’on a présenté dans le reste du chapitre 1 s’insère dans le cadre très abstrait de la présente
section.
Les mesures sur S : les vecteurs-ligne. S est l’espace des états ; ici, nous allons assumer
que |S| < +∞. Pour nous simplifier la vie, on assumera que S = {1, 2, 3, . . . , n}.
Puisque S est fini, toutes ses parties sont mesurables, et en particulier, pour décrire une
mesure sur S, il suffit de spécifier sa fonction de masse, qui indique, pour chaque élément
individuel i ∈ S, la mesure du singleton {i}. Soit m : S → R la fonction de masse de la
mesure µ ; alors, pour tout E ⊆ S,
X
µ(E) = m(i).
i∈E
L’espace des fonctions de S dans R serait un bon candidat pour représenter nos distri-
butions, donc. Mais on peut faire un peu plus joli – en prenant les vecteurs-ligne !
On note m = (m(1), m(2), m(3), . . . , m(n)) ∈ R1×n ; il s’agit d’un vecteur-ligne qui
représente la mesure µ dont la fonction de masse est m. On peut noter les éléments mi :=
m(i), par exemple.
Inversement, si x = (x1 , x2 , x3 , . . . , xn ) ∈ R1×n est n’importe quel vecteur-ligne, celui-ci

correspond immédiatement à une fonction de masse, et donc à une mesure sur S.
Les opérateurs stochastiques : les matrices ! Notre opérateur stochastique, c’est simple-
ment la matrice des probabilités de transition – mais qui agit par la droite sur le vecteur
(u)
ligne ! En effet, si pi,j est la probabilité de passer de l’état i à l’état j dans un intervalle de
temps t, et qu’on note x(t) la distribution du processus au temps u, alors il suit que pour
tout j ∈ S :
(t+u)
X (t) (u)
xj = xi pi,j .
i∈S
Les covecteurs et opérateurs adjoints : les vecteurs-colonnes ! Toutes les fonctionnelles
linéaires de l’espace des vecteurs lignes R1×n vers C peuvent être représentés par des vecteurs
colonnes (dans Cn×1 dont on prend le produit par la droite avec nos vecteurs-ligne.
Par exemple, la fonctionnelle f , définie plus haut par f (µ) = µ(S), est représentée par
le vecteur colonne  
1
1
 
1 = 1 ;
 
 .. 
.
1
en effet, pour tout vecteur-ligne x = (x1 , x2 , x3 , . . . , xn ), on a que
f (x) = x1 + x2 + x3 + · · · + xn = x · 1.
L’opérateur adjoint à une matrice M est alors représenté par ... la même matrice !, mais
cette fois, on la multiplie par la gauche au vecteur colonne.
Et effectivement, si P (u) est la matrice de transition sur un intervalle de temps de
longueur u, on a bien que P (u) 1 = 1, ce qui correspond à la notion qu’on avait vu plus haut,
que l’opérateur adjoint (P (u) )∗ appliqué sur f donne f .
D’autres covecteurs intéressants ? Les covecteurs sont des fonctionnelles linéaires

qui, pour n’importe quelle mesure, rendent une valeur réelle associée à cette mesure.
Voici quelques exemples de telles fonctionnelles :
— Si E est un quelconque événement, alors on peut écrire Pi {E} la probabilité que
l’événement E se réalise sachant que X0 = i. Étant donné la distribution initiale x(0)
(0)
pour le processus stochastique (avec xi = P {X0 = i}), on a alors que
P {E} = x(0) · uE ,
où  
P1 {E}
 P2 {E} 
 
uE =  P3 {E}  .
 
 .. 
 . 
Pn {E}
Nous avons vu ce vecteur à la section 1.6, lorsque nous appliquions la méthode
du conditionnement par le premier pas.
— Si Y est une variable aléatoire quelconque, alors on peut écrire Ei [Y ] l’espérance de

Y sachant que X0 = i. Étant donné la distribution initiale x(0) pour le processus
stochastique, on a alors que
E [Y ] = x(0) · vY ,
où  
E1 [Y ]
 E2 [Y ] 
 
vY =  E3 [Y ]  .
 
 .. 
 . 
En [Y ]
Quelques commentaires sur les dimensions. Pour terminer cette section, nous allons
faire quelques remarques amusantes sur les dimensions de certains espaces et sous-espaces
intéressants.
Tout d’abord, il convient de remarquer que dim M(S) = |S| – cela a été abordé dans les
pargraphes précédents, mais ça vaut la peine de le souligner.
Ce qui intrigue plus spécialement, c’est plutôt l’espace propre asspcié à la valeur propre
1. En effet, lorsque |S| est fini, du moins, on est assurés que l’opérateur stochastique P (u) a
1 pour valeur propre – et donc qu’il existe au moins une mesure qui soit un point fixe non-
trivial pour P (u) . Sans entrer dans les détails, on pourra assumer qu’ici plus particulièrement
qu’il existe une distribution stationnaire – une distribution µ ∈ M+ (S) avec µ(S) = 1 et
telle que P (u) µ = µ.
On peut donc noter V1 le sous-espace de M(S) engendré par les vecteurs propres associés
à la valeur propre 1 – quelle est la dimension de cet espace ?
Pour répondre à cette question, on peut retourner plus haut dans le chapitre, à la
section 1.7.2 ; on y montre que lorsque la chaîne de Markov est irréductible, la distribution
stationnaire est unique – ça correspond, on le sait maintenant, à dire que dim V1 = 1.
Mais que se passe-t-il lorsque la chaîne de Markov n’est PAS irréductible ? Supposons
qu’il y aient C1 , C2 ⊆ S, deux classes d’équivalence (disjointes) fermées (donc récurrentes).
En nous restreignant à seulement les états de C1 , on a une chaîne irréductible – donc
il existe une unique distribution stationnaire s1 dans M(C1 ), et on remarque que, néces-
sairement, la distribution π1 dans M(S) qui est donnée par π1 (E) = s1 (E ∩ C1 ) pour tout
E ⊆ S est une distribution stationnaire. Mais en faisant le même raisonnement pour C2 ,
on trouve aussi une autre distribution stationnaire π2 . Les deux sont linéairement indépen-
dantes, puisque C1 et C2 sont deux classes d’équivalence disjointes.
Résultat : on peut trouver exactement autant de distributions stationnaires linéairement
indépendantes les unes des autres qu’il y a de classes d’équivalence fermées. Autrement dit,
lorsque |S| < +∞, on a que
dim V1 = k,
où k est le nombre de classes d’équivalence fermées de S !
1.9. EXERCICES 75
1.9. Exercices
Exercice 1.1. Connaissez-vous des phénomènes de la vie courante (au sens large) que vous
pourriez modéliser par des processus stochastiques ? Quel serait l’espace des états ? Ces
processus seraient-ils à temps discret ou continu ?
Exercice 1.2. Pour les processus suivants, dites si oui ou non ils ont la propriété de Markov ;
si oui, sont-ils homogènes ? Si c’est bien le cas, donner une matrice des probabilités de
transition en un pas.
(a) On lance un dé à six faces façon répétée. Soit Sn le total des points observés après n
lancers ; on définit alors Xn ≡ Sn ( mod 6) le reste de la division de Sn par 6.
(b) On pige un dé d’une boîte qui contient des dés à 6, 8, 10, 12 et 20 faces, en proportions
égales. Puis, sans regarder ce qu’on a pigé, on le lance de façon répétée, et un ami nous
annonce le résultat Xn du nième lancer.
(c) À chaque fois qu’il neige, le nombre de jours avant la prochaîne averse de neige suit une
loi de Poisson de paramètre λ > 0. On note Xt le nombre de jours où il a neigé t jours
après la toute première averse de neige.
(d) À chaque fois qu’elle va courir, Clémence note le temps qu’elle met pour parcourir les
5, 3 kilomètres de sa boucle habituelle. En particulier, elle prend note du compteur des
secondes sur son chronomètre – qui affiche un nombre entre 00 et 59. À chaque fois que
le nombre qu’elle observe apparaît pour la première fois, elle le raye d’une liste. Xt est
le nombre de nombres (entre 0 et 59 inclusivement) que Clémence a rayé de sa liste.
Exercice 1.3 (Lessard, ex. 1.1). Supposons que le temps qu’il fait d’une journée à la
suivante est décrit par une chaîne de Markov sur les états 1, 2, 3 (1 pour ensoleillé, 2 pour
nuageux, 3 pour pluvieux ), dont la matrice de transition en un pas est donnée par
 
1/2 1/2 0
P = 1/4 1/2 1/4 .
0 1/2 1/2
On est jeudi et c’est nuageux. Déterminer :
(a) la probabilité que les trois prochains jours soient ensoleillés ;
(b) la probabilité que dimanche prochain soit ensoleillé.
Exercice 1.4 (Lessard, ex. 1.2). En utilisant les propriétés des matrices de transition
pour les chaînes de Markov homogènes à temps discret, montrer que si P (t) et P sont les
matrices de probabilités de transition en t unités de temps et en un pas respectivement,
pour une chaîne de Markov à deux états {1, 2}, on a toujours
(2) (2)
P1,1 ≥ P2,1 .
Exercice 1.5 (Lessard, ex. 1.3). Une chaîne de production comprend deux machines-outils
qui fonctionnent indépendamment l’une de l’autre. Chaque machine-outil a une fiabilité de
90% au cours d’une journée, ce qui signifie que sa probabilité de tomber en panne pendant
cette période est de 10%. Il faut une nuit pour réparer une machine-outil qui tombe en
panne, mais une seule à la fois peut être réparée.
(a) Quelle est la matrice de transition pour le nombre de machines-outils en état de fonc-
tionnement au début d’une journée (les indices pourront commencer en 0).
(b) S’il faut deux nuits pour réparer une machine-outil, quels états doit-on considérer pour
que notre chaîne ait la propriété de Markov ? Quelle est la matrice de transition ?
Exercice 1.6. Soit P la matrice des probabilités de transition en un pas pour une chaîne
de Markov à temps discret homogène sur un espace d’états S = {1, 2, 3, . . . , n}.
(a) Montrer que λ = 1 est une valeur propre de P .
(b) Montrer que le vecteur-colonne 1n = (1, 1, 1, . . . , 1) est un vecteur propre de P associé
à la valeur propre λ = 1.
(c) Montrer que dim ker(P − In ) < n.
Exercice 1.7 (Lessard, ex. 1.4). On considère un pentagone régulier dont les sommets
sont numérotés de 1 à 5 dans le sens horaire. Initialement, deux coccinelles sont placées aux
sommets 1 et 3. À chaque instant suivant, chacune des coccinelles se déplace indépendam-
ment de l’autre, vers l’un des deux sommets adjacents, chacun ayant probabilité 1/2.
Combien de temps faudra-t-il en moyenne pour que les deux coccinelles se rencontrent au
même sommet ?
Indice : Considérer la distance en nombre d’arêtes entre les deux coccinelles...
Exercice 1.8 (Lessard, ex. 1.5). Anastasia et Barrah jouent au tennis de table ; toutes
les deux sont excellentes et elles sont rendues à 21 points chacune – à partir de maintenant,
l’une d’entre elles doit avoir au moins deux points d’avance pour remporter la victoire. Une
joueuse avec un point d’avance est dite avoir « l’avantage ».
En supposant qu’Anastasia remporte chaque point indépendamment avec probabilité p, et
Barrah avec probabilité q = 1 − p,
(a) déterminer la probabilité qu’Anastasia remporte la partie, et
(b) donner l’espérance du nombre de fois où Anastasia sera en avantage avant la fin du jeu.
1.9. EXERCICES 77
Exercice 1.9 (Lessard, ex. 1.6). On lance une pièce de monnaie équilibrée plusieurs fois
indépendamment, jusqu’à obtenir trois « Face » de suite. Les résultats des trois premiers
jets sont « Face, Pile, Face ».
En incluant ces trois premiers jets, déterminer la probabilité d’obtenir trois « Pile » consé-
cutifs avant la fin du jeu.
Exercice 1.10 (Lessard, ex. 1.7). Une espèce de fleurs peut se trouver dans trois états :
(1) viable ;
(2) en voie de disparition ;
(3) éteinte.
Les probabilités des transitions d’une année à l’autre sont données par les matrices suivantes :
   
85% 15% 0 90% 10% 0
P (0, 1) =  0 70% 30%  P (1, 2) = 10% 70% 20% 
0 0 100% 0 0 100%
   
95% 5% 0 95% 5% 0
P (2, 3) = 20% 70% 10%  P (t − 1, t) = 50% 50% 0  t > 3.
0 0 100% 0 0 100%
Calculer la probabilité que l’espèce de fleurs s’éteigne ultimement, étant donné qu’elle est
initialement en voie de disparition.
Exercice 1.11 (Lessard, ex. 1.14). Tracer les graphes des transitions possibles, identifier
les classes d’équivalence et donner les types d’états pour les chaînes de Markov dont les
matrices de transition en un pas sont les suivantes :
   
0 1/3 1/3 0 1/3 0 1/4 0 0 1/4 1/4 1/4
1/2 0 0 1/2 0   0 0 1 0 0 0 0 
(a)  0
   
 0 0 1 0 

1/3 0 0 1/3 0
 0 1/3
(b) 

 0 0 0 0 1  1/2 0 0 0 1/2 0 0 

0 0 1/2 1/2 0  0
 0 0 0 0 1 0 

 0 0 0 0 1/2 0 1/2
0 0 0 0 0 1/2 1/2
Exercice 1.12. Pour chacune des matrices de probabilités de transition en un pas suivantes,
dessiner les graphes des transitions possibles, identifier les classes d’équivalence et dire si elles
sont ouvertes ou fermées.
(a)  
0 0 1 0 0 0
1 0 0 0 0 0 
 
0 1/2 0 1/2 0 0
P =
 
0 0 0 0 1 0 

0 0 0 0 0 1 
0 0 0 1 0 0
(b)  
0 1/3 1/3 0 1/3
1/2 0 0 1/2 0 
 
P = 0
 0 0 1 0 
 0 0 0 0 1 
0 0 1/2 1/2 0
(c)  
0 1/4 0 0 1/4 1/4 1/4
 0 0 1 0 0 0 0 
 
1/3 0 0 1/3 0 0 1/3
 
1/2 0 0 0 1/2 0
P = 0 

 0 0 0 0 0 1 0 
 
 0 0 0 0 1/2 0 1/2
0 0 0 0 0 1/2 1/2
Exercice 1.13. Cinq boules blanches et cinq boules noires sont distribées dans deux urnes
A et B ; chacune contient cinq boules (pas forcément de la même couleur). On va procéder
à des échanges successifs entre deux boules choisies au hasard dans les urnes. On note Xt le
nombre de boules blanches dans l’urne A.
(a) Expliquer pourquoi Xt est une chaîne de Markov homogène.
(b) Quel est l’espace des états possibles pour X = (Xt )t∈Z+ .
(c) Donner les probabilités de transition.
(d) Dessinter le graphe des transitions possibles. Combien y a-t-il de classes d’équivalence ?
1.9. EXERCICES 79
Exercice 1.14. Soit  

1/4 3/4 0
P = 0 1 0 
1/2 0 1/2
la matrice des transitions en un pas d’une chaîne de Markov homogène à temps discret.
(a) Trouver les classes d’équivalence d’états. Dire si elles sont ouvertes ou fermées.
(b) Trouver P (t) , la matrice de transition en t pas.
(c) Quelle est la limite lorsque t tend vers l’infini ?
(d) Est-ce qu’on peut dire qu’à long terme, le processus est indépendant de sa condition
initiale ?
Exercice 1.15. On lance un dé à six faces de façon répétée, et on note Xt le minimum des
résultats observés après t lancers (pour t ≥ 1).
(a) Donner la matrice des probabilités de transition en un pas P pour cette chaîne de
Markov.
(b) Combien y a-t-il de classes d’équivalence ? Lesquelles sont ouvertes ? Fermées ?
(c) Donner limt→∞ P (t) .
Exercice 1.16. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur
l’espace des états S = {1, 2, 3, . . . , n}, avec matrice de probabilités de transition en un pas
P.
On suppose que P est une matrice triangulaire supérieure.
(a) Montrer que chaque état est seul dans sa classe d’équivalence.
Indice : deux états i, j ∈ S communiquent si et seulement si il existe un cycle qui
passe par i et par j.
(b) Montrer que Pn,n = 1.
(c) On suppose que Pi,i < 1 pour tout i ̸= n. Expliquer pourquoi, dans ce cas, on a que
(t)
limt→∞ Pi,n = 1.
Exercice 1.17. Soit X = (Xt )t∈Z+ une chaîne de Markov sur l’espace des états S = Z+ =
{0, 1, 2, . . .} , avec
1 k
P0,1 = 1; Pk,0 = , Pk,k+1 = ∀k ≥ 1.
k+1 k+1
(a) Esquisser le graphe des transitions possibles pour cette chaîne de Markov.
(b) Combien y a-t-il de classes d’équivalence ? Pour chacune, dire si elles sont fermées ou
ouvertes.
(t)
(c) Calculer P0,t pour t ≥ 1.
(d) En partant de 0, quelle est la probabilité qu’on revienne en 0 pour la première fois au
temps t ?
(e) Quelle est la probabilité de ne jamais revenir à l’état 0 sachant qu’on part de 0 ?
Indice : prendre la limite de la partie (d) lorsque t tend vers l’infini.
Exercice 1.18. Pour chaque état de chacune des matrices à l’exercice 1.12,
(a) déterminer s’il est récurrent ou transient ;
(b) déterminer sa période.
Exercice 1.19. Pour le processus décrit à l’exercice 1.13,

(a) dire, pour chaque état, s’il est récurrent ou transient.
(b) En supposant qu’on commence avec toutes les boules blanches dans l’urne A et toutes
les noires dans l’urne B, en moyenne combien d’échanges faut-il faire pour que toutes
les boules blanches aient toutes été remplacées par des boules noires et vice-versa ?
Exercice 1.20. Pour le processus avec la matrice comme à l’exercice 1.14, calculer E1 [τ2 ]
et E3 [τ2 ].
Exercice 1.21. Pour le processus de l’exercice 1.17,

(a) Calculer P0 τ0+ = t .

(b) L’état 0 est-il transient ou récurrent ? Qu’en est-il de l’état n, pour n ∈ N ?

1.9. EXERCICES 81
Exercice 1.22. Soit X = (Xt )t∈Z+ une chaîne de Markov homogène à temps discret sur
l’espace des états S = Z, avec les probabilités de transition en un pas
Pi,i+1 = p > q = 1 − p = Pi,i−1 .
(a) On définit la famille d’événements (En = {τn < τ−1 })n∈N . Calculer P0 {En }.
(b) Montrer que si X0 = 0, alors En ⊇ En+1 pour tout n ; déduire que
( )
\
lim P0 {En } = P0 Ek .
n→∞
k∈N
(c) Expliquer pourquoi = {τ−1 = +∞}. Calculer P0 {τ−1 = +∞}.

T
k∈N Ek
(d) La chaîne est-elle récurrente ou transiente ?
Exercice 1.23 (Lessard, ex. 1.34). Kamila et Mahily jouent à roche-papier-ciseaux jusqu’à
ce que l’une des deux mène par deux parties sur son adversaire. Pour rappel : Le papier
enveloppe la roche, la roche casse les ciseaux et les ciseaux coupent le papier ; le choix de
deux stratégies identiques résulte en une partie nulle.
Soit Xt la différence entre le nombre de victoires de Kamila et le nombre de victoires de
Mahily.
(a) Quels sont les états pour cette chaîne ? Donner la matrice de transition en un pas.
(b) Donner l’espérance du nombre de parties avant la fin du jeu.
Exercice 1.24 (Lessard, ex 1.16). On considère la chaîne de Markov sur Z, avec les
probabilités de transition en un pas suivantes pour tout i ∈ Z :
Pi,i−1 = 1 − p, Pi,i+1 = p
(t)
(a) Déterminer P0,0 .
(b) Déterminer pour quelles valeurs de p les états sont récurrents, et pour quelles valeurs de
p ils sont transients.
Exercice 1.25. Sur une autoroute, il y a des camions et des autos. Le 3/4 des autos sont
suivies par une autre auto, et 1/5 des camions sont suivis par un autre camion. On note Xt
le type du tième véhicule sur la route – 1 pour une auto, et 2 pour un camion.
(a) Donner la matrice des probabilités de transition en un pas pour ce processus.
(b) En moyenne sur un long tronçon de cette route, quel pourcentage des véhicules sont des
camions ?
Exercice 1.26 (Lessard, ex. 1.18). Supposons que, d’une génération à la suivante, les
familles changent de groupe de revenu (bas, moyen, élevé) selon une chaîne de Markov dont
la matrice des probabilités de transition en un pas est donnée par
 
80% 15% 5%
P = 30% 60% 10% .
0% 20% 80%
Quel sera la répartition à long terme des familles dans ces trois classes ?
Exercice 1.27 (Lessard, ex. 1.19). Les résultats successifs de parties d’échecs d’un joueur
contre un logiciel d’échecs suivent une chaîne de Markov sur les états S = {1, 2, 3}, où 1
correspond à une victoire, 2 correspond à une défaite, et 3 correspond à une partie nulle. La
matrice des probabilités de transition en un pas est donnée par :
 
3/4 0 1/4
P =  0 3/4 1/4 .
1/2 1/4 1/4
(a) Déterminer la proportion moyenne p de victoires à long terme pour ce joueur.
(b) Donner l’espérance du nombre de parties entre deux victoires.
(c) En supposant plutôt que le joueur remporte chaque partie de façon indépendante avec
probabilité p, déterminer maintenant l’espérance du nombre de parties entre deux vic-
toires. Comparer avec le résultat précédent, et commenter.
(d) Chaque victoire compte pour trois points, et chaque partie nulle compte pour un point.
Les défaites ne comptent pour aucun point. À long terme, en moyenne combien de points
le joueur accumule-t-il par partie ?
Exercice 1.28 (Lessard, ex. 1.20). Soit Sn la somme du nombre de points observés après
n lancers d’un dé équilibré à six faces. Est-ce que P {Sn ≡ 0 ( mod 6)} converge lorsque n
tend vers l’infini ?
1.9. EXERCICES 83
Exercice 1.29 (Lessard, ex. 1.24). Une chaîne de Markov sur un nombre fini d’états avec
matrice de probabilités de transition en un pas P est dite régulière s’il existe un certain
N tel que la matrice des probabilités de transition en N pas P N est strictement positive
(c’est-à-dire que toutes les entrées sont strictement positives).
(a) Donner un exemple d’une chaîne de Markov irréductible qui n’est pas régulière.
(b) Montrer que la chaîne de Markov sur S = {1, 2, 3, 4, 5} avec la matrice des probabilités
de transition en un pas
 
3/4 1/4 0 0 0
3/4 0 1/4 0 0 
 
3/4 0
P = 0 1/4 0  
3/4 0 0 0 1/4
1 0 0 0 0
est régulière.
(c) A-t-elle une distribution stationnaire unique ? Si oui, quelle est-elle ?
(d) Donner une condition suffisante pour qu’une chaîne de Markov soit régulière.
Exercice 1.30 (Lessard, ex. 1.25). Une sauterelle se déplace sur les sites 1, 2 et 3 disposés
sur un cercle en allant à chaque saut au site adjacent (dans le sens horaire) avec probabilité
p, et dans le sens anti-horaire avec probabilité 1 − p.
(t)
(a) Déterminer les valeurs de p pour lesquelles Pi,j converge lorsque t tend vers l’infini, pour
tous i, j. Dans ces cas, trouver les limites.
(u)
(b) Trouver les valeurs de p pour lesquelles 1t tu=1 Pi,j converge lorsque t tend vers l’infini.
P
Trouver les limites.
(c) Répondre aux mêmes questions si on a plutôt N sites, pour N ∈ N.
Exercice 1.31 (Lessard, ex. 1.29). Il vous en coûte 2$ pour jouer dans une machine à
sous, qui vous redonne 3$ lorsque vous gagnez la partie. Pour vous encourager à y jouer, le
casino annonce en grosses lettres qu’il y a toujours au moins 50% de chances de gagner.
En effet, le fonctionnement de la machine est de telle sorte que, pour chaque partie, la
probabilité de gagner est égale à (k + 1)/(k + 2), où k est le nombre de défaites aux deux
parties précédentes.
On souhaite déterminer si cette machine à sous est profitable pour le casino en utilisant une
chaîne de Markov.
(a) Quelle chaîne de Markov peut-on utiliser pour résoudre ce problème ? Donner les états
et la matrice des probabilités de transition en un pas.
(b) Trouver la distribution stationnaire pour cette chaîne de Markov.
(c) En vous servant de la distribution stationnaire, déterminer si l’espérance de l’argent
gagné par le casino en moyenne en une partie est positive ou négative.
Chapitre 2
Chaînes de Markov à temps discret : études.
Au chapitre 1, nous avons introduit les notions de base de la théorie des chaînes de
Markov, et nous avons développé des outils analytiques pratiques pour l’étude de chaînes
homogènes à temps discret sur des espaces d’états discrets ; notamment, nous avons fourni
une charactérisation assez complète du comportement de chaînes sur un nombre fini d’états.
Les chaînes sur des nombres infinis d’états peuvent être plus complexes à étudier, et
même si les fondements théoriques sont les mêmes, l’étude de chaînes particulières requiérera
l’emploi de techniques et de méthodes particulières adaptées aux sujets à l’étude.
Dans ce chapitre, nous allons nous intéresser à deux types de chaînes de Markov spéci-
fique ; pour chacune d’entre elles, nous explorerons les principaux résultats qu’il est possible
d’obtenir, et explorerons les méthodes employées pour y parvenir.
2.1. Le processus de Galton-Watson.

Le processus de Galton-Watson est un processus stochastique aussi appelé un processus
branchant. Il a été introduit à l’origine vers la fin du XIXe siècle pour étudier les arbres
de descendance, et plus particulièrement la question de déterminer à quelles conditions les
noms de famille (passés à l’époque de père en fils) sont assurés de perdurer dans le temps.
De façon plus générale, on peut utiliser un processus de Galton-Watson pour modéliser
l’évolution d’une population qui se reproduit « par clonage », indépendamment à chaque
génération. La façon typique de représenter l’évolution d’un processus de Galton-Watson
est de tracer un arbre, soit un graphe où chaque sommet représente un individu, relié par
une arête à son parent (figre 2.1).
Figure 2.1 – Exemple des 20 premières générations d’un arbre de Galton-

Watson.
85
86 2. CHAÎNES DE MARKOV À TEMPS DISCRET : ÉTUDES.
2.1.1. Définition du modèle. Nous allons faire les hypothèses suivantes :

i. Chaque individu ne produit d’enfants qu’une seule fois.
ii. Chaque individu produit tous ses enfants en même temps. Ses enfants font partie de la
génération suivante.
iii. Les nombres d’enfants produits par chaque individus respectivement sont des variables
aléatoires entières non-négatives, indépendantes et identiquement distribuées ; on no-
tera p : Z+ → [0, 1] la fonction de masse associée à cette distribution (c’est à dire que
p(k) est la probabilité pour un individu d’avoir k descendants directs).
La quantité principale qui nous intéresse, ce sera le nombre d’individus nés à la t-ième
génération, que l’on notera simplement Zt . Pour faire simple, on notera également Z0 le
nombre d’individus présents au départ – on fixe donc Z0 = 1.
On notera ξt,n le nombre d’enfants produits par le n-ième individu né à la t-ième géné-
ration. On a immédiatement que
Z1 = ξ0,1 .
Par nos hypothèses, on sait que les ξt,i sont indépendants et identiquement distribués, et
leur fonction de masse est donnée par p. De plus, pour n’importe que t fixé, on a :
Zt−1
X
(2.1.1) Zt = ξt−1,n .
n=1
Il suit que Zt ne dépend que de (ξu,i )u<t,i∈N ; en particulier, pour tout t, Zt est indépen-
dant de ξt,n pour tout n ∈ N.
Lemme 2.1. Le processus Z = (Zt )t∈Z+ est une chaîne de Markov homogène à temps
discret sur l’espace des états S = Z+ .
Démonstration. En effet, sachant que Zt = k, la loi de Zt+1 est tout simplement la
loi d’une somme de k variables aléatoires i.i.d. avec fonction de masse p ; cette loi ne dépend
pas de Zu pour u < t – donc c’est une chaîne de Markov. Mais cette loi ne dépend pas non
plus de t ; donc le processus est homogène. □
La loi du processus Z est entièrement caractérisée par la fonction de masse p : Z+ → [0, 1]

des ξt,n :
p(k) = P {ξt,n = k} ,
qui constitue en quelque sorte un ensemble de paramètres pour notre modèle. On introduit
également l’espérance du nombre d’enfants par individu :
∞
X
(2.1.2) µ = E [Z1 ] = kp(k)
k=0
Exemple 2.1. Supposons que Z = (Zt )t∈Z+ soit un processus de Galton-Watson où le

nombre d’enfants de chaque individu est de loi géométrique avec paramètre q : pour tout
k ≥ 1,
p(k) = (1 − q)k−1 q.
Soit Pi,j la probabilité de transition en un pas de i à j. Donner Pi,j .
2.1. LE PROCESSUS DE GALTON-WATSON. 87
Solution. On cherche P {Zt+1 = j | Zt = i}. Comme mentionné plus haut, sachant que
Zt = i, la loi de Zt+1 est simplement la loi d’une somme de i variables aléatoires géométriques
indépendantes de paramètre q ; on sait aussi que cette loi est une loi binomiale négative de
paramètres (i, q) ; donc, pour j ≥ i :

j−1
Pi,j = (1 − q)j−i q i .
i−1
Exemple 2.2. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson.

(a) Donner P0,0 et expliquer pourquoi l’état 0 est toujours seul dans sa classe d’équivalence,
récurrent et apériodique.
(t) (t)
(b) Expliquer pourquoi Pk,0 = (P1,0 )k .
Solution. (a) L’état 0 est l’état où il n’y a aucun individu né à la génération courante.
La population ne peut plus se reproduire ; il n’y aura aucun individu né dans la généra-
tion subséquente, et on doit donc avoir P0,0 = 1. L’état est donc récurrent, apériodique,
et seul dans sa classe d’équivalence puisqu’il s’agit d’un état absorbant.
(t)
(b) On a que Pk,0 est la probabilité qu’en t générations, on passe de k individus à l’extinction
complète du processus.
Si on se penche sur la descendance de chacun de ces individus, on voit que le pro-
cessus est éteint si et seulement si la descendance respective de chacun des k individus
est éteinte au temps t. Comme chacune de ces branches sont indépendantes, et identi-
(t)
quement distribuées, et que la probabilité qu’elles soient éteintes au temps t est P1,0 , on
a donc :
(t) (t)
Pk,0 = (P1,0 )k .
Dans l’exemple 2.2, ce que nous venons de voir, c’est que l’état 0 joue un rôle un peu
particulier dans un processus de Galton-Watson : il signifie la fin de la reproduction pour les
individus de la population. Si on assume que chaque individu meure après s’être reproduit,
l’état 0 représente la fin du processus, l’extinction de la population.
Questions intéressantes. De façon générale, les quantités qui vont nous intéresser
sont :
(t)
– P1,k = P {Zt = k | Z0 = 1}, la distribution du nombre d’individus de la t-ième
génération, et en particulier,
(t)
– P1,0 , la probabilité qu’il n’y ait aucun individu né à la t-ième génération – c’est-à-
dire que la population s’est éteinte à un moment avant la tième génération inclusi-
vement.
On note τ0 = inf {t ∈ Z+ : Zt = 0} le temps d’atteinte de l’état 0. La question primor-
diale est de connaître la probabilité de toucher 0 éventuellement ; on recherche
P1 {τ0 < +∞} ,
ce que l’on appellera la probabilité d’extinction.
On peut déjà entrevoir au moins un résultat amusant :
Lemme 2.2. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson où le nombre d’enfants

pour chaque individu suit une distribution dont la fonction de masse est p.
Alors :
i. Si p(0) = 0, alors P1 {τ0 < +∞} = 0.
ii. Si p(0) > 0, alors on a P1 {τ0 < +∞} > 0 ; de plus,
1
E1 [τ0 ] ≥ .
p(0)
Démonstration. i Si p(0) = 0, la probabilité de n’avoir aucun enfant est nulle,
et forcément, on a Zt ≥ 1 pour tout t.
ii Si p(0) > 0, alors clairement, P1 {τ0 < +∞} ≥ P1 {τ0 = 1} = p(0) > 0.
On a que
P1 {τ0 > t} = P1 {Zt > 0} .
On va noter q = 1 − p(0) la probabilité d’avoir au moins un enfant. Alors, pour
tout t, on a que :
P {Zt+1 > 0 | Zt = 1} = q.
De plus, on a montré à l’exemple 2.2 que pour tout k ≥ 1,
Pk,0 = (P1,0 )k ;
cela signifie que
P1 {Zt+1 > 0 | Zt = k} = 1 − Pk,0
= 1 − p(0)k
≥ 1 − p(0) = q,
et il suit que
∞
X
P1 {Zt > 0} = P1 {Zt > 0 | Zt−1 = k} P1 {Zt−1 = k}
k=1
X∞
≥q P1 {Zt−1 = k}
k=1
= qP1 {Zt−1 > 0} .
Par récurrence, on obtient donc que
P1 {τ0 > t} = P1 {Zt > 0} ≥ q t P1 {Z0 > 0} = q t .
Il suit que
∞
X
E1 [τ0 ] = P1 {τ0 > t}
t=0
X∞
≥ qt
t=0
1 1
= = .
1−q p(0)
□
2.1.2. Fonction génératrice, loi de la t-ième génération et probabilité d’ex-

tinction. On a déjà identifié dans le lemme 2.2 que, dans le cas où la probabilité de n’avoir
aucun enfant est nulle, la probabilité d’extinction est aussi nulle – comme le disent les
mathématicien·ne·s dans leur jargon technique, ænqu’à’ouerre-on’oué-ben.
Mais qu’en est-il de façon plus générale ? Peut-on calculer cette probabilité ? Peut-on
obtenir la loi de la t-ième génération facilement ?
La réponse à ces questions se trouve dans un outil très puissant : les fonctions génératrices
des probabilités.
On va définir :
X∞
(2.1.3) p(k)sk = E sZ1 /,

ψ(s) =
k=0
où p(k) est la probabilité d’avoir k enfants, et s est une variable libre. ψ est la fonction
génératrice des probabilités de la distribution du nombre d’enfants.
Rappels sur les fonctions génératrices des probabilités. Nous allons d’abord procéder à
quelques rappels concernant les fonctions génératrices des probabilités.
Lemme 2.3. La série k≥0 p(k)sk converge uniformément pour s ∈ [−1, 1].
P
Démonstration. Puisque les p(k) sont des probabilités, on a que |p(k)| ≤ 1 pour tout
k, et il suit par comparaison que la série
∞
X
p(k)sk
k=0
converge pour tout s ∈ (−1, 1). Si s = −1, on a que
X∞
ψ(−1) = (−1)k p(k).
k=0
Or, cette série est absolument convergente – donc elle est convergente – puisque ∞
P
k=0 p(k) =
1; c’est également pour cela qu’on peut affirmer que la Pn série converge pour s = 1. Donc,
ψ(s) est bien définie. Par ailleurs, si on écrit fn (s) = k=0 p(k)s pour la n-ième somme
k
partielle de la série k≥0 p(k)sk , alors on a que

P
X
sup |ψ(s) − fn (s)| = sup p(k)sk
s∈[−1,1] s∈[−1,1] k>n
X
≤ p(k);
k>n
On conclue en remarquant que tend vers 0 lorsque n tend vers l’infini.
P
k>n p(k) □
Remarque. Le rayon de convergence n’est pas forcément strictement égal à 1 ; il peut
être plus grand. Mais on sait au moins que ψ(s) est définie sur l’intervalle [−1, 1].
On note les égalités suivantes, qui sont importantes :

(2.1.4) ψ(0) = p(0); ψ(1) = 1.
La conséquence du Lemme 2.3, c’est qu’on peut faire tout un tas de choses amusantes
avec ψ – principalement, on peut la dériver en dérivant la série qui la définit terme par
terme, etc.
Lemme 2.4. La fonction ψ(s) est infiniment dérivable (on dit aussi lisse) sur l’intervalle
nième dérivée de ψ, notée ψ (n) , correspond à la nième dérivée,
(−1, 1). Sur cet intervalle, la P
terme par terme, de la série k≥0 p(k)sk :

k! Z1 !
1{Z1 ≥n} ;
X
Z1 −n
(2.1.5) (n)
ψ (s) = p(k) s k−n
=E s
(k − n)! (Z1 − n)!
k≥n
Cette série converge uniformément sur tout intervalle [−ϵ, ϵ] pour 0 < ϵ < 1. En particulier,
pour tout n, on a que :
(2.1.6) ψ (n) (0) = n!p(n)
Si E [Z1n ] < +∞, alors cette série converge uniformément sur [−1, 1] et on peut étendre,
par continuité, la fonction ψ (n) à l’intervalle fermé [−1, 1] avec :
(2.1.7) ψ (n) (±1) = lim ψ (n) (s).
s→±1∓
En particulier, on a que :

Z1 !
(2.1.8) (n)
ψ (1) = E 1 = E [Z1 (Z1 − 1)(Z1 − 2) · · · (Z1 − n + 1)]
(Z1 − n)! {Z1 ≥n}
est le nième moment factoriel de Z1 .
Démonstration. On a que (k−n)! k!
≤ k n . Il suffit donc de montrer que la série k≥n p(k)k n sk−n
P
converge uniformément sur l’intervalle (−ϵ, ϵ) pour tout ϵ ∈ (0, 1). En supposant que
s ∈ [−ϵ, ϵ], la valeur absolue du terme général est bornée par ≤ k n ϵk ; c’est une série qui
converge. On prouve alors la convergence uniforme de façon similaire à la preuve du Lemme
2.3. On peut donc dériver terme par terme une infinité de fois
Maintenant, si on suppose que E [Z1n ] < +∞, la série k≥n k n p(k) converge, et donc
P
k!
p(k) converge aussi, et on peut prouver la convergence uniforme de la série
P
k ≥ n (k−n)!
k! k−n ur l’intervalle [−1, 1] de la même façon qu’on l’a fait dans le Lemme
P
k≥n p(k) (k−n)! s
2.3. Il suit que les limites lims→±1∓ ψ (n) (s) existent et sont bien égales aux valeurs corres-
pondantes des séries. □
Corollaire. La fonction ψ caracérise entièrement la distribution de Z1 , puisqu’on peut

retrouver sa fonction de masse en prenant des dérivées successives en 0 :
ψ (n) (0)
p(n) = .
n!
Lemme 2.5. La fonction ψ et ses dérivées sont positives, croissantes et convexes 1 partout
où elles sont définies dans l’intervalle [0, 1].
Démonstration. Si s ≥ 0, alors le terme général de la série qui définit ψ (et de celles
qui sont égales à ses dérivées) est positif : p(k)sk ≥ 0. Par conséquent, ψ(s) ≥ 0, et de même,
ψ (n) (s) ≥ 0. En particulier, les premières et secondes dérivées de ψ et de ψ (n) sont positives
partout où elles sont définies sur [0, 1], et il suit immédiatement qu’elles sont croissantes et
convexes (pas forcément strictement). □
1. Consulter l’annexe B pour des rappels sur les fonctions convexes.

De retour à notre programmation régulière. On va faire les hypothèses suivantes :

i. 0 < p(0) < 1 ;
ii. 0 < p(0) + p(1) < 1 ;
P
iii. µ = k≥1 kp(k) = E [Z1 ] < +∞.
Les hypothèses i et ii nous assurent que, non seulement la fonction ψ est positive, crois-
sante et convexe – elle est strictement positive, croissante et convexe pour s ∈ (0, 1). En
effet, si il faut qu’il existe un k > 1 tel que p(k) > 0, alors les dérivées premières et seconde
de ψ seront strictement positives sur l’intervalle (0, 1).
Ces hypothèes sont naturelles à formuler. Si on assume que p(0) = 1, le problème est
vide ; le processus s’éteint après la génération 0. Si on assume que p(0) = 0, il ne s’éteint
jamais. Si on assume que p(0) + p(1) = 1, alors il faut que p(1) = 1 − p(0). Le processus
se résume donc à une suite de tentatives de Bernoulli indépendantes, ce qui n’est que très
légèrement moins trivial.
L’hypothèse iii nous assure que ψ ′ (1) = lims→1− ψ ′ (s) existe et est finie. La figure 2.2
montre l’allure typique de fonctions génératrices qui respectent ces conditions.
1.0
0.8
0.6
0.4
0.2
0.0 0.2 0.4 0.6 0.8 1.0
Figure 2.2 – Les fonctions génératrices pour les distributions de Poisson

(en bleu ; paramètre λ = 1) et binomiale (en jaune ; n = 3 et p = 1/2). La
diagonale y = s est représentée en pointillés.
2.1.2.1. La probabilité d’extinction. On cherche la probabilité d’extinction

P1 {τ0 < +∞} .
On peut se servir du théprème ergodique
(théorème 1.1) ; en effet, l’état 0 est récurrent
et apériodique. On a évidemment que E0 τ0+ . Donc, par le théorème ergodique, on sait

(t)
déjà que la limite limt→∞ P1,0 existe, et que :
(t)
lim P1,0 = P1 {τ0 < +∞} .
t→∞
(t) (t)
On a également vu, à la partie (b) de l’exemple 2.2, que Pk,0 = (P1,0 )k . On va se servir
de ces deux faits pour raisonner, en obtenant une récurrence, par un conditionnement par
le premier pas :
∞
(t)
X
P1,0 = P1 {Zt = 0 | Z1 = k} P1 {Z1 = k}
k=0
∞
(t−1)
X
= p(k)Pk,0 .
k=0
La seconde égalité s’obtient en vertu du fait que P1 {Zt = 0 | Z1 = k} est simplement égale
à Pk Zt−1 = 0 par homogénéïté et la propriété de Markov ; quant à P1 {Z1 = k}, c’est la
probabilité que l’individu de la génération 0 ait eu k enfants, soit p(k).
On utilise maintenant le résultat de l’exemple 2.2 (b), pour écrire :
∞
(t) (t−1) (t−1)
X
(2.1.9) P1,0 = p(k)(P1,0 )k = ψ(P1,0 ).
k=0
Cette relation de récurrence s’avère très utile ; en effet, puisque la fonction ψ est continue
(t) (t−1)
sur [0, 1], et que la limite limt→∞ P1,0 = u (et limt→∞ P1,0 = u) existe, on doit avoir que
cette limite u satisfait :
u = ψ(u).
La limite u est donc ce que l’on appelle un point fixe de la fonction ψ – c’est un point
de l’intervalle où ψ est définie, et dont l’image par ψ est simplement le point lui-même.
Sur un graphe de la fonction ψ(s) pour s ∈ [0, 1], les points fixes sont les endroits où le
graphe de la fonction croise la diagonale y = s (représentée en pointillés sur la figure 2.2).
Notre objectif, maintenant, c’est d’identifier les points fixes de la fonction ψ. On peut
déjà faire la proposition suivante :
Proposition 2.1. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson avec fonction de
masse du nombre d’enfants p, fonction génératrice des probabilités pour le nombre d’enfants
ψ, et µ = E [Z1 ] = ψ ′ (1). Alors,
i. si µ ≤ 1, alors la probabilité d’extinction est de 1 :
P1 {τ0 < +∞} = 1.
ii. si µ > 1, alors la probabilité P1 {τ0 < +∞} = u est l’unique nombre dans l’intervalle
(0, 1) qui satisfait u = ψ(u).
Démonstration. i On sait déjà que la valeur u = 1 satisfait u = ψ(u) ; il faut
maintenant montrer que c’est la seule valeur possible qui satisfait cette équation
dans l’intervalle [0, 1]. Pour ce faire, on utilise des arguments d’analyse simples. On
peut comprendre intuitivement ce qui se passe lorsqu’on regarde la courbe bleue de
la figure 2.2 – lorsque µ = ψ ′ (1) ≤ 1, le graphe de ψ doit se situer au-dessus de la
diagonale pointillée sauf en s = 1.
On considère la fonction f (s) = ψ(s) − s ; on veut montrer qu’elle ne peut pas
s’annuler avant s = 1. On a que f (0) = p(0) > 0, et f (1) = 0. Or, la fonction
f a pour dérivée f ′ (s) = ψ ′ (s) − 1, et bien sûr, la fonction ψ ′ (s) est strictement
croissante en s (puisque ψ est strictement convexe) ; Puisque ψ ′ (1) = µ ≤ 1, on
doit avoir que ψ ′ (s) < 1 pour tout s < 1.
Donc, on a que f ′ (s) = ψ ′ (s) − 1 < 0 pour tout s < 1, et il suit que la fonction
f est strictement décroissante sur l’intervalle [0, 1) ; en supposant qu’il existe u < 1
tel que f (u) = 0, on devrait donc avoir f (1) < 0, ce qui est contradictoire puisqu’on
sait que f (1) = 0.
Donc, u = 1 est bel et bien la seule solution de l’équation u = ψ(u) dans ce cas.
(t)
Or, la limite u = limt→∞ P1,0 = P1 {τ0 < +∞} par le théorème ergodique, et il
suit nécessairement que P1 {τ0 < +∞} = 1.
ii Si on suppose plutôt que µ > 1, alors, toujours avec notre fonction f (s) = ψ(s) − s,
on a que f ′ (1) > 0, tandis que f ′ (0) = ψ ′ (0) − 1 = p(1) − 1 < 0. Par continuité,
monotonicité de f ′ et le théorème des valeurs intermédiaires, il existe exactement un
unique point x ∈ (0, 1) tel que f ′ (x) = 0 ; ce point doit être un minimum absolu pour
la fonction f sur l’intervalle [0, 1], puisque cette dernière est strictement convexe
(en effet, f ′′ (s) = ψ ′′ (s) > 0). On doit donc avoir f (x) < 0.
Encore par le théorème des valeurs intermédiaires, et par monotonicité de f sur
l’intervalle [0, x], on doit donc avoir un unique u < x tel que f (u) = 0. Il existe
donc un unique u ∈ (0, 1) qui satisfait f (u) = 0.
Par convexité de f , on a que :
– pour tout s ∈ [0, u), f (u) > 0 ;
– pour tout s ∈ (u, 1), f (u) < 0.
Encore une fois, on comprend bien ce qui arrive en regardant la courbe jaune de la
figure 2.2 : la fonction génératrice ψ ne peut croiser la diagonnale pointillée qu’une
seule fois avant s = 1.
Mais on a donc deux valeurs possible dans [0, 1] qui satisfont l’équation u =
ψ(u) : 1, et une autre strictement plus petite que 1. On va montrer que la suite
(t)
P1,0 ne converge pas vers 1, en procédant par contradiction.
(t)
Supposons que limt→∞ P1,0 = 1. Dans ce cas, il existe un certain N ∈ N tel que
(t)
pour tout t > N , on a que P1,0 > u, où u est le point fixe non-trivial de ψ (donc
0 < u < 1).
(t)
puisque P1,0 > u pour tout t > N , alors il suit que, si t > N , on a que
(t+1) (t) (t)
P1,0 = ψ(P1,0 ) < P1,0 ,
(t)
soit que la suite décroit strictement. Puisque la suite P1,0 est strictement décrois-
sante et bornée supérieurement par 1, sa limite doit être strictement inférieure à 1,
ce qui contredit l’hypothèse que nous avons introduite ; on doit donc la rejeter : la
(t)
suite P1,0 ne peut pas converger vers 1 si µ > 1.
(t)
Donc, on est forcé·e·s de conclure que la limite de la suite P1,0 est l’unique
valeur u contenue dans (0, 1) et qui satisfait u = ψ(u).
□
Exemple 2.3. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson où le nombre d’enfants

suit une distribution binomiale avec n = 3 et p = 1/2 :
p(k) = k3

8.
(a) Quelle est la valeur de E [Z1 ] ?
(b) Ce processus s’éteindra-t-il forcément ? Si non, quelle est la probabilité de survie ?
Solution. (a) On a que E [Z1 ] = np = 3
2 = µ.
(b) Puisque µ = 32 > 1, il suit que le processus a une probabilité d’extinction inférieure à 1
– donc une probabilité de survie positive.
Pour trouver la probabilité de survie, il faut d’abord trouver ψ(s) ; c’est :
1 3 3 1
ψ(s) = + s + s2 + s3 .
8 8 8 8
On veut maintenant résoudre :
ψ(s) = s.
On obtient l’équation :
s3 + 3s2 − 5s + 1 = 0.
Évidemment, s = 1 satisfait cette équation ; on peut donc factoriser (s − 1). On trouve
que
s3 + 3s2 − 5s + 1 = (s − 1)(s2 + 4s − 1),
et on peut maintenant résoudre
0 = s2 + 4s − 1
= (s2 + 4s + 4) − 5
= (s + 2)2 − 5.
√ √
Finalement, on trouve que (s + 2) = ± 5, donc que s = −2 ± 5.
Bien
√ sûr, on veut une solution entre 0 et 1 exclusivement. Il faut donc prendre
s = 5 − 2.
Finalement, on a donc que
√
P1 {τ0 < +∞} = 5 − 2 ≈ 23, 6%.
La probabilité de survie est donc
√
1 − P1 {τ0 < +∞} = 3 − 5 ≈ 76, 4%.
2.1.2.2. La distribution de Zt . Pour connaître la distribution de Zn , on utilise encore les

fonctions génératrices ; on définit :
∞ ∞
(t)
X X
P1 {Zt = k} sk = P1,k sk = E sZt .

ψt (s) =
k=0 k=0
Comme pour ψ et Z1 , si on parvient à trouver ψt , on aura entièrement caractérisé
la distribution de Zt ; il suffira alors de prendre les dérivées pertinentes pour extraire les
informations voulues sur la distribution.
Proposition 2.2. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson avec la fonction de

masse du nombre d’enfants donnée par p, la fonction génératrice des probabilités du nombre
d’enfants donnée par ψ, et la fonction génératrice des probabilités de Zt donnée par ψt .
Alors, on a que ψ1 = ψ, et
(2.1.10) ψt = ψt−1 ◦ ψ.
Plus spécifiquement,
(2.1.11) ψt = ψ ◦ ψ ◦ ψ ◦ · · · ◦ ψ .
| {z }
t fois
Démonstration. Pour ce faire, on va utiliser les espérances conditionnelles : en effet,

on a que :
ψt = E E sZt Zt−1 .

On s’intéresse donc à E sZt Zt−1 . Par l’équation 2.1.1, on a que, si Zt−1 = k,

Zt = ξt−1,1 + ξt−1,2 + ξt−1,3 + · · · + ξt−1,k .

Donc,
h i
E sZt Zt−1 = k = E sξt−1,1 +ξt−1,2 +ξt−1,3 +···+ξt−1,k

Zt−1 = k .
Mais les ξt−1,i sont indépendants de Zt−1 , indépendant entre eux, et identiquement distri-
bués. On a donc que :
h ik k
E sZt Zt−1 = k = E sξ0,1 = E sZ1 = ψ(s)k .

Donc,
E sZt Zt−1 = ψ(s)Zt−1 ,

et en appliquant l’espérance de part et d’autre, on trouve :

ψt (s) = E E sZt Zt−1 = E ψ(s)Zt−1 = ψt−1 (ψ(s)).

On conclue donc :
ψt = ψt−1 ◦ ψ.
Évidemment ψ1 = ψ par définition de ψ ; on voit facilement que l’équation 2.1.11 est
vraie par induction sur t. □
Les détails de la distribution de Zt peuvent tout de même rester ardus à obtenir ; il faut
d’abord calculer ψt , puis la dériver plusieurs fois. Mais c’est théoriquement possible. Par
ailleurs, on peut montrer certaines choses assez facilement.
Proposition 2.3. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson avec µ = E1 [Z1 ] .
Alors, on a que
(2.1.12) E1 [Zt ] = µt .
Démonstration. Soient ψ et ψt les fonctions génératrices des probabilités respective-
ment pour Z1 et Zt ; alors, on a que : ψt (s) = ψt−1 (ψ(s)), et en dérvant, on trouve :
ψt′ (s) = ψt−1
′
(ψ(s))ψ ′ (s).
Donc,
ψt′ (1) = ψt−1
′
(ψ(1))ψ ′ (1) = ψt−1
′
(1)µ.
Bien sûr, avec ψ1′ (1) = ψ ′ (1) = µ, on trouve donc, par récurrence, que
ψt′ (1) = E1 [Zt ] = µt .
□
Si on définit la population totale du processus de Galton-Watson comme la somme des

nombres d’individus de chaque génération, on a que la population totale (disons T ) est
donnée par la série
∞
X
T = Zt ,
t=0
et
∞
(
X si µ < 1
1
E [T ] = µt = 1−µ .
t=0
+∞ si µ ≥ 1
Remarque. On remarque que dans le cas dit critique, où µ = 1, la probabilité d’ex-

tinction est de 1, mais la taille espérée de la population totale est tout de même infinie.
2.2. La marche aléatoire sur Zd

De façon très informelle, on appelle marche aléatoire tout processus stochastique (gé-
néralement à temps discret) que l’on peut visualiser comme le déplacement aléatoire d’un
« marcheur » sur un espace mathématique quelconque – un graphe, le plan, une variété
Riemannienne...
Remarque. Le graphe des transitions possibles peut-être vu comme cet espace ma-
thématique, et donc si on y tient, n’importe quel processus stochastique à temps discret
peut être considéré, si l’on veut, comme une marche aléatoire sur son graphe des transitions
possibles.
Dans la section qui suit, nous étudions les marches aléatoires à pas entiers en d di-
mensions ; l’espace des états est Zd , soit l’ensemble des points de l’espace euclidien avec
coordonnées entières.
2.2.1. Le cas d = 1. Le modèle en une dimension nous est déjà quelque peu familier :
on suppose que les probabilités de transition sont données par
Pi,i+1 = p Pi,i−1 = q = 1 − p,
où p fait office de paramètre.
La figure 2.3 montre des trajectoires typiques pour différentes valeurs de p.
L’analyse de ce processus nous est déjà quelque peu familière ; nous savons déjà qu’il n’y
a qu’une seule classe d’équivalence.
Proposition 2.4. Soit X = (Xt )t∈Z+ une marche aléatoire sur Z avec probabilités de
transition en un pas Pi,i+1 = p et Pi,i−1 = 1 − p =: q.
Alors, l’espérance du temps de retour en 0 est infinie :
E0 τ0+ = +∞.

2.2. LA MARCHE ALÉATOIRE SUR Zd 97
40 60
20 40
20
100 200 300 400 500
-20
100 200 300 400 500
-20
-40
(a) p = 1/2 (b) p = 53/100

350
300
150
250
200
100
150
100
50
50
100 200 300 400 500 100 200 300 400 500
(c) p = 66/100 (d) p = 4/5
Figure 2.3 – Pour chaque valeur de p, 30 réalisations des 500 premiers pas
d’une marche aléatoire sur Z.
Démonstration. En supposant que cette espérance est finie, puisque la chaîne est
irréductible, on devrait avoir que
(t)
lim P0,0 = 1/E0 τ0+ ,

t→∞
or, puisque la chaîne est irréductible et que l’espérance est finie, il existe une distribution
stationnaire. Mais on a
πi = πi−1 p + πi+1 q;
En soustrayant qπi + pπi−1 de part et d’autre on trouve
p(πi − πi−1 ) = q(πi+1 − πi ),
ou, réarrangeant :
p
πi+1 − πi =(πi − πi−1 ).
q
On remarque donc que la différence entre les πi est au mieux constante lorsque p = q, ou
exponentielle si p ̸= q ; puisque ces équations sont valides pour tous i ∈ Z, si p ̸= q, on
peut toujours trouver un i tel que πi > 1, peu importe la valeur de π0 et π1 . Ceci est une
contradiction, et on doit conclure que, bien qu’il puisse exister une solution stationnaire, ça
n’est pas une distribution.
Si p = q, la différence entre πi et πi−1 est constante – elle doit être nulle, sinon, il y a
forcément un i tel que πi < 0. Mais alors, les seules solutions stationnaires sont de la forme
πi = C, et il n’en existe aucune qui satisfait la condition de normalisation. Donc il n’y a
toujours pas de distribution stationnaire.
Donc, on doit avoir E0 τ0+ = +∞.

□
La question de déterminer si la chaîne est transiente ou récurrente. Pour ce faire, il
existe plusieurs méthodes. Dans le cas qui nous intéresse ici, nous allons faire les preuves en
utilisant le théorème de la limite centrale.
Proposition 2.5. Soit X = (Xt )t∈Z+ une marche aléatoire sur Z avec probabilités de
transition en un pas Pi,i+1 = p et Pi,i−1 = 1 − p =: q.
Alors la marche aléatoire est récurrente si seulement si p = 1/2.
Démonstration. On peut écrire Xt = X0 + tu=1 Yu , où les Yu sont des variables
P
aléatoires indépendantes et identiquement distribuées avec
P {Yu = 1} = p, P {Yu = −1} = 1 − p.
Or, ce faisant, on trouve immédiatement que
E [Y1 ] = p − q, Var [Y1 ] = 1 − (p − q)2 = 4pq
Par conséquent, il suit que, lorsque t tend vers l’infini,
Xt − (p − q)t
Zt = √
4pqt
converge en distribution vers une loi normale standard.
En particulier,
si p > q,

(p − q)t
P0 {Xt = 0} = P0 Zt = − √
4pqt
n √o
≤ P0 Zt ≤ −C t
1 2
≤ e−C t/2 ,
2
où C est une constante ne dépendant pas de t, et où on a utilisé un estimé pratique sur la
queue d’une variable normale :
1 2
P {N (0, 1) ≥ u} ≤ e−u /2 .
2
Donc, par le critère donné par la proposition 1.8, on a que
∞ ∞
X (t) 1 X −C 2 t/2
P0,0 ≤ e
2
t=1 t=1
converge, et les états sont transients.
si p = q = 1/2, c’est un peu plus difficile, mais on peut tout de même faire le calcul
directement. En effet, dans ce cas, Xt = 0 si et seulement si t = 2n et on a fait exactement
n pas à gauche, et n à droite ; c’est à dire que :

1 2n 1 (2n)!
P0 {Xt = 0} = n = n .
4 n 4 n! · n!
Pour nous tirer d’affaire, on utilise l’approximation de Stirling pour les factoriels :
√
n! ∼ 2πn (n/e)n .
On a donc : √
1 2n 4πn (2n/e)2n 1
n
∼ 2n =√ ,
4 n 4n 2πn (n/e) πn
P∞ P∞
et bien sûr, n=1
√1
πn
diverge, donc t=1 P0 {Xt = 0} aussi, et l’état 0 est récurrent. □
Les limites supérieures et inférieures ; la vitesse de croisière. Par la loi des grands
nombres, on a bien sûr que
Xt
(2.2.1) lim = p − q p. s.
t→∞ t
Ceci nous donne une indication sur la vitesse de croisière de la marche ; elle s’éloigne de son
point d’origine à un rythme moyen égal à (p − q) pas par unité de temps.
Bien sûr, lorsque p = q = 12 , cette vitesse de croisière est nulle. Néanmoins, on sait que
pour tout élément ±i, avec i ∈ N, on a que, puisque la chaîne est irréductible et que les
états sont récurrents,
P0 {τ±i < +∞} = 1;
c’est à dire qu’on atteindra éventuellement tous les éléments de Z. Autrement dit, dans le
cas récurrent :
(2.2.2) lim sup ±Xt = +∞ p. s.
t→∞
Si on souhaite être plus précis, on peut utiliser à nouveau le théorème
√ de la limite centrale
dans le cas récurrent : dans ce cas, la variable aléatoire Zt = Xt / t converge en distribution
vers une variable aléatoire de loi normale standard ; conséquemment, Zt2 = Xt2 /t converge
en distribution vers une variable aléatoire de loi χ2 ; on a donc que
Var [Xt ] ∼ t.
Excursions. On introduit maintenant la notion d’excursion.

Une excursion correspond à la portion de temps consécutif avant un retour à l’état 0,
partant de 0.
On introduit la hauteur maximale d’une excursion
H = max |Xt | : t ≤ τ0+ .

La figure 2.4 montre les excurisions lors des 50 premiers pas d’une marche aléatoire
récurrente sur Z.
On peut se convaincre que :
P0 {H ≥ n} = P1 {τn < τ0 } ;
en effet, l’excursion sera de hauteur au moins n si et seulement si, partant de 0, selon qu’on
est allé.e.s d’abord à ±1, on touche ensuite ±n avant de revenir en 0. Comme nous l’avons
vu à l’exemple 1.17, cette probabilité est donc :
1
P0 {H ≥ n} = ;
n
on peut donc caractériser complètement la fonction de masse de H :
1 1 1
P0 {H = n} = P {H ≥ n} − P {H ≥ n + 1} = − = 2 .
n n+1 n +n
10 20 30 40 50
-2
-4
Figure 2.4 – Les excursions sont séparées par des lignes verticales rouges.
D’autres problèmes intéressants. Nous avons déjà vu que E0 τ0+ = +∞ ; il pourrait

être intéressant d’obtenir plus de détails sur la distribution de τ0+ ; dans les faits, on a le
résultat suivant :

+ 1 2n 1
P0 τ0 = 2n = n
= P0 {X2n = 0} ...
(2n − 1)4 n 2n − 1
2.2.2. Le cas d = 2. On passe maintenant à « la vitesse supérieure » ; qu’est-ce qui se

passe si on regarde plutôt une marche aléatoire, non pas sur Z, mais sur une grille Z2 , où
les transitions possibles sont entre les sommets voisins (à distance 1).
Soit X = (Xt )t∈Z+ une marche aléatoire sur Z2 avec les probabilités de transition sui-
vantes :
1
P(i,j),(i,j±1) = P(i,j),(i±1,j) = .
4
La figure 2.5 montre les dix mille premiers pas d’une réalisation de marche aléatoire sur
Z2 .
Récurrente ou transiente ? D’abord, on cite tout de suite une évidence : si on note
0 = (0, 0) notre point d’origine,
E0 τ0+ = +∞.

Si c’était le cas en une dimension, le fait d’avoir rajouté encore plus d’endroits où aller pour
éviter de retourner à 0 n’aura pas amélioré les choses.
La question demeure : ce processus est-il récurrent ou transient ? La réponse n’est pas
triviale dutout !
Pour la trouver, il faut...
Une analogie avec les circuits électriques. Le problème posé est le suivant : on s’imagine
que notre graphe est en fait un vaste circuit électrique ; sur chaque arête, on a placé une
résistance d’un Ohm (figure 2.6).
A priori, on semble avoir changé complètement de sujet... mais en fait, non ! Il existe
un parallèle puissant entre circuits électriques et marches aléatoires ! C’est ce qu’on explore
dans les prochains paragraphes.
Figure 2.5 – Les 10000 premiers pas d’une marche aléatoire dans Z2 ; les
points de départ et d’arrivée sont marqués en rouge.
Rappel de notions de physique, partie 1 : définitions et postulats. Si on représente un

circuit électrique comme un graphe simple G = (S, E), où les arêtes (non-orientées) cor-
respondent aux composantes résistives du circuit, et les sommets sont les points de contact
électrique (les nœuds) entre ces composantes, la physique nous donne des lois simples pour
décrire mathématiquement les déplacements de charges dans le circuit :
Définition 2.1 (Courant, potentiel, conductance, résistance, sources). i. Le courant
électrique qui circule entre deux nœuds voisins x et y, dans la direction de x vers y,
est le débit de charges électriques transférés de x à y par unité de temps. On le note
i(x, y). Dans le système international d’unités, il est mesuré en Ampère ; un Ampère
correspond à un Coulomb de charge par seconde.
Le courant est positif si le débit de charges net circule vers y, et négatif si il circule
plutôt vers x. On a en outre que
i(x, y) = −i(y, x).
ii. Le potentiel électrique au nœud x indique la quantité d’énergie disponible par charge
lorsqu’elle se trouve en x, et est noté v(x). Dans le système international d’unités, il est
mesuré en Volts ; ça peut être une quantité positive ou négative. En fait, le potentiel
est toujours déterminé à une constante près, puisque le niveau de référence de potentiel
électrique est arbitraire.
iii. La conductance d’une composante électrique mesure la propension de celle-ci à laisser
passer librement le courant électrique. Plus une conductance est élevée, plus les charges
qui y circulent doivent dépenser de l’énergie pour la traverser.
Figure 2.6 – Une grille infinie de résistances d’un Ohm.
Dans notre circuit électrique, si les sommets x et y sont adjacents (c’est à dire qu’ils
sont reliés par une composante électrique), on note la conductance de cette composante
c(x, y). La conductance est une quantité positive (ou nulle si le courant ne peut pas
passer), et on a que, bien sûr,
c(x, y) = c(y, x).
iv. La résistance d’une composante électrique mesure sa propension à empêcher le passage
du courant ; c’est simplement l’inverse de la conductance :
r(x, y) = c(x, y)−1 .
Dans le système international d’unités, les résistances sont mesurées en Ohm (noté Ω),
et les conductances en Ohm−1 .
v. Lorsqu’on applique à un circuit une différence de potentiel entre deux nœuds x et y,
ces nœuds sont appelés des sources de courant.
Les lois physiques qui régissent les interactions entre ces différentes quantités sont dictées
par des principes physiques que nous accepterons ici sans trop de justification, comme des
postulats ; ce sont les lois d’Ohm et de Kirchhoff :
Postulat 1 (Loi d’Ohm). Le courant qui circule à travers un composant électrique est
en proportion de sa conductance et de la différence de potentiel à ses bornes ; en fait :
(2.2.3) i(x, y) = c(x, y)(v(x) − v(y)),
ou, de façon équivalente,

v(x) − v(y) = r(x, y)i(x, y).
Postulat 2 (Loi des nœuds de Kirchhoff). La conservation des charges impose que le
débit de charges net circulant à tout nœud x qui n’est pas une source de courant doit être
nul ; autrement dit, pour tout nœud x excepté les sources de courant,
X
(2.2.4) i(x, y) = 0.
y:x∼y
Parmi les questions intéressantes à se poser :

(a) En supposant qu’on applique une différence de potentiel totale v(x) − v(y) = 1 entre
deux nœuds-source x et y, peut-on savoir le potentiel partout dans le circuit ?
(b) Quel est le courant total qui circule dans tout le circuit ? Et sur chaque branche indivi-
duellement ?
Pour répondre à ces questions, on se sert des lois d’Ohm et de Kirchhoff.
La loi des nœuds et le potentiel. Si on applique une différence de potentiel v(x)−v(y) = 1
entre deux sources de courant x et y dans notre circuit électrique, on peut choisir la jauge
de telle sorte que v(y) = 0 et v(x) = 1.
Pour tout autre nœud z, on montre assez facilement que :
X c(z, w)
(2.2.5) v(z) = v(w),
w:z∼w
λ(z)
où nous avons écrit λ(z) = w:z∼w c(z, w) la somme de toutes les conductances des compo-
P
santes incidentes au nœud z.
On dit que le potentiel est une fonction harmonique pour notre circuit, puisque v(z) est
la moyenne du potentiel sur les nœuds voisins, pondérée par les conductances ; en résolvant
ce système d’équations linéaire (l’équation (2.2.5) pour tout z ̸= x, y, avec v(x) = 1 et
v(y) = 0), on peut trouver le potentiel.
La conductance effective. Pour savoir quel est le courant total qui circule entre les sources
x et y lorsqu’on y applique une différence de potentiel d’un volt, on peut s’imaginer un instant
qu’on cherche à remplacer tout le circuit entre ces deux nœuds par une seule composante.
La quantité d’énergie dissipée par cette composante doit être la même que celle dissipée par
tout le circuit.
Définition 2.2 (Conductance, résistance effectives). La conductance effective du
circuit entre les sources x et y est la conductance qu’il faut donner a un unique composant
de circuit placé entre ces deux sources pour que le courant qui y circule soit égal au courant
total qui circulait dans le circuit original. On la note Ceff (x, y).
La résistance effective du circuit entre les sources x et y, notée Reff (x, y), est simple-
ment :
Reff (x, y) = Ceff (x, y)−1 .
Pour calculer ces quantités, on réduit le circuit de façon itérative en y effectuant des
transformations qui réduisent chaque fois le nombre de composantes, tout en préservant la
conductance effective, jusqu’à ce qu’il ne reste plus qu’une seule composante de circuit (soit
une seule arête dans le graphe). Les transformations possibles sont les suivantes (figure 2.7) :
c1
r1 r2
c1+c2
r1+r2 c2
(a) Composantes en série : les (b) Composantes en parallèle : les conductances
résistances s’additionnent. s’additionnent.
Figure 2.7 – Règles élémentaires de réduction des circuits.
Postulat 3. On peut toujours remplacer deux composantes placées en série par une
seule dont la résistance est la somme des deux composantes remplacées.
Postulat 4. On peut toujours remplacer deux composantes placées en parallèle par
une seule dont la conductance est la somme des deux composantes remplacées.
Il existe finalement une autre équivalence pratique qui ne réduit pas le nombre d’arêtes,
mais qui peut se révéler utile tout de même pour la réduction de circuits – on l’appelle
l’équivalence étoile-triangle (figure 2.8) :
r1 γ/c3
c1 c2
1/(γr3) 1/(γr2)
r2 r3 γ/c2 γ/c1
1/(γr1) c3
γ=(r1+r2+r3)/(r1r2r3) γ=(c1c2c3)/(c1+c2+c3)
(a) Du triangle vers l’étoile. (b) De l’étoile vers le triangle.
Figure 2.8 – L’équivalence étoile-triangle.
Postulat 5. En supposant qu’on a trois sommets z1 , z2 , z3 tels que zi ∼ zi+1 (où les
indices sont modulo 3), le triangle de composantes est équivalent à une « étoile », où on
ajoute un quatrième sommet w ; on retire alors toutes les composantes entre les zi et zi±1 ,
et on ajoute à la place des composantes respectivement entre zi et w, avec les conductances
c′ (zi , w) = γ/c(zi−1 , zi+1 ),
où
r(z1 , z2 ) + r(z2 , z3 ) + r(z3 , z1 )
γ= .
r(z1 , z2 )r(z2 , z3 )r(z3 , z1 )
En utilisant les postulats 3, 4 et 5 (en fait ce sont des résultats démontrables mais on
les accepte comme tels), on peut toujours réduire n’importe quel circuit jusqu’à n’obtenir
qu’une seule composante ; on a alors que, avec un voltage unitaire (v(x) − v(y) = 1) :
X
Itot = i(x, z) = Ceff (x, y),
z:x∼z
ou, en développant :
!
X c(x, z)
(2.2.6) Ceff (x, y) = λ(x) 1 − v(z) .
z:x∼z
λ(x)
Exemple 2.4. Réduire le circuit électrique suivant (où les conductances sont toutes
unitaires) pour torouver Ceff (x, y).
Solution. En appliquant les postulats, on obtient la chaîne de réductions et de trans-

formations présentée à la figure 2.9 (tirée de Lyons, Peres)
1/3 y
y
1/2
1 1/2
x x
1/3
1/11
1/11 2/11 y
x y
3/11
20/33 15/22 1/2
x 1/3
7/17
x y
Figure 2.9 – Chaîne de réductions du circuit électrique de l’exemple 2.4.
On a donc Ceff (x, y) = 7/17.
Et les marches aléatoires ? Revenons-y. Qu’est-ce que tout ça a à voir avec les marches
aléatoires, donc ?
Eh bien c’est simple : il y a une connexion directe. Si on définit une marche aléatoire
X = (Xt )t∈Z+ sur les états S avec le graphe G = (S, E) de notre circuit, et c : S 2 → R+ la
fonction qui donne les conductances pour chaque composante de circuit, on peut choisir les
probabilités de transition suivante : pour tous x, y ∈ S,

c(x, y)
(2.2.7) Px,y = .
λ(x)
Avec ces notations, d’une part, on a déjà vu que le potentiel satisfait le système d’équa-
tions
 X


 v(z) = Pz,w v(w) ∀z ̸= x, y
w:z∼w

(2.2.8) v(x) = 1



 v(y) = 0.
Or, d’autre part, si on note uz = Pz {τx < τy }, on a que les uz satisfont exactement le
même système d’équations (Lemme 1.2). Puisque la solution à ce système est unique, on a
la correspondance suivante :
(2.2.9) Pz {τx < τy } = v(z).

N’est-ce pas merveilleux ? Mais ce n’est pas tout – on peut utiliser la seconde partie du
lemme 1.2 pour montrer que
Px τy < τx+ = 1 − Px τx+ < τy

X
=1− Px,z v(z)
z:x∼z
Ceff (x, y)
= .
λ(x)
En d’autres termes, la conductance effective du circuit entre x et y correspond (à un
facteur λ(x) près) à la probabilité, partant de x, de toucher y avant de revenir en x ! N’est-ce
pas beau ?
Graphes infinis. Nous revoici maintenant face à notre problème : on souhaite identifier
si la marche aléatoire en d = 2 dimensions est récurrente ou transiente. Comment faire ?
On vient de voir que lorsqu’on met une tension unitaire en x et en y, It ot = Ceff (x, y)
correspond à la probabilité de toucher l’état y avant de revenir en x lorsqu’on part de x ; ça,
ça nous donne une petite idée...
Plutôt que de considérer le graphe Z2 au complet, on va d’abord considérer une « boîte »
Bn = (Z ∩ [−n, n])2 , de (2n + 1) × (2n + 1) sommets. On va « contracter » tout le reste du
graphe en un point, qu’on va appeler ∞n (figure 2.10).
Les probabilités de transition sont restées les mêmes ; on garde les mêmes conductances,
on fait juste toutes les « brancher » sur le même court-circuit !
Bien sûr, si on met une tension unitaire entre 0 et ∞n , on aura nécessairement que
Ceff (0, ∞n ) = 4P0 τ∞n < τ0+ .

La conductance effective Ceff (0, ∞n ) est donc proportionnelle à la probabilité de sortir

de Bn avant de revenir en 0.
On prend maintenant la limite lors que n tend vers l’infini ; on note :
1 1
Ceff (0, ∞) = lim Ceff (0, ∞n ) = lim P0 τ∞n < τ0+ .

4 n→∞ 4 n→∞
∞n
Figure 2.10 – La boîte Bn (ici représentée avec n = 2). Tous les états à
l’extérieur ont été condensés dans l’état ∞n .
C’est la « conductance effective » entre le nœud 0 et l’infini ; ça correspond au courant

total qui passe lorsqu’on met une différence de potentiel unitaire entre 0 et « l’infini ».
On obtient le critère suivant :
Lemme 2.6. Dans la marche aléatoire sur un graphe G = (S, E) infini avec probabilités
données par les conductances c : S 2 → R+ (symétrique), l’état x est récurrent si et seulement
si
Ceff (x, ∞) = 0.
De façon équivalente, l’état x est récurrent si et seulement si
Reff (x, ∞) = +∞.
Dans ce cas, le circuit infini est tellement résistant au courant que celui-ci ne peut passer.
À l’inverse, si Ceff (x, ∞) > 0, le processus est transient !
Rayleigh et Nash-Williams. Pour estimer Ceff , on peut utiliser deux outils.
Lemme 2.7 (Monotonicité de Rayleigh). Soit G = (S, E) un circuit électrique avec
conductances c. Supposons qu’on a aussi les conductances c′ avec c′ (x, y) ≥ c(x, y) pour tout
x, y ; alors, la conductance effective obéït à la même inégalitè : pour tous x, y ∈ S,
′
Ceff (x, y) ≥ Ceff (x, y).
À l’inverse, la résistance efficace obéït l’inégalité opposée :

′
Reff (x, y) ≤ Reff (x, y).
En particulier, si on enlève des arêtes (mettre des conductances à 0), la conductance
effective diminue, la résistance effective augmente. Si on rajoute des arêtes, la conductance
effective augmente, et la résistance effective diminue.
Pour notre second outil, on a besoin d’une autre définition :
Définition 2.3 (Coupure). Soit G = (S, E) un graphe infini. Une coupure pour x ∈ S
est un ensemble d’arêtes E0 tel que tout chemin infini partant de x doit traverser au moins
une fois une arête de E0 .
Une coupure s’appelle comme ça parce qu’il suffit d’en couper l’ensemble des arêtes pour
déconnecter x de l’infini.
Le prochain lemme est un résultat amusant :
Lemme 2.8. Soit E0 une coupure de x dans le graphe G = (S, E) avec les conductances
c : S 2 → R+ symétriques.
Alors, on a que
X
Ceff (x, ∞) ≤ c(e);
e∈E0
la conductance effective est au plus égale à la somme des conductances de la coupure E0 .
Démonstration. Intuitivement, la totalité du courant qui va jusqu’à l’infini doit passer
par les arêtes de E0 ; si la coupure est minimale, on a
X X
Ceff (x, ∞) = i(e) = c(e)(δv(e)),
e∈E0 e∈E0
où δv(e) est la différence de potentiel aux bornes de e. Mais δv(e) ≤ 1, ce qui complète la
« preuve »... □
En fait, on peut même posser ce résultat plus loin ; c’est le théorème de Nash-Williams :
Théorème 2.1 (Nash-Williams). Soient E1 , E2 , E3 , . . . , En une famille de coupures dis-
jointes de x. Alors, on doit avoir que
 −1
n
X X
Reff (x, ∞) ≥  c(e) .
i=1 e∈Ei
Démonstration. Encore une fois, très loussement, ça fonctionne parce que si on fait
des coupures successives, et que chaque coupure a une « résistance effective » égale à l’inverse
de la somme des conductances, alors les coupures successives sont comme « en série », et
leurs résistances effectives s’additionnent. □
La marche sur Z2 est récurrente. Enfin, on lève le suspense. La marche aléatoire sur Z2
est récurrente. Pour le prouver, on va montrer que la résistance effective entre 0 et l’infini
est elle-même infinie.
Pour ça, on retourne à nos boîtes Bn ; les arêtes qui en sortent, on les appellera En . On
a bien sûr que |En | = 4(2n + 1); chaque côté a 2n + 1 sommet sur le bord et une arête qui
sort par ce côté-là pour chacun de ces sommets. Bien sûr, donc :
X
c(e) = |En | = 4(2n + 1),
e∈En
puisqu’on se souvient que dans notre graphe, les probabilités de transition sont toutes égales
– donc les arêtes ont toutes la même conductance : c(e) = 1 pour tout e.
Mais, par Nash-Williams, pour tout n ∈ N,
 −1
n
X X
Reff (x, ∞) ≥  c(e)
i=1 e∈Ei
n
X 1
= .
4(2n + 1)
i=1
En prenant une limite lorsque n tend vers l’infini, on trouve finalement que
Reff (x, ∞) = +∞,
ce qui signifie qu’aucun courant ne peut passer, et que la marche aléatoire est récurrente. □
2.2.3. Le cas d ≥ 3. De façon générale, on peut définir la marche aléatoire à d dimen-
sions comme étant la marche aléatoire sur le circuit électrique dans Zd avec les conductances
toutes à 1 ; la probabilité de transitionner vers l’un des nœuds voisins est alors 1/(2d).
On peut appliquer les mêmes outils qu’on vient de développer (et il en faut encore plus)
pour démontrer le théorème suivant :
Théorème 2.2 (Pólya). La marche aléatoire dans Zd est récurrente pour d ≤ 2 ; elle est
transiente pour d ≥ 3.
Ça va même plus loin ; on fait la définition suivante :
Définition 2.4 (Dimension de Hausdorff). Soit G = (S, E) un graphe infini. On note
Bn (x) la boule centrée en x de rayon n ; Bn (x) = {y ∈ S : d(x, y) ≤ n}. On dit que le graphe
G a la dimension d ≥ 0 (ça peut être fractionnaire ou pas) si et seulement si pour tout x ∈ S
on a que
log |Bn (x)|
lim = d.
n→∞ log n
Par exemple, si |Bn (x)| croit comme n2 , on est en dimension 2. Si |Bn (x)| croit comme
n , on est en dimension 3. Mais la puissance n’est pas obligée d’être entière.
3
Avec la notion de dimension de Hausdorff, on a le théorème suivant, plus général :

Théorème 2.3 (Pólya). La marche aléatoire sur un graphe G = (S, E) infini de dimen-
sion de Hausdorff d avec conductances unitaires est récurrente si et seulement si d ≤ 2 ; si
d > 2, la marche est transiente.
On peut avoir une vague idée de comment l’argument fonctionne si on utilise des coupures
à la frontières des boules Bn (x), et qu’on remplace l’inégalité dans Nash-Williams par un
∼ ; ce n’est pas exact, mais ça donne quand même une P idée de ce qui se passe : Si |Bn (x)| =
O(n ), alors |En | = O(n ), on aurait « Reff (x, ∞) ∼ ni=1 id−1
d d−1 1
; » ça converge pour d > 2,
et ça diverge sinon !
2.3. Exercices
2.3.1. Exercices sur les processus de Galton-Watson.
Exercice 2.1. Montrer que si p(0), p(1) > 0 et p(0) + p(1) < 1, on a forcément que :
p(0)
P1 {τ0 < +∞} > .
1 − p(1)
Exercice 2.2. Donner limt→∞ P1 {Zt = k}.
Exercice 2.3 (Lessard, ex. 1.8). Dans un processus de branchement avec générations
séparées, chaque individu de chaque génération, indépendamment de tous les autres, produit
k individus de la génération suivate avec probabilité (1 − p)pk , pour k ≥ 0. Déterminer la
probabilité d’extinction :
(a) si 0 < p < 1/2 ;
(b) si p = 1/2 ;
(c) si 1/2 < p < 1.
Dans les cas où l’extinction est certaine, déterminer le nombre total moyen de descen-
dants d’un individu.
Exercice 2.4 (Lessard, ex. 1.9). Supposons que, dans un processus de branchement,
le nombre d’individus produits par chaque individu de chaque génération a comme fonction
génératrice ψ(s) = 21 + 12 s3 . Quelle est la probabilité d’extinction de la population si il y a
2 individus à la première génération ?
Exercice 2.5 (Lessard, ex. 1.10). Supposons que, dans un processus de branchement,
le nombre d’individus produits par chaque individu de la génération n a comme fonction
génératrice ψ(s) = 41 + 34 s si n est pair, et ϕ(s) = 14 = 34 s2 si n est impair. Quelle est la
probabilité d’extinction de la population si il y a un seul individu à la génération 0 ?
Exercice 2.6 (Lessard, ex. 1.11). Une plante survit d’un printemps au suivant avec
probabilité 3/4 et, dans ce cas, elle produit le printemps suivant 0, 1 ou 2 autres plantes
identiques à elle-même avec la même probabilité 1/3. Une plante peut donc survivre et
se reproduire plusieurs printemps de suite. On suppose une seule plante au départ, et on
considère le nombre total de plantes à chaque printemps suivant.
(a) L’extinction est-elle certaine ?
(b) Si elle ne l’est pas, quelle est sa probabilité ?
Exercice 2.7 (Lessard, ex. 1.12). On considère un processus de branchement où la

distribution du nombre d’enfants suit une loi binomiale de paramètres p = 1/2, n = 4. À la
génération initiale, il y a deux individus.
(a) A-t-on extinction certaine de la population ?
2.3. EXERCICES 111
(b) Sinon, quelle est la probabilité d’extinction ?
Exercice 2.8 (Lessard, ex. 1.36). Dans un processus de branchement, le nombre

d’enfants est de 1, 2 ou 3, chacun avec probabilité p, et de 0 avec probabilité 1 − 3p.
Déterminer
(a) la condition sur p pour que la descendance d’un individu ne s’éteigne pas avec probabilité
1;
(b) la probabilité d’extinction de la descendance d’un individu sous cette condition.
2.3.2. Exercices sur les marches aléatoires.

Exercice 2.9. Soit X = (Xt )t∈Z+ la marche aléatoire paresseuse sur Z : il s’agit d’une
chaîne de Markov homogène à temps discret sur les états S = Z, avec les probabilités de
transition en un pas suivantes :
Pi,i+1 = p, Pi,i−1 = q, Pi,i = r, ,
et p + q + r = 1. On dit que la marche est « paresseuse » parce qu’elle peut rester au même
état avec une probabilté positive.
(a) Soit Yt = Xt −Xt−1 . Montrer que les Yt sont indépendantes et identiquement distribué.e.s
pour tout t ≥ 1.
(b) Calculer E [Yt ]. Déterminer pour quelles valeurs de p, q et r le processus est récurrent ou
transient.
Exercice 2.10. Soient X = (Xt )t∈Z+ et Y = (Yt )t∈Z+ deux marches aléatoires symé-
triques sur Z (p = q = 21 ).
On note
Xt + Yt Xt − Yt
Ut = , Vt = ,
2 2
et finalement
Zt = (Ut , Vt ).
(a) Montrer que Z = (Zt )t∈Z+ est une chaîne de Markov à temps discret sur l’espace des
états Z2 . Montrer que cette chaîne est irréductible. Donner les probabilités de transition
en un pas.
(b) On écrit
N = t ∈ Z+ : Xt = Yt .

Que peut-on dire sur E(0,0 [N ] , où E(i,j) est l’espérance sachant que X0 = i, Y0 = j ?
Exercice 2.11. On considère X = (Xt )t∈Z+ la marche aléatoire simple sur Zd – c’est à
dire que pour {e1 , e2 , e3 , . . . , ed } la base orthonormale cannonique de Rd , on a les probabilités
de transition suivantes pour tout x ∈ Zd :
1
Px,x±ei = .
2d
(i)
On note Ut = Xt · ei , pour i = 1, 2, 3, . . . , n ; il s’agit de la ième coordonnée du vecteur
Xt :
(1) (2) (d)
Xt = (Ut , Ut , . . . , Ut ).
(i)
(a) Montrer que pour tout i, on a que U(i) = (Ut )t∈Z+ est une marche aléatoire paresseuse
sur Z comme à l’exercice 2.9 avec p = q = 2d
1
et r = d−1
d .
(b) On suppose d ≥ 3. Soient i, j fixés et distincts. Est-ce que U(i) et U(j) sont indépen-
dants ?
(c) Est-ce que les processus (U(i) )i=1,2,3,...,d forment une famille indépendante ?
Exercice 2.12. Soit G = (S, E) où S = Z et E = {{i, i + 1} : i ∈ Z} le graphe habituel

pour Z. On le considère comme un circuit électrique. Montrer que si on pose les conductances
c(i, i + 1) = β i (pour β > 0), alors la marche aléatoire sur ce circuit électrique (telle que
définie précédemment) avec les probabilités de transition :
c(i, i ± 1)
Pi,i±1 =
c(i, i − 1) + c(i, i + 1)
est une marche aléatoire sur Z avec p = β/(1 + β) et q = 1/(1 + β).
Exercice 2.13. On considère une marche aléatoire sur l’espace des états S = Z2 , mais
avec les probabilités de transition suivantes : pour tout j ̸= 0 :
1
P(i,j),(i,j±1) = .
2
Du reste,
r
P(i,0),(i+1,0) = p, P(i,0),(i−1,0) = q, P(i,0),(i,±1) = , (p + q + r = 1)
2
et toutes les autres transitions sont impossibles. La figure 2.11 illustre le graphe des transi-
tions possibles et les probabilités de transition.
r/2 1/2
q p
r/2
Figure 2.11 – Le graphe décrit à l’exercice 2.13.
(a) Soit β = p/q. On donne les conductances suivantes ;

β i−1 (1 + β)r
c((i, 0), (i + 1, 0)) = β i , c((i, j), (i, j ± 1)) = .
2(1 − r)
Montrer que la marche aléatoire sur le graphe décrit, avec ces conductances, corres-
pond au processus décrit plus haut.
2.3. EXERCICES 113
(b) Dans le cas où β = 1, utiliser le théorème de Nash-Williams pour montrer que le pro-
cessus Xt est récurrent.
(c) Dans le cas où β ̸= 1 (vous pouvez assumer que β > 1 sans perdre de généralités), le
processus est-il récurrent ? Transient ?
Chapitre 3
Chaînes de Markov à temps continu
Dans les deux premiers chapitres, nous avons discuté des processus stochastiques à temps
discret – spécifiquement, le temps était une variable entière non-négative, et on pouvait
parler de « pas de temps » entiers. Dans les chapitres qui suivent, nous allons reprendre cette
discussion, mais cette fois, nous allons laisser le temps être « continu » au sens topologique
– c’est à dire que le temps sera une variable réelle non-négative.
Par chance, tout n’est pas perdu ! En effet, une bonne partie de la discussion au début du
chaître 1 ne dépend pas du fait que le temps soit discret et/ou continu. Nous commençons
donc ce chaitre en rappelant ces éléments
3.1. Le chapitre 1 à nouveau.

Nous avions commencé notre discussion des processus stochastiques en parlant de l’es-
pace des états S – pour tout de suite, cet espace ne change pas ; il sera encore discret.
De plus, nous nous concentrerons encore une fois sur les processus qui ont la propriété de
Markov.
3.1.1. Ce qui reste pareil. Dans ce contexte, presque la section 1.4 tient encore la
route. Spécifiquement, dans le cas où notre chaîne de Markov est homogène, on va récupérer
exactement la même notation pour les probabilités de transitions après un intervalle de
temps t : si X = (Xt )t∈R+ est une chaîne de Markov à temps continu, on a donc :
(t)
Px,y = P {Xt = y | X0 = x} = P0 {Xt = y} .
La seule différence, c’est qu’ici, le temps t peut être n’importe quel nombre réel.
On rappelle les corollaires 1.1 et 1.2, qui donnent respectivement les propriétés ds proba-
bilités de transition et des matrices de probabilités de transition dans le cas où |S| < +∞ :
Corollaire ( 1.1 ). Soit X = (Xt )t≥0 une chaîne de Markov homogène sur l’espace
d’états discret S. Les probabilités de transition ont les propriétés suivantes :
i Pour tout x, y ∈ S :
(
1 si x = y
( 1.4.5) (0)
Px,y = δx,y =
0 ̸ y.
si x =
ii Pour tous t ≥ 0, x ∈ S :
X
( 1.4.6) (t)
Px,y = 1.
y∈S
iii Pour tous s, t ≥ 0, et tous x, y ∈ S :

X
( 1.4.7) (s+t)
Px,y = (s) (t)
Px,z Pz,y .
z∈S
115
116 3. CHAÎNES DE MARKOV À TEMPS CONTINU
Corollaire ( 1.2 ). Soit X = (Xt )t∈R+ une chaîne de Markov homogène sur un espace
fini d’états S = {1, 2, 3, . . . , n} et P (t) sa matrice de transition en un intervalle de temps t,
pour t ≥ 0. Alors les matrices de probabilités de transition ont les propriétés suivantes :
i
( 1.4.11) P (0) = In .
ii Pour tous t ≥ 0 et pour tous 1 ≤ i ≤ n, on a :

n
(t)
X
( 1.4.12) Pi,j = 1. (⇔ P (t) 1n = 1n )
j=1
Autrement dit, pour chaque ligne de P (t) , la somme est 1.

iii Soient s, t ≥ 0. Alors, on a :
( 1.4.13) P (s+t) = P (s) P (t) .
3.1.2. Ce qui change. Jusqu’ici, on voit bien que rien n’a changé – sauf bien sûr que
t est une variable réelle plutôt qu’entière. Qu’est-ce qui nous empêche de continuer comme
ça ?
Examinons de plus près la section 1.4.1 – on y introduit la matrice de transition « en un
pas » :
P = P (1) .
On y montre également que P (t) = P t pour tout t ∈ Z+ . Et... c’est encore vrai !
Mais ce n’est pas très pratique ; en effet, dans le contexte du processus continu, la notion
d’un « pas » n’a plus vraiment de signification spéciale. On aimerait avoir une façon plus
évidente et intuitive de caractériser les probabilités de transition et la loi de notre chaîne de
Markov. Mais pour ça, il faudra travailler un peu plus fort.
3.2. Une description qualitative de Xt .

Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu. Pour une réalisa-
tion quelconque de ce processus, à quoi ressemblerait le graphe de la courbe (t, Xt ) ?
L’espace des états S est toujours discret. Puisque le temps t est continu, on n’aura pas
le choix : le graphe de la courbe (t, Xt ) ressemblera à une fonction en escaliers ; c’est-à-dire
que ce sera une fonction constante par morceaux, avec des sauts à des endroits discrets. La
figure 3.1 montre un exemple d’un graphe pour un tel processus.
On peut identifier deux « phases » d’évolution du processus (figure 3.2) :
i. Le processus passe un certain temps (aléatoire ; disons T ) dans l’état x. La loi de T
ne peut dépendre de rien d’autre que de l’état x ; en effet, autrement, on contredirait
l’homogénéité et/ou la propriété de Markov.
ii. Après que ce temps se soit écoulé, le processus transitionne instantannément à un état
y. Puis on repart à i. à l’état y, et ainsi de suite.
L’homogénéité et la propriété de Markov contraignent beaucoup les distributions pos-
sibles pour la loi du temps T . On a la proposition suivante :
3.2. UNE DESCRIPTION QUALITATIVE DE Xt . 117
10 20 30 40 50
-2
Figure 3.1 – Le graphe d’une chaîne de Markov à temps continu. Ici, Xt est
un processus de Poisson composé ; nous reparlerons de celui-ci au chapitre 4.
Xt
x
t t+T
Figure 3.2 – Si on est en x au temps t, on y reste pour un temps aléatoire
T ; au temps t + T , on transitionne instantannément vers un autre état y ;
puis, on recommence.
Proposition 3.1. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu.
Si on définit
T = inf {t ≥ 0 : Xt ̸= x}
le temps passé à l’état x avant de transitionner vers un autre état, alors sous Px , T suit une
distribution exponentielle : il existe λ ≥ 0 tel que pour tout u ≥ 0 :
(3.2.1) Px {T > u} = e−λu .
De plus, λ ne peut dépendre que de x. Si λ = 0, l’état x est absorbant – on ne transi-

tionnera plus jamais une fois qu’on l’a atteint.
Démonstration. On remarque que l’on a l’égalité d’événements suivante :
{T > u} = {Xs = x ∀s : 0 ≤ s ≤ u} ;
en effet, T est supérieur à u si et seulement si le processus s’est trouvé en x en tout temps

entre les temps 0 et u.
Mais alors, on doit avoir que, pour tous u, h ≥ 0 :

Px {T > u + h | T > u} = Px {Xs = x ∀s : 0 ≤ s ≤ u + h | Xt = x ∀t : 0 ≤ t ≤ u}
= Px {Xu+s = x ∀s : 0 ≤ s ≤ h | Xt = x ∀t : 0 ≤ t ≤ u}
= Px {Xs = x ∀s : 0 ≤ s ≤ h}
= Px {T > h} ;
la seconde égalité est obtenue en remarquant que si on sait déjà que Xt = x pour t entre 0
et u, alors Xs = x pour tous les temps s entre 0 et u + h si et seulement si Xs = x pour
tous les temps entre u et u + h – ou, de façon équivalente, que Xu+s = x pour s entre 0
et h. La troisième égalité est obtenue en appliquant la propriété de Markov pour retirer les
conditions sur le passé et ne garder que la condition sur Xu = x, puis l’homogénéité, puisque
la loi de Xu+s sachant Xu est la même que celle de Xs sachant X0 .
Mais alors, on doit avoir que pour tous u, h ≥ 0,
Px {T > u + h | T > u} = Px {T > h} ,
ce qui signifie que T a la propriété d’absence de mémoire. Par un théorème élémentaire,
on peut donc immédiatement conclure que T suit une loi exponentielle avec un certain
paramètre λ.
Par les définitions données, on voit que le paramètre λ ne peut dépendre que de x. □
Ce que nous venons de montrer, c’est que les temps entre les transitions dans une chaîne
de Markov à temps continu sur un espace d’état discret sont de loi exponentielle, et que le
taux λ de ces lois dépend potentiellement de l’état x dans lequel on se trouve. On définit
formellement les temps de transition et inter-transition, et les taux inter-transition :
Définition 3.1 (Temps de transition, temps inter-transition, taux inter-transition). Soit
X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu sur l’espace des états discret
S (fini ou dénombrable).
Avec T0 = 0, on va noter le temps de la kième transition :
(3.2.2)

Tk = inf t ≥ Tk−1 : Xt ̸= XTk−1 ;
On peut également noter le kième temps inter-transition :
(3.2.3) Uk = Tk − Tk−1 .
La famille U = (Uk )k∈N est une famille indépendante. Sachant que XTk−1 = x, on a que
Uk suit une loi exponentielle de paramètre λx ≥ 0 ;
Les (λx )x∈S sont appelés les taux inter-transition.
Si on note px,y la probabilité de transitionner de l’état x vers l’état y au moment où
on effectue notre transition, alors on peut préciser un peu notre description de nos deux
« phases »
i. Au temps Tk−1 , on arrive à l’état x. On y reste un temps Uk = Tk − Tk−1 . Puisqu’on
sait qu’on se trouve en x pendant ce temps, on sait que Uk suit une loi exponentielle
de paramètre λx .
ii. À la fin de cet intervalle de temps, on transitionne vers un état y avec probabilité px,y ;
On arrive donc en y au temps Tk ; on recommence alors.
3.3. PROBABILITÉS DE TRANSITIONS SUR UN INTERVALLE DE TEMPS. 119
Remarque. On remarque qu’avec ces définitions, le processus Y = (XTk )k∈Z+ est une
chaîne de Markov à temps discret. Ses probabilités de transition en un pas sont simplement
Px,y = px,y .
Le graphe des transitions possibles, les classes d’états et leurs types. De façon analogue
aux chaînes de Markov à temps discret, on peut tracer le graphe des transitions possibles
pour le processus X = (Xt )t∈R+ en plaçant une arête de x vers y si et seulement si px,y > 0.
À noter qu’il ne sert à rien d’inclure une probabilité de transitionner de x vers x – en
effet, ça signifierait seulement rester à l’état x encore plus longtemps ; ça n’est aucunement
nécessaire – voir l’exercice 3.2. Donc, on pourra toujours assumer que px,x = 0.
Tout le reste des raisonnements développés par rapport aux classes d’équivalence sont
les mêmes. On a les mêmes définitions de classes ouvertes et fermées, etc. On peut montrer
que si on définit Yk = XTk , alors la chaîne de markov homogène à temps discret (Yk )k∈Z+
a les mêmes classes d’états et des mêmes types que la chaîne X = (Xt )t∈R+ . En somme :
les problèmes de récurrence et de transience dans le cas continu se réduisent facilement à
des problèmes de récurrence et de transience dans le cas discret ; nous n’en parlerons pas
beaucoup plus.
3.3. Probabilités de transitions sur un intervalle de temps.

Comme dans le cas des probabilités de transition en temps discret, on va chercher à
déterminer les probabilités de transition sur n’importe quel intervalle de temps t ; c’est à
(t)
dire qu’on aimerait bien connaître la famille P (t) = (Px,y )x,y∈S .
Pour ce faire, nous allons commencer par nous concentrer sur ce qui se produit dans un
petit intervalle de temps [t, t + h].
3.3.1. Les transitions dans un intervalle de temps très petit. La première chose
que nous allons montrer, c’est que, en générall (sous quelques conditions peu encombrantes),
la probabilité qu’il survienne plus d’une transition dans un intervalle de temps de longueur
h est une valeur négligeable devant h lorsque h est très petit.
Proposition 3.2. Soit X = (Xt )t∈R+ une chaîne de Markov à temps continu sur l’espace
des états discret S (fini ou dénombrable).
De plus, on fait l’hypothèse que pour tout état x, les taux des temps inter-transition
(λy )y:x→y pour états y adjacents à x sont bornés par λ < ∞ ; cela est vérifié immédiatement
si |S| < +∞, ou si tout x a un nombre fini d’états adjacents. 1
Soit Tk le temps de la kième transition.
Alors, pour tout x ∈ S, on a que
Px {T2 ≤ h}
lim = 0.
h→0+ h
Démonstration. Pour démontrer cela, nous allons conditionner par l’état XT1 auquel
nous avons transitionné lors de la première transition. On sait que T1 = U1 est de loi
exponentielle avec paramètre λx ; on a bien sûr que T2 = U1 + U2 ; sachant que XT1 = y,
alors U2 est de loi exponentielle avec paramètre λy , nous allons temporairement écrire :
Px→y {·} = Px {· | XT1 = y} .
1. Cette condition est très permissive ; tous les cas traités dans ces notes la satisfont sans problème.
Sous la mesure Px→y , U1 et U2 sont deux variables aléatoires indépendantes de lois

exponentielles, respectivement de taux λx et λy . avec x fixé, on note :
λ = sup {λx , λy : x → y} ;
c’est possible puisque les λy tels que y est adjacent à x sont bornés (par hypothèse).
Alors, on a que :
Z h
Px→y {U1 + U2 ≤ h} = λx e−λx u Px→y {U2 ≤ h − u} du.
0
Z h
= (1 − e−λx h ) − λx e−λx u e−λy (h−u) du.
0
(1 − e−(λx −λy )h )
= (1 − e−λx h ) − λx e−λy h .
λx − λy
Avec le développement en série limitée pour ez = 1 + z + O(z 2 ), on trouve finalement
que pour h → 0+ ,
Px→y {T2 ≤ h} = λx h + O(h2 ) − λx (1 − λy h − O(h2 ))(h + O(h2 ))
= λx h − λx h + λx λy h2 + O(h2 ) + O(h3 ) + O(h4 )
= λx λy h2 + O(h2 ).
Pour x fixé, si on prend λ = sup {λx , λy : x → y}, on sait qu’il existe ϵ > 0 et Cϵ tels
que si h < ϵ, on a
Px→y {T2 ≤ h} ≤ (Cϵ + λ2 )h2 .
Donc, lorsque h < ϵ, on a que
X
Px {T2 ≤ h} = Px→y {T2 ≤ h} px,y
y∈S
 
X
≤ (Cϵ + λ2 )h2  px,y 
y∈S
2 2
= (Cϵ + λ )h .
On peut donc immédiatement conclure que
Px {T2 ≤ h}
lim = 0.
h→0+ h
□
Corollaire 3.1. Soit X = (Xt )t∈R+ une chaîne de Markov à temps continu sur l’espace
des états discret S (fini ou dénombrable). Alors, si Tk est le temps de la kième transition,
on a que
P {|{k ∈ N : t ≤ Tk < t + h}|}
lim = 0.
h→0 + h
Autrement dit, pour tout intervalle de temps [t, t + h], la probabilité qu’il survienne plus
de deux transitions dans cet intervalle est négligeable devant h lorsque h est très petit.
Ce qu’on vient de montrer, c’est que dans un tout petit intervalle de largeur h, la
probabilité de transitionner deux fois est négligeable – plus précisément, c’est o(h).
On raisonne donc comme suit : si h est très petit,
(h)
Px,y = Px {Xh = y} = Px { T1 < h et on transitionne vers y et T2 > h}+Px {T2 ≥ h et Xh = y} .
Comme on peut approximer qu’il n’y a qu’une transition entre les temps 0 et h (vu que
h est petit), le premier terme est simplement :
Px { T1 < h et on transitionne vers y} ;
le second terme est bien sûr borné par Px {T2 ≤ h} = o(h). Finalement, on a donc que,
lorsque h est très petit,
(h)
Px,y = (1 − e−λx h )px,y + o(h),
et en faisant encore une fois un développement en série limitée pour l’exponentielle, on trouve
que, si y ̸= x :
(3.3.1) (h)
Px,y = λx px,y h + o(h).
Bien sûr, si au plus une transition peut se produire dans l’intervalle de temps de longueur
h, on doit aussi avoir
(3.3.2) (h)
Px,x = Px {T1 > h} + o(h) = 1 − λx h + o(h).
3.3.2. Les équations de Kolmogorov et le générateur. On va immédiatement
utiliser les équations (3.3.1) et (3.3.2) pour obtenir le lemme suivant :
Lemme 3.1. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu sur
l’espace des états discret S (fini ou dénombrable), avec les taux inter-transition (λx )x∈S et
les probabilités de transition (px,y )x,y∈S .
Alors, on a le résultat suivant :
(
d (t) λx px,y si x ̸= y
(3.3.3) P =
dt x,y t=0 −λx si x = y.
Démonstration. Ce résultat suit directement des équations (3.3.1) et (3.3.2) en se
souvenant que l’on a toujours, pour toute fonction f dérivable en u
df f (t) − f (u)
= lim .
dt t=u
t→u t−u
□
Cela motive l’introduction de valeurs que nous appelerons les taux générateurs :
Définition 3.2 (Taux générateurs). Soit X = (Xt )t∈R+ une chaîne de Markov homogène
à temps continu sur l’espace des états discrets S (fini ou dénombrable), avec les taux inter-
transition (λx )x∈S et les probabilités de transition (px,y )x,y∈S .
Alors, on définit le taux générateur des transitions de x vers y, noté Gx,y , par :
(
d (t) λx px,y si x ̸= y
(3.3.4) Gx,y = Px,y =
dt t=0 −λx si x = y.
Lorsque |S| = n < +∞, G est une matrice n × n, que l’on appelle le générateur de X.
Les taux générateurs ont la propriété suivante :
Proposition 3.3. Soit X = (Xt )t∈R+ une chaîne de Markov à temps continu sur l’espace
des états discrets S (fini ou dénombrable), avec les taux générateurs G = (Gx,y )x,y∈S .
Alors, pour tout x ∈ S, on a ;
X
(3.3.5) Gx,y = 0.
y∈S
Démonstration. En supposant que l’on a les taux inter-transition (λx )x∈S et les pro-
babilités de transition (px,y )x,y∈S , on a forcément que :
X X
Gx,y = −λx + λx px,y
y∈S y:y̸=x
 
X
= −λx + λx  px,y  .
y:x̸=y
Or, tel que précédemment discuté, on doit avoir px,x = 0 ; dans ce cas, par la condition
de normalisation, on a bien
X
px,y = 1,
y:x̸=y
et il suit que
X
Gx,y = −λx + λx = 0.
y∈S
Corollaire 3.2. Lorsque |S| = n < +∞, G est une matrice n × n de nombres réels ;
la somme de chaque ligne est égale à 0 ; on a donc l’équation matricielle :
(3.3.6) G1n = 0;
Autrement dit, 1n est toujours un élément du noyau de G.
On peut maintenant utiliser la propriété de Markov pour montrer les équations progres-
sives et régressives de Kolmogorov :
Proposition 3.4. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu
sur l’espace des états discret S (fini ou dénombrable). Soit G = (Gx,y )x,y∈S la famille des
taux générateurs pour les transitions de X.
i. L’équation progressive de Kolmogorov est vérifiée pour tous x, y ∈ S :
d (t) X (t)
(3.3.7) P = Px,z Gz,y .
dt x,y
z∈S
ii. L’équation régressive de Kolmogorov est vérifiée pour tous x, y ∈ S :

d (t) X
(3.3.8) P = (t)
Gx,z Pz,y .
dt x,y
z∈S
Démonstration. Par les équations (1.4.5) et (1.4.7) du corollaire 1.1, on a que pour
tous t, h ≥ 0 :
!
(t+h) (t)
Px,y − Px,y 1 X (t) (h) (t)
= Px,z Pz,y − Px,y
h h
z∈S

(t) (h)
X Px,z Pz,y − δz,y
=
h
z∈S
(h) (0)
X
(t) Pz,y − Pz,y
= Px,z ;
h
z∈S
Par le théorème de convergence dominée, on peut passer la limite à l’intérieur de la
somme ; par définition des taux générateurs, on trouve
(t+h) (t)
d (t) Px,y − Px,y
P = lim
dt x,y h→0+ h
!
(h) (0)
X
(t) Pz,y − Pz,y
= Px,z lim
h→0+ h
z∈S
X
(t)
= Px,z Gz,y .
z∈S
La preuve de l’équation régressive est entièrement analogue. □
Corollaire 3.3. Si |S| = n < +∞, G est une matrice n × n, ainsi que P (t) ; on a alors
que :
i. l’équation progressive de Kolmogorov devient, sous forme matricielle :
d (t)
(3.3.9) P = P (t) G
dt
ii. l’équation régressive de Kolmogorov devient, sous forme matricielle :
d (t)
(3.3.10) P = GP (t)
dt
3.3.3. Solutions aux équations de Kolmogorov dans le cas fini. Spécifiquement

dans le cas où on a un nombre fini d’états, on se souvient que dans le cas des chaînes de
Markov à temps discret, on avait réussi à trouver, tout simplement, la solution générale pour
la matrice des probabilités de transition en t pas ; il s’agissait de P (t) = P t , où P était la
matrice des probabilités de transition en un pas.
En temps continu, c’est un peu plus compliqué ; Pour y arriver, il faut introduire l’expo-
nentielle de matrices.
L’exponentielle de matrices. Soit A ∈ Rn×n . On introduit l’exponentielle :
∞
X 1 k
(3.3.11) exp A := In + A .
k!
k=1
Si A est une matrice diagonnale avec éléments a1,1 , a2,2 , a3,3 , . . . , an,n , alors exp(A) est
aussi une matrice diagonale, et ses éléments sont ea1,1 , ea2,2 , ea3,3 , . . . , ean,n ; il suit que si A
est diagonalisable et que

A = QDQ−1
avec D la matrice dont la diagonnale est constituée des valeurs propres λ1 , λ2 , λ3 , . . . , λn de
A, alors
exp(A) = Q exp(D)Q−1 ;
La matrice Q diagonnalise aussi exp(A), et les valeurs propres de exp(A) sont eλ1 , eλ2 , eλ3 , . . . , eλn .
sur l’espace des états S = {1, 2, 3, . . . , n} fini, et soit G le générateur des transitions de X.
Alors, on a que
(3.3.12) P (t) = exp(tG).
Démonstration. Dans cette preuve, nous assumerons que la solution aux équations de
Kolmogorov est unique ; démontrer cela est difficile et hors du cadre du cours. On assume
aussi qu’on peut dériver la série définissant exp(tG) terme par terme, ce qui n’est pas trivial.
Nous allons simplement vérifier que la solution proposée satisfait les équations de Kol-
mogorov :
∞
d d X 1 k k
exp tG = t G
dt dt k!
k=1
∞
X k k−1 k
= t G
k!
k=1
∞
X 1 k k+1
= t G
k!
k=0
= exp(tG)G,
et de même pour l’équation régressive. Puisque exp(0) = In = P (0) , la solution
P (t) = exp(tG)
est l’unique solution à notre système d’équations différentielles. □
Exemple 3.1. On va faire comme pour les marches aléatoires à temps discret, et on va
régler tout de suite la question du cas où |S| = n = 2 ; dans ce cas, le générateur de notre
chaîne de Markov prendra toujours la forme :

−α α
G= .
β −β
Pour calculer P (t) = exp(tG), on va commencer par diagonaliser G.
Étape 1 : Trouver les valeurs propres de G. Pour trouver les valeurs propres de G, on
calcule :
0 = det(G − λI)
= (−α − λ)(−β − λ) − αβ
= (α + λ)(β + λ) − αβ
= λ2 + (α + β)λ
= λ(λ + α + β).
3.4. TAUX GÉNÉRATEURS ET TEMPS D’ARRIVÉE EXPONENTIELS. 125
Les valeurs propres sont donc λ1 = 0 et λ2 = −α − β.

Étape 2 : Trouver des vecteurs propres de G. Comme vecteur propre associé à la valeur
propre λ1 = 0 on peut prendre v1 = 12 = (1, 1).
Comme vecteur propre associé à la valeur propre λ1 = −α − β, on doit solutionner :

β α v2,1 0
= .
β α v2,2 0
Si on pose v2,1 = 1, on trouve v2,2 = −β/α ; en multipliant par α, on voit donc qu’on
peut prendre v2 = (α, −β).
Étape 3 : Trouver Q et D. On a bien sûr :

1 α 0 0
Q= , D= ,
1 −β 0 −α − β
Et on peut vérifieer que QD = GQ.
Étape 4 : Trouver Q−1 . Ici, c’est relativement simple ; on se sert (encore une fois) de la
formule d’ineversion : si
a b
A= ,
c d
alors
−1 1 d −b
A = .
ad − bc −c a
En l’occurence, on trouve :

−1 1 −β −α 1 β α
Q =− = .
α + β −1 1 α + β 1 −1
Étape 5 : Calculer exp(tG). On a maintenant
P (t) = exp(tG)
= Q exp(tD)Q−1

1 1 α 1 0 β α
= .
α + β 1 −β 0 e−(α+β)t 1 −1

1 1 α β α
=
α + β 1 −β e−(α+β)t −e−(α+β)t
β + αe−(α+β)t α − αe−(α+β)t

1
=
α + β β − βe−(α+β)t α + βe−(α+β)t
En particulier, on voit que, encore une fois, puisque α, β > 0 (sinon c’est ennuyeux), on
a
(t) 1 β α
lim P = .
t→∞ α+β β α
3.4. Taux générateurs et temps d’arrivée exponentiels.

À date, nous avons vu les taux générateurs uniquement comme des symboles, définis à
partir des taux inter-transition (λx )x∈S et des probabilités de transition (px,y )x,y∈S . Dans
cette section, notre objectif sera de montrer que les taux générateurs des transitions ont en
fait une interprétation plus naturelle que ça.
3.4.1. Des événements imprévisibles. La façon la plus naturelle de comprendre les

taux générateurs est de s’imaginer que les transitions sont causées par l’arrivée imprévisible
d’événements (au sens colloquial du terme). Des événements de « types » différents peuvent
engendrer des transitions vers différents états ; le temps inter-transition correspond alors au
temps écoulé lorsque le premier événement imprévisible s’est produit ; l’état vers lequel on
transitionne est déterminé par le type d’événement qui s’est produit.
Dans ce contexte, les Gx,y représentent les taux moyens auxquels se produisent des
« événements » qui occasionnent une transition vers y lorsque l’on est dans l’état x. L’élément
−Gx,x représente le taux total auquel on quitte l’état x ; on a donc naturellement
X
Gx,y = −Gx,x
y:x̸=y
pour tout x ∈ S.
Supposons que dans l’état x, n types d’événements imprévisibles ; chacun de ces événe-
ments engendre respectivement une transition vers les états y1 , y2 , y3 , . . . , yn .
On notera Ti le temps avant que ne se produise un événement du type i ; puisque l’évé-
nement doit être complètement imprévisible, Ti doit être sans-mémoire – donc être de loi
exponentielle, disons avec taux µi . Ce taux reflète le nombre moyen d’événements qui se
produiront par unité de temps.
La transition surviendra lorsqu’arrivera le premier événement de tous types confondus ;
le temps inter-transition T est donc :
T = min {T1 , T2 , T3 , . . . , Tn } .
On fait l’hypothèse que les événements de différent types surviennent indépendamment
les uns des autres ; avec cette hypothèse, le temps inter-transition T a aussi une loi expo-
nentielle :
Px {T > u} = Px {min {T1 , T2 , T3 , . . . , Tn } > u}
= Px {T1 > u, T2 > u, T3 > u, . . . , Tn > u} .
= Px {T1 > u} Px {T2 > u} Px {T3 > u} · · · Px {Tn > u}
= e−µ1 u e−µ2 u e−µ3 u · · · e−µn u
= e−µu ,
où µ = nk=1 µk est le taux inter-transition depuis l’état x ; on a donc λx = µ.
P
On calcule la probabilité
Pn que le minimum soit T1 ; si T′ = min {T2 , T3 , . . . , Tn }, alors
′
T = min {T1 , T } et µ = k=2 µk est le taux de la loi de T ; alors T = T1 si et seulement

′ ′
si T1 < T ′ ; par un résultat de probabilité, il s’agit de :

µ1 µ1
P Rx T1 ≤ T ′ =

= ;
µ1 + µ′ µ
on a donc que la probabilité de transition vers y1 est px,y1 = µ1 /µ.
De façon similaire, pour i = 1, 2, 3, . . . , n, on a que
µi
px,yi = .
µ
Les éléments générateurs sont donc :
µi
Gx,x = −µ; Gx,yi = µ · = µi .
µ
3.4. TAUX GÉNÉRATEURS ET TEMPS D’ARRIVÉE EXPONENTIELS. 127
Exemple 3.2. Deux rampes mobiles qui amènent les étudiant·e·s au pavillon Roger-
Gaudry de l’Université de Montréal (avant 2018, mettons) fonctionnent indépendamment
l’une de l’autre. Chacune d’entre elle se brise à un taux β = 1 fois par heure.
Cependant, comme il y a un seul technicien, il ne peut réparer qu’une seule rampe à
la fois ; lorsqu’au moins une rampe est brisée, le technicien peut réparer ρ = 2 rampes par
heure en moyenne ; tous les temps de réparation et de fonctionnement sont indépendants.
(a) Quel est le générateur de la chaîne X = (Xt )t∈R+ , où Xt est le nombre de rampes en
fonctionnement au temps t ?
(b) Trouver P (t) et donner la limite lorsque t tend vers 0.
(c) À long terme, quelle proportion de temps les deux rampes fonctionnent-elles ?
Solution. (a) Pour trouver le générateur, nous devons d’abord identifier, pour chaque
état,
i. Quels événements peuvent survenir.
ii. À quel taux chacun de ces événements survient-il ?
iii. Pour chaque type d’événement qui peut survenir : quelle transition cet événement
engendre-t-il ?
Alors allons-y :
État 0 : Lorsqu’on est dans l’état 0, aucune des rampes ne fonctionne. Le seul événement
qui peut survenir est que le réparateur a fini de réparer l’une des deux rampes ; Il
effectue cette réparation à un taux moyen de ρ = 2 réparations par heure, et lorsque
cet événement survient, on transitionne dans l’état 1.
On a donc G0,1 = ρ et G0,0 = −ρ. Les autres taux générateurs de cette ligne sont
nuls.
État 1 : Lorsqu’on est dans l’état 1, il peut survenir deux types d’événements :
– Le réparateur finit de réparer la rampe brisée à un taux de ρ = 2 réparation
par heure ; dans ce cas, on transitionne vers l’état 2. Donc, G1,2 = ρ.
– La rampe fonctionnelle se brise à un taux de β = 1 bris par heure ; dans ce
cas, on transitionne vers l’état 0. Donc, G1,0 = β.
Finalement, on doit donc avoir G1,1 = −ρ − β. Les autres taux générateurs de cette
ligne sont nuls.
État 2 : Lorsqu’on est dans l’état 2, il peut survenir deux événements :
– La rampe n° 1 se brise avec un taux de β = 1 bris par heure, ou
– La rampe n° 2 se brise, aussi avec un taux de β = 1 bris par heure.
Ces deux événements causent tous les deux des transitions vers l’état 1 ; on a donc
G2,1 = β + β = 2β.
Finalement, on doit donc avoir G2,2 = −2β. Les autres taux générateurs de cette
ligne sont nuls.
En mettant tout cela ensemble, on trouve que :
 
−2 2 0
G =  1 −3 2  .
0 2 −2
(b) On diagonalise G ;
Étape 1 : Trouver les valeurs propres. On a λ1 = 0, λ2 = −2 et λ3 = −5.
Étape 2 : Trouver des vecteurs propres. On peut prendre
     
1 −2 −2
v1 = 1 , v2 =  0  , v3 =  3  .
1 1 −2
Étape 3 : Trouver les matrices Q et D. On a :

   
1 −2 −2 0 0 0
Q = 1 0 3 , D = 0 −2 0  .
1 1 −2 0 0 −5
Étape 4 : Trouver Q−1 . On trouve :

 
−3 −6 −6
1 
Q−1 = 5 0 −5 .
15 1 −3 2
Étape 5 : Calculer exp(tG). On a :

     
3 6 6 10 0 −10 2 −6 4
1 3 6 6 + e−2t  0 0
P (t) = exp(tG) = 0  + e−5t 3 9 −6
15 3 6 6 −5 0 5 2 −6 4
(c) On voit que

(t)
lim Px,y = πy ,
t→∞
où
1 2 2
π0 = , π1 = , π3 = .
5 5 5
On a donc que, à long terme, la proportion de temps passée avec les deux rampes
fonctionnelles est de 2/5 = 40% du temps.
3.5. Espérance de temps d’atteinte.

Comme nous l’avons déjà mentionné, nous ne nous intéresserons pas nécessairement à la
récurrence et/ou à la transience ; on peut répondre à ces questions pour des chaînes à temps
continu en utilisant des chaînes à temps discret tout à fait analogues ; ce n’est donc pas un
enjeu particulièrement intéressant.
Toutefois, il peut arriver qu’on veuille obtenir des résultats (dans le cas où une chaîne
est récurrente et irréductible, par exemple) sur la distribution des temps d’atteinte ou de
retour à un état ; dans ce cas.
Pour rappel, on définit le temps d’atteinte de l’état y :
(3.5.1) τy = inf t ∈ R+ : Xt = y ;

il s’agit du premier temps où on atteint l’état y. Encore une fois, on peut utiliser le condi-
tionnement par la première transition pour arriver à nos fins. On a :
3.5. ESPÉRANCE DE TEMPS D’ATTEINTE. 129
l’espace des états S avec taux générateurs G = (Gx,y )x,y∈S ; on note λx = −Gx,x le taux
inter-transition de l’état x et px,y = Gx,y /λx la probabilité de transition de l’état x à l’état
y.
Pour x, y ∈ S fixés, on a le système d’équations suivant :
 X


 P z {τx < τy } = pz,w Pw {τx < τy } ∀z ̸= x, y
w∈S

(3.5.2)

 Px {τx < τy } = 1

Py {τx < τy } = 0.

Remarque. On constate que les probabilités Pz {τx < τy } satisfont exactement le même
système d’équations que pour le processus Yk = XTk , à temps discret. Ce n’est pas un hasard ;
le temps passé à état (donc les taux inter-transitions) n’affectent aucunement la probabilité
d’atteindre un état avant un autre.
C’est – encore une fois – la raison pour laquelle nous ne nous éterniserons pas sur ces
résultats.
La vraie différence importante interviendra lorsqu’on voudra calculer les espérance des
temps d’atteinte ; en effet, à ce moment-là, on aura besoin d’information sur les temps inter-
transitions.
On a le lemme suivant :
l’espace des états S avec taux générateurs G = (Gx,y )x,y∈S ; on note λx = −Gx,x le taux
inter-transition de l’état x, et px,y = Gx,y /λx la probabilité de transition de l’état x à l’état
y.
Pour y ∈ S fixé, on a le système d’équations suivant :
1
 X

 Ex [τy ] = + px,z Ez [τy ] ∀x ̸= y
(3.5.3) λx
z∈S

Ey [τy ] = 0.

De plus, si T1 = inf {t ∈ R+ : Xt ̸= X0 } est le temps de la première transition, et on

définit
τx+ = inf {t > T1 : Xt = x}
le temps d’atteinte après la première transition de x, alors
1 X
(3.5.4) Ex τx+ =

+ px,z Ez [τx ] .
λx
z∈S
Démonstration. Pour obtenir ce résultat, on conditionne par la première transition ;

c’est à dire par XT1 .
On a :
Ex [τy ] = Ex [Ex [τy | XT1 ]]
X
= px,z Ex [τy | XT1 = z]
z∈S
Et bien sûr, si on sait qu’en T1 , on est au point z, alors

Ex [τy | XT1 = z] = Ex [T1 ] + Ez [τy ] ,
par la propriété de Markov et l’homogénéité. 2
Or, on a que Ex [T1 ] = λ1x , et donc

X 1
Ex [τy ] = px,z + Ez [τy ]
λx
z∈S
1 X
= + px,z Ez [τy ] .
λx
z∈S
Bien sûr, si x = y, Ey [τy ] = 0, puisque X0 = y. On a donc montré le système d’équations

(3.5.3). Le raisonnement est similaire pour montrer (3.5.4). □
Exemple 3.3. En reprenant l’exemple 3.2, calculer l’espérance du temps avant d’avoir
un arrêt complet du service des rampes si on commence la journée avec deux rampes fonc-
tionnelles.
Solution. Le générateur pour ce processus est
 
−2 2 0
G =  1 −3 2  .
0 2 −2
Si on pose ui = Ei [τ0 ], on a le système d’équations suivant :


 u0 = 0


 1 1 2
u1 = + u0 + u2
 3 3 3

 1
u2 = + u1 .

2
On trouve donc :
5
u0 = 0, u1 = 2, u2 = .
2
Donc, E2 [τ0 ] = 2 , et il faut en moyenne 2h 30 minutes avant de se trouver dans une
5
situation de panne complète lorsque les deux rampes fonctionnent.
3.6. Distribution stationnaire et théorème ergodique.

Ah tiens ! On a déjà vu une section avec presque le même titre...
Ça vaut la peine, encore une fois, de commencer avec un petit rappel de ce qu’on avait
vu à la section 1.7.2.
2. En fait, ici, T1 est un temps aléatoire ; a priori, la propriété de Markov ne s’applique que si le temps
est constant. Toutefois, il s’avère qu’on a aussi que la propriété de Markov fonctionne pour T1 ; c’est ce qu’on
appelle la propriété de Markov forte.
3.6. DISTRIBUTION STATIONNAIRE ET THÉORÈME ERGODIQUE. 131
3.6.1. Rappel de la section 1.7.2. On suppose un instant que X = (Xt )t∈Z+ soit
une chaîne de Markov homogène à temps discret sur l’espace des états discret S (fini ou
dénombrable), et que x, y ∈ S sont deux états.
D’une part, le théorème ergodique (Théorème 1.1) nous garantit que si l’état y satisfait
au moins l’une des conditions suivantes :
– l’état y est transient ;
– l’espérance du temps de retour à y, Ey τy+ est infinie ;

– l’état y est récurrent et apériodique ;

(t)
alors, la limite de la suite Px,y existe ; dans ce cas, elle est donnée par :
1
si
( +
P x {τy < +∞} · +
Ey [τy ]
Ey τy < +∞
( 1.7.8) (t)
lim Px,y =
t→∞ 0 sinon ;
nous avions aussi vu que dans tous les cas, la fréquence moyenne des visites à y convergeait
vers cette même limite :
t
Px {τy < +∞} · E 1τ + si Ey τy+ < +∞
(
1 X (u) y[ y ]
( 1.7.9) lim Px,y =
t→∞ t
u=1 0 sinon.
Nous avions aussi trouvé une astuce algébrique pour trouver facilement ces limites dans
certains cas ; en effet, nous avions établi que le vecteur-ligne π = (πx )x∈S constituait une
distribution stationnaire (définition 1.14) si et seulement si elle satisfaisait le système d’équa-
tions suivantes :
 X

 π y = πx Px,y ∀x, y ∈ S;

x∈S
( ‡) X
 1= πx ;


x∈S
ce même vecteur est une solution stationnaire s’il satisfait toutes ces équations sauf la
dernière (la conditione de normalisation).
Finalement, le théorème 1.2 nous garantissait que dans le cas où X est une chaîne
irréductible
+ et récurrente, et que les espérances des temps de retour sont finies pour tout état
y (Ey τy < +∞ pour tout y ∈ S), alors il existe une distribution stationnaire unique. De
−1
plus, nous avions vu que πx = Ex [τx+ ] , de telle sorte que lorsque la chaîne est apériodique
(t)
et que la limite existe, on doit forcément avoir limt→∞ Px,y = πy .
Ce que nous allons voir maintenant, c’est comment on obtient des résultats analogues
dans le cas continu.
3.6.2. Les distributions stationnaires, version continue. Ce qu’on commence par

faire, c’est donner une idée de ce que sont les distributions stationnaires dans le cas où on a
une chaîne de Markov continue. Pour ce faire, on remarque d’abord une chose :
Dans le cas discret, si π = (πx )x∈S est une solution stationnaire, alors
π = πP,
ce qui signfie, par récurrence, que π = πP n pour tout n ; en particulier, π est une solution
stationnaire si et seulement si π = πP (n) pour tout n ∈ N ; Ça nous donne donc l’idée de
généraliser la définition comme suit :
Définition 3.3. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu
sur l’espace des états discret S (fini ou infini dénombrable).
π = (πx )x∈S est une solution stationnaire pour la chaîne X si et seulement si elle
satisfait les équations
X
(3.6.1) πy = (t)
πx Px,y ∀y ∈ S, t ∈ R+ .
x∈S
C’est une distribution stationnaire si elle satisfait en plus la condition de normalisa-

tion :
X
(3.6.2) πy = 1.
y∈S
Bien sûr, lorsque S = {1, 2, 3, . . . , n} et qu’on a les matrice de transition sur un intervalle
de temps t données par P (t) , les équations de stationnarité se réduisent à
π = πP (t) ∀t ∈ R+ .
Cette définition est une généralisation naturelle de la définition de la stationnarité pour
les chaînes à temps discret ; toutefois, elle n’est pas très pratique à vérifier. On remarque
tout de suite la proposition suivante :
sur l’espace des états discret S (fini ou infini dénombrable). Soit G = (Gx,y )x,y∈S la famille
des taux générateurs pour X.
Alors, π = (πx )x∈S est une solution stationnaire pour X si et seulement si elle satisfait
les équations
X
(3.6.3) πx Gx,y = 0 ∀y ∈ S.
x∈S
Remarque. Encore une fois, dans le cas où S = {1, 2, 3, . . . , n} est fini, on peut noter
ces équations tout simplement comme l’équation matricielle :
πG = 0,
où π est un vecteur-ligne.
Démonstration. Nous allons faire la preuve dans le cas où S est fini ; ce sera plus
simple, mais l’idée reste la même dans le cas infini.
Dans un sens, la preuve est immédiate ; en effet, si πG = 0, alors πGn = 0 pour tout
n ∈ N, et
πP (t) = π exp(tG)
∞
!
X 1 k
= π In + G
k!
k=1
∞
X 1
=π+ (πGk )
k!
k=1
= π,
et on respecte les équations de stationnarité ; π est une solution stationnaire.
Dans l’autre sens, c’est légèrement plus angoissant. On y arrive avec les équations de
Kolmogorov ; on remarque, bien sûr, que le vecteur π est constant ; donc :
d
π = 0.
dt
Or, par les équations de stationnarité, si π est une solution stationnaire, on doit avoir que
d
0= (πP (t) ) = πGP (t) ,
dt
par l’équation régressive de Kolmogorov. Par associativité, on a donc
0 = (πG)P (t) ,
ce qui doit être vrai pour tout t ; Bien sûr, en particulier, ça doit être vrai pour t = 0, et on
conclue finalement que 0 = πG. □
3.6.3. Le théorème ergodique, version continue. Maintenant, nous allons voir un

premier résultat assez surprenant : contrairement au cas discret, où il pouvait arriver qu’une
distribution limite n’existe pas, dans le cas des chaînes de Markov homogènes à temps
continu, la distribution-limite existera toujours.
Théorème 3.1. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu
sur l’espace des états discret S (fini ou infini dénomrbable).
i. Pour tout point de départ x ∈ S, la distribution-limite existe ; on peut noter
(t))
λx,y = lim Px,y ;
t→∞
ii. La famille λx = (λx,y )y∈S est une solution stationnaire (potentiellement triviale) pour
tout x ∈ S.
Démonstration. ii Ce sera plus simple de commencer par montrer que si on
suppose que les limites existent pour tous x, y ∈ S, alors elles sont toutes des
solutions stationnaires.
(t)
Si on suppose que λx,y = limt→∞ Px,y , alors bien sûr puisque λx,y est une
constante, sa dérivée par rapport à t est nulle, et on doit avoir :
d (t)
limP = 0.
dt x,y
t→∞
Mais par l’équation progressive de Kolmogorov, on obtient :
X
(t)
0 = lim Px,z Gz,y
t→∞
z∈S
X
(t)
= lim Px,z Gz,y
t→∞
z∈S
X
= λx,z Gz,y ,
z∈S
En particulier, donc, on trouve que la distribution λx = (λx,y )y∈S est station-

naire pour tout x ∈ S.
i Il ne reste plus qu’à montrer que les limites existent. Pour ce faire, nous allons
considérer des chaînes discrétisées.
(δ)
Notons Y(δ) = (Yn = Xn+δ )n∈Z+ ; pour tout δ ∈ R+ , Y(δ) est une chaîne
de Markov homogène à temps discret dont les probabilités de transition en un pas
(1)
est Px,y = Px,y correspondent aux probabilités de transition sur un intervalle de
longueur 1 pour X.
En l’occurence, pour tout x ∈ S, Px,x > eGx,x > 0, et tous les états dans S sont
apériodiques pour la chaîne Y(δ) ; par le théorème ergodique, on a donc que pour
tout état de départ x ∈ S, la distribution limite existe ; notons
(n)
λx,y (0) = lim Px,y .
n→∞
Par un argument similaire à ce que l’on a fait plus haut, on constate que λx,y (0)
doit être une solution stationnaire ; on doit avoir
X
λx,z (0)Gz,y = 0
z∈S
pour tout x, y ∈ S.
Par les équations de Chapman-Kolmogorov, on trouve que
X
(n+δ) (n) (δ)
Px,y = Px,z Pz,y ,
z∈S
et en prenant la limite de part et d’autre, on voit que
X
(n+δ) (δ)
λx,y (δ) = lim Px,y λx,z (0)Pz,y .
n→∞
z∈S
Or en dérivant par δ, on trouve que

d X d (δ)
λx,y (δ) = λx,z (0) Pz,y
dδ dδ
z∈S
XX
(δ)
= λx,z (0)Gz,w Pw,y
z∈S w∈S
!
X X
(δ)
= λx,z (0)Gz,w Pw,y
w∈S z∈S
= 0.
On conclue donc que λx,y (δ) est constante en δ ; toutes les limites sont égales,
(t)
et on peut conclure que la limite limt→∞ Px,y = λx,y existe bel et bien.
□
Ce théorème n’est a priori pas d’une très grande aide dans le cas où de multiples solutions
stationnaires linéairement indépendantes existent ; toutefois, on peut formuler un certain
corollaire :
Corollaire 3.4. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu
sur l’espace des états discret S (fini ou dénombrable) ; on suppose que X est irréductible.
Alors, toutes les solutions stationnaires non-triviales sont linéairement dépendantes (c’est-
à-dire qu’elles sont des multiples les unes des autres). En particulier, on distingue deux cas :
i. Soit il existe une unique distribution stationnaire ; dans ce cas, soit π = (πx )x∈S
cette
P distribution stationnaire (c’est-à-dire la solution stationnaire qui satisfait aussi
x∈S πx = 1). Alors, pour tout x, y ∈ S,
(3.6.4) (t)
lim Px,y = πy .
t→∞
ii. Soit il n’existe aucune distribution

P stationnaire parce que pour toute solution station-
naire π = (πx )x∈S , on a que x∈S πx = +∞ ; dans ce cas, pour tout x, y ∈ S,
(3.6.5) (t)
lim Px,y = 0.
t→∞
Démonstration. La preuve assumera que S = {1, 2, 3, . . . , n} est fini ; encore une

fois, c’est pour nous simplifier un peu la tâche, mais l’idée resterait la même, moyennant
des embêtements techniques qui nous dépassent un peu.
Pour montrer qu’il existe une unique solution stationnaire (à constante multiplicative
près), on commence par remarquer que si π = (πx )x∈S est une solution stationnaire, alors
en particulier, π = πP où P = exp(G) ; or, on peut immédiatement voir que, puisque X est
irréductible, on doit avoir que tous les éléments de la matrice P sont non-nuls.
À partir de là, la preuve qu’il existe une unique solution stationnaire à constante près
est identique à la preuve faite dans le théorème 1.2.
Soit donc π = (πx )x∈S une solution stationnaire.
i Soit x∈S πx = M < +∞ ; dans ce cas, sans perdre de généralité, on peut simple-
P
ment assumer que M = 1 – π est donc l’unique distribution stationnaire.
(t)
Parallèlement, on pose λx,y = limt→∞ Px,y ; on sait que cette limite existe. On
(t)
sait aussi que c’est une solution stationnaire. Puisqu’on doit avoir y∈S Px,y = 1,
P
en prenant la limite, avec le théorème de convergence dominée, on doit conclure
que λx,y = πy .
ii Si x∈S πx = +∞, alors la seule solution stationnaire qui peut encore fonctionner
P
(t)
est λx,y = limt→∞ Px,y = 0 ; dans ce cas, vous aurez compris qu’on ne peut pas
appliquer le théorème de convergence dominée aussi facilement...
□
3.6.4. Un exemple. Pour illustrer l’application de ces résultats, nous allons voir quelques
exemples. 3
Exemple 3.4. Pour aller faire sa carte OPUS donnant droit au tarif réduit, il faut
d’abord attendre en file pour faire valider l’attestation qui donne bel et bien le droit à ce
tarif. Puis, une fois l’attestation validée, on doit attendre ensuite dans une autre file, afin
d’être photographié·e ; on reçoit ensuite sa carte identifiée avec sa photo imprimée dessus,
et on est libre de partir.
On fait les hypothèses suivantes :
– Les usagers arrivent pour faire valider leur attestation à un taux moyen de 2 par
minute, à intervalles aléatoires de loi exponentielle.
– Le processus de validation est d’une durée aléatoire de loi exponentielle, qui dure
en moyenne 1/4 de minutes (15 secondes).
3. Ces exemples sont tirés et/ou adaptés de l’ouvrage de Sabin Lessard.
– Le temps requis pour prendre photographier un usager et lui remettre sa carte

est un temps aléatoire de loi exponentielle, qui dure en moyenne 1/2 minutes (30
secondes).
– Un usager qui se présente à un comptoir déjà occupé s’impatiente immédiatement
et décide qu’il reviendra plus tard.
On considère l’espace des états S = {1, 2, 3, 4}, selon la convention suivante :
1 : Il n’y a aucun usager à la validation ni à la prise de photos ;
2 : Il y a un usager à la validation, mais pas à la prise de photos ;
3 : Il y a un usager à la prise de photos, mais pas à la validation ;
4 : Il y a un usager respectivement à la validation et à la prise de photos.
On note Xt l’état du processus (dans S) au temps t.
(a) Donner le générateur G pour le processus X = (Xt )t∈R+ .
(b) Donner la distribution stationnaire.
(c) Quelle est la proportion moyenne de temps où le photographe est occupé ?
(d) Quel est le nombre moyen de comptoirs occupés à long terme ?
(e) Parmi tous les usagers qui se présentent, quelle proportion d’entre eux recevront leur
carte avec photo ?
(f) Quel est le temps moyen que passera un usager dans ce processus ?
Solution. (a) On raisonne état par état :
— Si on est dans l’état 1, on passe à l’état 2 au taux de 2 par minute lorsqu’un usager
arrive.
— Si on est dans l’état 2, il y a un usager au comptoir de validation ; on passe dans
l’état 3 à un taux moyen de 4 par minutes puisqu’il n’y a toujours personne à la prise
de photos.
— Si on est dans l’état 3, il y a un usager à la prise de photos ; on passe à l’état 0 à
un taux de 2 par minutes lorsque la prise de photos se termine avant l’arrivée d’un
nouvel usager ; on passe à l’état 4 à un taux de 2 par minutes si il arrive un nouvel
usager pendant qu’on est encore à la prise de photos.
— Si on est dans l’état 4, il y a un usager à la prise de photos et un autre à la validation.
On passe à l’état 2 à un taux de 2 par minutes en moyenne si la prise de photo se
termine en premier ; on passe à l’état 3 à un taux de 4 par minutes en moyenne si la
validation se termine en premier.
En tout, voici donc le générateur qu’on obtient.
 
−2 2 0 0
 0 −4 4 0
G= 
2 0 −4 2 
0 2 4 −6
(b) On résout le système d’équations πG = 0. Attention ; π est un vecteur ligne qu’on
multiplie à G par la gauche ! Les équations sont :
0 = −2π1 + 2π3



0 = +2π1 − 4π2

+ 2π4

 0= + 4π2 − 4π3 + 4π4

0= + 2π3 − 6π4 .

En résolvant, on trouve :
1
(π1 , π2 , π3 , π4 ) = (3, 2, 3, 1).
9
(c) La proportion moyenne du temps où le photographe est occupé est la proportion moyenne
du temps passée dans les états 3 ou 4 ; c’est :
4
π3 + π4 = .
9
(d) Soit N (x) le nombre de compotoirs qui sont occupés à l’état x ; on a que N (1) = 0,
N (2) = N (3) = 1 et N (4) = 2. On cherche limt→∞ E [N (Xt )] ; c’est :
7
N (1)π1 + N (2)π2 + N (3)π3 + N (4)π4 = 0π1 + 1π2 + 1π3 + 2π4 =
9
(e) On distingue les cas suivants en conditionnant selon l’état dans lequel on se trouve
lorsque l’usager arrive.
— Sachant que l’usager est arrivé alors qu’on était à l’état 1 (il n’y a personne), la
probabilité que celui-ci reçoive sa carte avec photo est de 1.
— Sachant que l’usager est arrivé pendant qu’on était dans l’état 3 (pendant qu’il y a
quelqu’un à la prise de photos), la probabilité que celui-ci reçoive sa carte avec photo
correspond à la probabilité qu’on transitionne de 4 (où on est maintenant que l’usager
est arrivé à la validation et qu’il y a encore quelqu’un à la prise de photos) vers l’état
2 (la prise de photos s’est libéré avant que notre usager ait fini sa validation) – c’est
une probabilité de 2/(2 + 4) = 1/3.
— Sachant que l’usager est arrivé pendant que le compotoir de validation était occupé
(états 2 ou 4), la probabilité qu’il reçoive sa carte avec photo est 0.
— La probabilité que l’usager arrive pendant qu’on est dans l’état i est πi .
Donc, la probabilité totale qu’un usager reçoive sa carte avec photo est :
1 4
1π1 + 0π2 + π3 + 0π4 = .
3 9
(f) Encore une fois, on va prendre l’espérance conditionnellement à l’état dans lequel on se
trouve quand l’usager arrive.
— Sachant que l’usager arrive alors qu’on est dans l’état 1, celui-ci passe 15 secondes
en moyenne à la validation, puis 30 secondes en moyenne à la prise de photos ; c’est
donc 45 secondes, ou 3/4 de minutes en moyenne.
— Sachant que l’usager arrive alors qu’on est dans l’état 3, le client va faire tout le
processus de validation – donc il va passer au moins 15 secondes en moyenne au
comptoir. Puis, il y a deux possibilités :
— soit la prise de photos s’est libérée entre temps (probabilité 1/3), auquel cas il va
passer en moyenne 30 secondes (1/2 minutes) à la prise de photos ;
— soit la prise de photos ne s’est PAS libérée entre temps (probabilité 2/3), auquel
cas il va passer s’en aller tout de suite.
Donc, sachant qu’on est arrivé dans l’état 3, le temps moyen passé dans le système
est : 14 + ( 31 × 12 + 23 × 0) = 12
5
minutes (25 secondes).
— Sachant que l’usager arrive alors qu’on est dans les états 2 ou 4, il s’en va tout de
suite et passe 0 secondes dans le système.
Donc, notre espérance conditionnelle est :

3 5 7
π1 + π3 = .
4 12 18
3.7. EXERCICES 139
3.7. Exercices
Exercice 3.1. Soit X = (Xt )t∈R+ une chaîne de Markov à temps continu sur l’espace
des états discret S (fini ou dénombrable), et soient (λx )x∈S les taux respectifs des temps
inter-transition pour chaque état dans S.
On considère maintenant la restriction de cette chaîne aux temps entiers ; il s’agit d’une
chaîne de Markov à temps discret.
Montrer que les probabilités de transition en un pas pour cette nouvelle chaîne satisfont :
Px,x ≥ e−λx > 0.
Déduire que tous les états d’une telle chaîne sont forcément apériodiques.
Exercice 3.2. Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu
sur l’espace des états discret S (fini ou dénombrable). Soient (px,y )x,y∈S les probabilités de
transitionner de l’état x à y pour tous x, y ∈ S au moment d’une transition.
Supposons que px,x > 0 ; c’est à dire qu’on a une probabilité non-nulle de transitionner
de x vers x au moment de la transition.
(a) On suppose que N est le nombre de transitions qu’il faut faire pour finalement quitter
l’état x. Quelle est la loi de N ? Donner sa fonction de masse et sa fonction génératrice
des probabilités ψN (s) = E sN .
(b) Soit Ti le temps passé en x avant la ième transition (on suppose qu’on est revenus en x à
la (i − 1)ième transition). Expliquer pourquoi les Ti sont indépendants et identiquement
distribués, de loi exponentielle de paramètre λx . Quelle est la fonction génératrice des
moments M (s) de la distribution des Ti ?
(c) On note T le temps passé à l’état x avant de transitionner vers un état différent. On a
donc
N
X
T = Ti .
i=1
Montrer que
E [exp(sT ) | N = k] = M (s)k .
(d) On note MT (s) la fonction génétratrice des moments de T . Montrer que
MT (s) = ψN (M (s));
déduire que T suit aussi une loi exponentielle avec taux
λ = (1 − px,x )λx .
Remarque. Cet exercice illustre la raison pour laquelle il est inutile d’inclure la possi-
bilité que px,x > 0.
Exercice 3.3. Soit G le générateur des transitions pour une chaîne de Markov homogène
à temps continu sur un espace d’états fini de n états.
Est-ce que det(G − λI) est toujours factorisable par λ ? Expliquer ?
avec G = (Gx,y )x,y∈S sa famille de taux générateurs. Montrer qu’on a, pour tout y ∈ S, le
système d’équations :  X
− Gx,z Ez [τy ] = 1 ∀x ̸= y
z∈S

Ey [τy ] = 0.
Exercice 3.5 ( Lessard, ex. 2.1). Deux employées d’une maison de courtage reçoivent
des appels de clients au sujet d’achat ou de vente de fonds mutuels. Lorsque leurs lignes
téléphoniques étaient indépendantes, chacune d’elles était occupé un temps de loi exponen-
tielle avec une espérance de 15 minutes (1/4 d’heure) avec chaque client ; pendant ce temps,
tout nouvel appel reçu sur la ligne était rejeté. Il passait en moyenne 60 minutes (1 heure)
entre chaque nouvel appel sur la ligne téléphonique.
Depuis une réorganisation du service, lorsqu’un appel est reçu à n’importe lequel des
deux numéros de téléphone, il est transféré à l’autre courtière si la première destinataire de
l’appel est occupée ; si aucune des deux n’est libre, l’appel est rejeté.
Déterminer le générateur pour le nombre de lignes occupées
(a) avant la réorganisation du service, et
(b) après.
Exercice 3.6 ( Lessard, ex. 2.2). On suppose qu’un appareil tombe en panne suite
à un kième choc avec probabilité k 2 /9 pour k = 1, 2, 3 ; dans le cas où il est en panne, il
est remplacé par un appreil neuf. Si les chocs surviennent à des intervalles de temps de loi
exponentielle à un taux de 9 chocs par semaine, quel est le générateur pour le nombre de
chocs subis par l’appareil ?
Exercice 3.7 ( Lessard, ex. 2.3). Une chaîne de Markov homogène à temps continu
sur les états 0, 1 et 2 a comme générateur :
 
−3 2 1
 2 −4 2  .
0 1 −1
Déterminer le temps moyen pour atteindre l’état 2 à partir de l’état 0.
Exercice 3.8 ( Lessard, ex. 2.4). Un sous-marin dispose au départ de trois systèmes de
navigation et il reste en mer tant qu’au moins deux de ces systèmes fonctionnent. Les temps
de fonctionnement de ces systèmes sont indépendants et de loi exponentielle d’espérance 1
an, 1, 5 ans et 3 ans respectivement. Quel est le temps moyen que le sous-marin reste en mer
après son départ ?
Exercice 3.9 ( Lessard, ex. 2.28). Une grenouille sur le bord d’un étang (état 1)
saute dans l’étang (état 2) et vice versa, selon une chaîne de Markov à temps continu dont
le générateur est
−3 3
G= .
2 −2
3.7. EXERCICES 141
(a) Déterminer la probabilité à long terme de trouver la grenouille hors de l’étang.

(b) Déterminer le générateur pour le nombre de grenouilles dans l’étang si 3 grenouilles
sautent indépendamment dans et hors de l’étang comme notre première grenouille.
Exercice 3.10 (Lessard, ex. 2.29). Un médecin de garde reçoit des appels à un taux
d’environ 1 toutes les 12 heures ; chaque appel nécessite un temps exponentiel de 3 heures
en moyenne, indépendant de tout le reste.
Si le médecin commence sa garde le vendredi à 18h, quelle est la probabilité qu’il puisse
passer sa soirée de samedi (de 18h à minuit) avec sa famille sans être dérangé ?
sur l’espace des états discret S, avec des taux inter-transition (λx )x∈S , et soit π = (πx )x∈S
une distribution stationnaire pour X.
On note Y = (Yk = XTk )k∈Z+ , où Yk est la position immédiatement après la kième
transition. Les éléments de la matrice des probabilités de transition en un pas de Y est
donnée par px,y .
(a) Montrer que π satisfait les équations
X
0 = −πy λy + πx λx px,y .
x∈S:x̸=y
(b) Déduire que le vecteur π̃ = (π̃x )x∈S , défini par

π̃x = πx λx ,
est une solution stationnaire pour la chaîne à temps discret Y.
Exercice 3.12. (Difficile ; requiert de l’analyse)

Soit X = (Xt )t∈R+ une chaîne de Markov homogène à temps continu sur l’espace des
états discret S (fini ou infini dénombrable).
On définit
1 t
Z
Vy (t) = 1 du.
t u=0 {Xu =y}
(a) Montrer que
1 t
Z
Ex [Vy (t)] = P (u) du.
t u=0 x,y
(b) Montrer que si la chaîne X est irréductible, alors
νx,y = lim Ex [Vy (t)] = πy ,
t→∞
où π = (πy )y∈S est l’unique distribution stationnaire.
Exercice 3.13 (Lessard, ex. 2.13). Une chaîne de Markov à temps continu sur les
états 0, 1 et 2 possède comme générateur la matrice
 
−2 1 1
G =  2 −4 2  .
0 1 −1
Déterminer la fraction moyenne de temps, à long terme, que la chaîne passe à l’état 0.
Exercice 3.14 (Lessard, ex. 2.14). Un courtier d’assurances reçoit des appels de clients
à un taux moyen de 4 par heure, à intervalles de longueur aléatoire de loi exponentielle.
Chaque conversation téléphonique est d’une durée aléatoire de loi exponentielle et dure en
moyenne 1/4 d’heure. Si un autre appel arrive durant cette période, il est mis en attente
jusqu’à la fin de la converstaion en cours, mais alors la ligne téléphonique est inaccessible,
et tous les appels subséquents sont rejetés jusqu’à ce que la ligne se libère de nouveau.
Un client en attente s’impatientera au bout d’un intervalle de temps aléatoire de loi
exponentielle d’une durée moyenne d’un quart (1/4) d’heure.
Déterminer
(a) La proportion moyenne de temps où le courtier est au téléphone ;
(b) la proportion moyenne de clients auxquels le courtier finira par parler ;
(c) le temps moyen qu’un client passe au téléphone.
Exercice 3.15 (Lessard, ex. 2.17). Des automobilistes se présentent à une station-
service au taux de 20 par heure, à des intervalles aléatoires de loi exponentielle, mais n’entrent
pas si il y a au moins quatre voitures dans la station. Il y a deux pompes disponibles dans la
station, et le temps de service à chacune d’elle est de loi exponentielle d’espérance 6 minutes.
(a) Quelle est la distribution stationnaire pour le nombre de voitures dans la station ?
(b) En moyenne, à long terme, combien d’automobilistes sont servis par heure ?
Exercice 3.16 (Lessard, ex. 2.18). Une boutique qui vend des ordinateurs en garde au
plus 3 en stock. Les acheteurs se présentent selon à des intervalles aléatoires indépendants de
loi exponentielle à un taux de 2 par semaine en moyenne, et ils repartent avec un ordinateur
s’il y en a au moins un en stock. Lorsqu’il reste un seul ordinateur, la boutique en commande
2 autres ; elle les reçoit après un temps aléatoire exponentiel d’une durée moyenne d’une
semaine.
Déterminer :
(a) Le nombre moyen d’ordinateurs en stock, à long terme.
(b) Le nombre moyen d’ordinateurs vendus chaque semaine.
Exercice 3.17 (Lessard, ex. 2.19). Un coiffeur a de la place pour 2 clients seulement
dans son salon. Les clients arrivent à des intervalles aléatoires exponentiels indépendants, au
taux moyen de 2 par heure, mais ils vont ailleurs si il y a déjà deux clients dans le salon. Si
le coiffeur met un temps aléatoire de loi exponentielle pour couper les cheveux d’un client,
combien de temps en moyenne doit-il passer par client afin de ne perdre pas plus de 1/7 de
sa clientèle à long terme ?
Chapitre 4
Processus de naissances et de mort
Au chapitre 3, nous avons fourni le cadre d’analyse général pour les chaînes de Markov
homogènes à temps continu sur des espaces d’états discrets ; nous avons également obtenu
des solutions complètes pour la distribution marginale du processus dans le cas des chaînes
sur des nombres d’états finis.
Dans ce qui suit, nous allons nous pencher sur une certaine catégorie de processus à
temps continu simples sur un nombre infini d’états, et nous verrons comment il est possible
d’analyser ces problèmes également.
4.1. Le processus de Poisson.

Le plus simple des processus à temps continu est le processus de Poisson. Il existe plu-
sieurs façons de décrire ce processus – comme un objet géométrique, ou comme une mesure
aléatoire sur un espace...
Dans ce qui suit, nous allons étudier le processus de Poisson en tant que chaîne de
Markov à temps continu, évidemment. La prémisse est la suivante :
4.1.1. Une séquence d’événements imprévisibles. On imagine qu’un séquence
d’événements d’un certain type se produisent à des intervalles aléatoires indépendants et
identiquement distribués, sans mémoire (donc de loi exponentielle). L’exemple-type est ce-
lui des « clics » d’un compteur Geiger. 1 La figure 4.1a montre un enregistrement des cliquetis
d’un compteur Geiger.
Un processus de Poisson est un processus qui « compte » simplement le nombre total
de ces événements qui sont survenus. Typiquement, on emploiera Nt pour noter le nombre
d’événements survenus jusqu’au temps t inclusivement. La figure 4.1b montre le processus
Nt correspondant à l’enregistrement illustré au-dessus.
Évidemment, Nt est un nombre entier non-négatif (possiblement nul). Si on note T0 = 0
et
Tk = inf t > Tk−1 : Nt ̸= NTk−1
le temps de la kième transition, alors forcément, on doit avoir que NTk = k – en effet, les
transitions se produisent lorsqu’un événement survient, et quand un événement survient, on
ne fait qu’augmenter le compteur.
Puisqu’on fait l’hypothèse que les intervalles Uk = Tk − Tk−1 sont identiquement distri-
bués et sans-mémoire (c’est important), on conclue donc qu’il existe un paramètre λ > 0
tel que pour les (Uk )k∈N forment une suite de variables aléatoires indépendantes et identi-
quement distribuées, de loi exponentielle de taux λ.
1. Un compteur Geiger est un dispositif constitué d’un tube rempli d’helium aux extrémités duquel est
appliqué une tension électrique à l’aide d’électrodes ; lorsqu’une particule radioactive ionise le gaz, la présence
momentanée de charges électriques libres provoque une décharge de courant, qui actionne un petit haut-
parleur, produisant un déclic. Ces compteurs servent à détecter la présence et l’intensité de rayonnement
ionisant.
143
144 4. PROCESSUS DE NAISSANCES ET DE MORT
+ 0.0 0.1 0.2 0.3 0.4 0.5

t
(a) La forme d’onde de quelques secondes d’un enregistrement d’un
compteur Geiger. On peut voir les « clics » très nettement.
1
t
+ 0.0 0.1 0.2 0.3 0.4 0.5
(b) Le processus de Poisson Nt comptant le nombre de clics survenus

jusqu’au temps t.
Figure 4.1 – L’exemple d’un compteur Geiger.
4.1.2. Définitions. On voit que le paramètre λ correspond au taux inter-transition λk

pour tout k ∈ Z+ ; de plus, les probabilités de transitions sont évidemment données par
pk,k+1 = 1. Le processus Nt peut donc être décrit comme une chaîne de Markov homogène
à temps continu. On fait la définition suivante :
Définition 4.1. Un processus de Poisson d’intensité λ > 0 est une chaîne de Markov
homogène à temps discret N = (Nt )t∈R+ sur l’espace des états S = Z+ dont les taux
générateurs sont donnés par :
(4.1.1) Gk,k = −λ; Gk,k+1 = λ.
4.1.3. Propriétés. Les processus de Poisson sont nommés ainsi en raison de leur plus
remarquable propriété :
Proposition 4.1. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ > 0. Alors,
pour tout t ∈ R+ , Nt suit une loi de Poisson de paramètre λt.
Démonstration. On remarque qu’on a l’égalité entre les événements suivants :
{Nt ≤ k} = {Tk+1 > t} ;
en effet, Nt est inférieur ou égal à k si et seulement si la k + 1ième transition a eu lieu
strictement après le temps t.
Or, on a que
k+1
X
Tk+1 = Ui ,
i=1
4.1. LE PROCESSUS DE POISSON. 145
où les Ui sont des variables aléatoires de loi exponentielle de taux λ indépendantes. Il suit
donc que Tk+1 suit une loi Gamma de paramètres k + 1, λ, donc on a que
P0 {Nt ≤ k} = P0 {Tk+1 ≥ t}
Z ∞ k+1
λ
= uk e−λu du
u=t k!
Z ∞ k+1
−λt λ
=e (v + t)k e−λv dv
v=0 k!
k+1 Z ∞X k
−λt λ k!
=e ti v k−i e−λv dv
k! v=0 i!(k − i)!
i=0
k
(λt)i ∞ λk+1−i k−i −λv
X Z
= e−λt v e dv
i=0
i! v=0 (k − i)!
k
X (λt)i
= e−λt .
i!
i=0
Ici, la dernière égalité est obtenue en vertu de la condition de normalisation pour la densité
d’une variable aléatoire de loi Gamma de paramètres (k + 1 − i), λ :
Z ∞ k+1−i
λ
v k−i e−λv dv = 1.
v=0 (k − i)!
En prenant la différence entre P0 {Nt ≤ k} et P0 {Nt ≤ k − 1}, on trouve que :
(λt)k
P0 {Nt = k} = e−λt ;
k!
la fonction de masse de Nt est donc celle d’une variable aléatoire de Poisson de paramètre
λt. □
Homogénéïté spatiale. Le processus de Poisson possède une propriété particulière que

l’on appellera l’homogénéité spatiale. Voici une définition générale de cette propriété :
Définition 4.2. Soit X = (Xt )t≥0 un processus stochastique (temps discret ou continu)
sur un espace d’états discret S additif – c’est à dire un espace d’états muni d’une opération
d’addition. Soient, pour tous 0 ≤ s ≤ t, les probabilités de transition
Px,y (s, t) = P {Xt = y | Xs = x} .
On dit que le processus X est spatialement homogène si et seulement si Px,y (s, t) ne
dépend que de y − x – plus spécifiquement, on doit avoir :
(4.1.2) Px,y (s, t) = P0,(y−x) (s, t).
Remarque. On remarque l’analogie avec l’homogénéité temporelle, qui requierre plutôt
que Px,y (s, t) = Px,y (0, t − s).
Lemme 4.1. Soit X = (Xt )t≥0 une chaîne de Markov homogène et spatialement homo-
gène sur l’espace des états discret S additif.
(s)
Alors, le processus Y(s) = (Yt = Xs+t − Xs )t≥0 suit, pour tout s ≥ 0, exactement la
même loi que le processus X. En particulier, Xs+t − Xs ∼ Xt − X0 , où l’équivalence est en
distribution.
Démonstration. On fixe un s ≥ 0 arbitraire. Soient Px,y (t, u) et Qx,y (t, u) les proba-
bilités de transition respectivement pour les chaînes X et Y(s) ; il suffit de montrer que ces
quantités sont égales.
On a :
n o
(s)
Qx,y (t, u) = P Yu(s) = y Yt = x
= P {Xs+u − Xs = y | Xs+t − Xs = x}
X
= P {Xs+u − Xs = y | Xs+t − Xs = x, Xs = z} P {Xs = z}
z∈S
X
= P {Xs+u = z + y | Xs+t = z + y, Xs = z} P {Xs = z}
z∈S
X
= P {Xs+u = z + y | Xs+t = z + y} P {Xs = z}
z∈S
X
= Pz+x,z+y (s + t, s + u)P {Xs = z}
z∈S
X
= Px,y (t, u)P {Xs = z}
z∈S
= Px,y (t, u).
Dans l’ordre on applique successivement les définitions des probabilités de transition et
du processus Y(s) ; ensuite, on conditionne par l’état Xs , puis on applique la propriété de
Markov, l’homogénéité temporelle et spatiale, et enfin la condition de normalisation qui
garantit que z∈S P {Xs = z} = 1.
P
□
Proposition 4.2. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ > 0. Alors,
ce processus a la propriété d’homogénéité spatiale.
Démonstration. Pour montrer cette propriété, il suffit de vérifier que les taux géné-
rateurs satisfont la propriété que Gx,y ne dépend que de y − x ; c’est vrai. En effet, d’après
la définition, on a que
(
−λ si y − x = 0
Gx,y =
λ si y − x = 1.
□
Corollaire 4.1. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ > 0. Alors,
puisqu’il est spatialement et temporellement homogène, on a que pour tous 0 ≤ s ≤ t,
Nt − Ns ∼ Nt−s ;
en particulier, Nt − Ns suit donc une loi de Poisson de paramètre λ(t − s).
Incréments independants. On fait la définition suivante :

Définition 4.3. Soit X = (Xt )t≥0 un processus stochastique sur l’espace des états
discret additif S (c’est à dire que S est muni d’une opération d’addition.)
L’incrément de X entre les temps s et t est donné par Xt − Xs .
Lemme 4.2. Soit X = (Xt )t≥0 un processus de Markov homogène (temps continu ou
discret) spatialement homogène sur l’espace des états discret additif S. Soient 0 ≤ s ≤ t.
Alors, l’incrément Xt − Xs est indépendant de Xs .
Démonstration. Il suffit de calculer :
P {Xs = x, Xt − Xs = y} = P {Xs = x, Xt = x + y}
= P {Xt = x + y | Xs = x} P {Xs = x}
= P0,y (s, t)P {Xs = x} .
On a que la fonction de masse jointe de Xt − Xs et Xs se factorise en un facteur qui ne
dépend que de x, et un facteur qui ne dépend que de y. On a donc que
P {Xt − Xs = y} = P0,y (s, t).
□
Corollaire 4.2. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ > 0.
Alors, les incréments de N sur des intervalles disjoints sont indépendants. En particulier,
si (si )i∈N et (ti )i∈N sont des suites croissantes de temps, avec 0 ≤ si ≤ ti ≤ si+1 , alors (Nti −
Nsi )i∈N est une suite indépendante de variables aléatoires, chacune suivant respectivement
une loi de Poisson de paramètre λ(ti − si ).
Exemple 4.1. Un radar photo placé sur le bord de l’autoroute enregistre un grand excès
de vitesse chaque fois qu’un·e automobiliste passe devant celui-ci à une vitesse supérieure
à 130 km/h. 2 Selon les données du radar, le jour, ces excès surviennent au taux de 3 par
heure en moyenne.
(a) Quelle est la probabilité que l’on n’ait observé aucun excès de vitesse pendant une
période d’une heure consécutive ?
(b) Sachant qu’on a observé cinq excès de vitesse entre 13h et 15h, quelle est la probabilité
que ceux-ci se soient tous produits avant 14h ?
Solution. (a) On cherche P {N1 = 0} = e−λ = e−3 .
(b) Si t est le temps écoulé depuis 13h, alors on cherche :
P {N1 = 5, N2 − N1 = 0}
P {N1 = 5 | N2 = 5} = .
P {N2 = 5}
On peut utiliser l’indépendance des incréments pour obtenir que
5
e−λ λ5! · e−λ 1
P {N1 = 5 | N2 = 5} = (2λ)5
= .
e−2λ 32
5!
2. Cette mise en situation pourrait ne pas refléter la réalité – je ne sais pas trop comment ça marche ces
machins-là. Conduisez prudemment, bande de dare-devils délinquants !
La distribution sachant NT . Ce qu’on va montrer maintenant, c’est que si on sait que le

nombre total d’événements qui sont survenus sur l’intervalle de temps T est égal à NT = n,
alors la distribution de ceux-ci à l’intérieur de l’intervalle [0, T ] est simplement la distribution
de n variables aléatoires uniformes indépendantes.
Proposition 4.3. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ > 0, et soit
T > 0 une constante fixe quelconque.
Alors,
k
n t (T − t)n−k
(4.1.3) P {Nt = k | NT = n} = .
k Tn
Démonstration. Comme dans l’exemple précédent, on utilise l’indépendance des in-
créments :
P {Nt = k, NT − Nt = n − k}
P {Nt = k | NT = n} =
NT = n
k (λ(T −t))n−k
e−λT (λt)
k! · (n−k)!
= (λT )n
e −λT
n!
n! tk (T − t)n−k
= .
k!(n − k)! Tn
□
Remarque. On remarque que si X1 , . . . , Xn sont des variables aléatoires uniformes sur
l’intervalle [0, T ] indépendantes, et que Ut = |{i : Xi ≤ t}| est le nombre de variables Xi qui
sont inférieures à t, alors Ut est une binomiale de paramètres n, p = t/T , qui est exactement
la distribution de Nt sachant que NT = n. On conclue donc que sachant NT = n, les temps
des n premières transitions T1 , T2 , . . . , Tn suivent la distribution des statistiques d’ordre
X(1) , X(2) , . . . , X(n) de nos variables uniformes Xi ...
Exemple 4.2. Au Québec, parmi les jeunes filles nées entre le 1er janvier 1999 et le 31
décembre 2001, 1483 ont reçu le prénom « Camille ». 3
Quelle est la probabilité qu’au moins une jeune femme prénomée Camille soit née le 29
février 2000 ? Quelles hypothèses fait-on pour répondre à cette question ?
Solution. Pour répondre à la question, on fait l’hypothèse que les intervalles successifs
entre les naissances de Camilles dans ces années-là sont sans-mémoire, de taux identique
et indépendants ; Si Nt est le nombre de Camilles nées à la fin du tième jour depuis le 1er
janvier 1999, alors on sait que N1096 = 1483.
La probabilité qu’il n’y ait eu aucune Camille née le 29 février 2000 correspond à la
probabilité que les 1483 soient toutes nées les autres jours ; C’est :
1095 1483

P {N425 − N424 = 0 | N1096 = 1483} = ≈ 25, 8%.
1096
Il est donc très probable qu’une Camille soit née le 29 février 2000.
3. D’après la liste des prénoms de Retraite-Québec des enfants admissibles aux prestations familiales,
nés ou ayant immigré au Québec depuis 1980.
4.1.4. Superpositions, conditions. On peut imaginer un processus qui compte le

nombre d’événements de « deux types différents », indépendants les uns des autres. Si les
événements de chaque type surivennent selon un processus de Poisson, alors le processus qui
dénombre les événements des deux types en même temps est aussi un processus de Poisson.
(1) (2)
Proposition 4.4. Soient N(1) = (Nt )t∈R+ et N(2) = (Nt )t∈R+ deux processus de
Poisson d’intensités respectives λ > 0 et µ > 0.
(1) (2)
Alors, le processus N = (Nt = Nt + Nt )t∈R+ est un processus de Poisson d’intensité
λ + µ.
Démonstration. On a que Nt est le nombre total d’événements qui se sont produits,
soit pour le processus N(1) ou le processus N(2) ; le temps inter-transition dans l’état k est
U = min {U1 , U2 }, où U1 et U2 sont des variables aléatoires exponentielles indépendantes,
respectivement de taux λ et µ ; donc, U est une loi exponentielle de taux λ + µ ; c’est donc
dire que le taux générateur Gk,k = −λ − µ ; évidemment, la seule transition possible est
vers l’état k + 1 (on ignore la possibilité que deux transitions surviennent en même temps
puisque la probabilité de cela est nulle).
Donc, on a finalement que Gk,k = −(λ + µ) et Gk,k+1 = λ + µ, pour tout k ; donc N est
un processus de Poisson d’intensité λ + µ. □
À l’inverse, supposons qu’on considère que pour chacuns des événements dénombrés par
le processus N, celui-ci peut être d’un certain type « A » avec probabilité p, indépendam-
ment pour chacun des événements, alors le processus N(A) qui dénombre uniquement les
événements de type A est aussi un processus de Poisson.
Proposition 4.5. Soit N = (Nt )t∈R+ un processus de Poisson d’intensité λ, et soient
(Ak )k∈N une suite indépendante et identiquement distribuée de variables aléatoires de Ber-
noulli avec probabilité p (c’est-à-dire que P {Ak = 1} = p et P {Ak = 0} = 1 − p).
(A) (A) = (N (A) )
Alors, si on note Nt = N
P t
k=1 Ak , le processus N t t∈R+ est un processus de
Poisson d’intensité λp.
Démonstration. Soit Tk le temps de la kième transition du processus N, et Uk =
(A)
Tk − Tk−1 les temps inter-transition de ce processus. Si on note T1 le temps de la première
transition pour N(A) , et K = min {k : Ak = 1} la première transition de N qui entraîne une
transition pour N(A) , alors on a que, d’une part :
K
(A)
X
T1 = Uk ,
k=1
où K suit une loi géométrique de paramètre p (puisque c’est le premier indice où on a un
succès), et les Uk sont des variables aléatoires exponentielles indépendantes de paramètre λ.
Par un résultat
h du cours
i de probabilités, on voit que la fonction génératrice des moments
(A)
MA (t) = E exp(tT1 ) est donnée par :
MA (t) = ψK (MU (t)),
où ψK est la fonction génératrice des probabilités pour la distribution de K, et MU (t) est
la fonction génératrice des moments pour la distribution des Uk . En l’occurence, on a que :
ps λ
ψK (s) = , MU (t) = ,
1 − (1 − p)s λ−t
et il suit que
pλ λp
MA (t) = = ,
(λ − t − (1 − p)λ λp − t
(A)
et T1 suit une loi exponentielle de paramètre λp ; donc, le taux inter-transition pour l’état
0 est de λp, et bien sûr la seule transition possible est vers l’état 1.
En faisant le même raisonnement pour les états k et k + 1, on trouve que les taux
générateurs sont Gk,k+1 = λp et Gk,k = −λp ; donc, le processus N(A) est un processus de
Poisson d’intensité λp. □
4.2. Les processus de naissances

Les processus de naissance et de mort sont une catégorie assez large de processus sto-
chastiques à temps continu sur l’espace des états S = Z+ , qui ont la propriété spéciale que
les transitions possibles depuis l’état k sont limitées seulement à des naissances (une transi-
tion vers k + 1) et des morts (une transition vers k − 1 ; On conçoit Xt comme le « nombre
d’individus en vie au temps t» ; l’analogie n’est pas très difficile.
sur l’espace des états S = Z+ .
X est un processus de naissance et de mort lorsque Gi,j = 0 pour tous i, j ∈ Z+
tels que |i − j| > 1.
On parle d’un processus de naissances tout-court lorsque Gi,i−1 = 0 pour tout i – c’est
à dire qu’il n’y a « jamais de morts. »
Le processus de Poisson, que nous venons de voir, est un processus de naissance. C’est
le plus simple, puisque c’est un processus de naissance spatialement homogène ; c’est à dire
que Gk,k et Gk,k+1 ne dépendent pas de k dutout.
Une toute petite coche de complexité au-dessus, on trouve...
Le cas le plus général d’un processus de naissance est celui où le taux générateur Gk,k =
−νk dépend de k. Puisqu’il s’agit d’un processus de naissance, on sait que le seul autre taux
générateur non-nul est Gk,k+1 = νk .
Dans ce cas très général, il est difficile d’obtenir une idée aussi précise des distributions
impliquées ; cela dépendra bien sûr des valeurs exactes des taux de naissances (νk )k∈Z+
On observe tout de même le phénomène suivant :
Proposition 4.6. Soit X = (Xt )t∈R+ un processus de naissances avec taux de nais-
sances (νk )k∈Z+ . On définit T0 = 0 et

Tk = inf t > Tk−1 : Xt ̸= XTk−1
le temps de la kième transition (de sorte que XTk = X0 + k pour tout k ∈ Z+ .)
Alors, on a que
n
X 1
(4.2.1) E0 [Tn ] = .
νk
k=1
Démonstration. On sait d’emblée que les variables (Uk = Tk − Tk−1 )k∈N (les temps
inter-transition) sont des variables aléatoires indépendantes. De plus, sachant que XTk−1 = x,
on sait que Uk est une variable aléatoire exponentielle de paramètre νx .
4.2. LES PROCESSUS DE NAISSANCES 151
Or, bien sûr, puisque X est un processus de naissance, la suite (XTn )n∈Z+ et entièrement
déterminée – en effet, on a XTn = n. Donc, on sait immédiatement que Uk suit une loi
exponentielle de paramètre νk . Donc,
1
E0 [Uk ] = .
νk
On conclue en utilisant la linéarité de l’espérance et une somme télescopique :
n n
X X 1
E0 [Tn ] = E0 [Uk ] = .
νk
k=1 k=1
Exemple 4.3. Dans un processus de Poisson d’intensité λ > 0, l’espérance du temps de

la nième transition (le temps d’atteinte de l’état n) est donnée par
n
E0 [τn ] = .
λ
C’est un fait qu’on peut vérifier puisqu’on sait que Tn suit une loi Gamma de paramètres
n, λ dans ce cas.
4.2.1. Les explosions. On vient de voir que dans un processus de naissances avec les
taux de naissances (λk )k∈Z+ , l’espérance du temps requis pour atteindre l’état n est donnée
par :
n
X 1
( 4.2.1) E0 [Tn ] = .
νk
k=1
Clairement, cette suite est croissante. Mais que se passe-t-il si elle est bornée ? En effet,
a priori, il n’est pas exclu, par exemple, d’avoir
lim E0 [Tn ] = t∞ < +∞;
n→∞
il suffit que la série k≥1 νk−1 converge !

P
Cela voudrait dire que, peu importe la valeur de n qu’on choisit, on aurait que E0 [Tn ] <
t∞ . Autrement dit, « en moyenne », le processus pourrait partir à +∞ en un temps fini !
C’est ce qu’on appelle gentiment une explosion.
En fait, on va faire la définition suivante, très générale :
Définition 4.5. Soit X = (Xt )t∈R+ un processus stochastique à temps continu sur
l’espace des états discret S.
On dit que X explose si il existe un intervalle fini de temps durant lequel se produisent
une infinité de transitions.
À noter que, a priori, le fait que t∞ < +∞ existe ne signifie pas forcément que notre
processus explose à chaque réalisation – mais on sait que les temps successifs des transitions
ont une espérance bornée – mais ce qu’on va voir, c’est que dans le cas où cette limite existe,
la probabilité que le processus explose est de 1. Pour ce faire, on introduit le temps de vie :
Définition 4.6. Soit X = (Xt )t∈R+ un processus stochastique à temps continu sur
l’espace des états discret S. On définit T0 = 0 et le temps de la nième transition

Tn = inf t > Tn−1 : Xt ̸= XTn−1 .
Le temps de vie de X, noté T∞ , est donné par :
T∞ = sup Tn : n ∈ Z+ = lim Tn .

n→∞
À noter que le temps de vie peut être infini, dans le cas où la suite (Tn )n∈Z+ ne serait
pas bornée supérieurement.
Le temps de vie du processus est le temps requis pour effectuer toutes les transitions –
comme on vient de le voir, dans le cas d’une explosion, ça sera un temps fini !
Proposition 4.7. Soit X = (Xt )t∈Z+ un processus de naissances avec taux de naissances
(νk )k∈Z+ . On note T0 = 0, Tn le temps de la nième transition et T∞ = sup {Tn : n ∈ Z+ } le
temps de vie Pde X.
Alors, si k≥1 νk−1 converge, P {T∞ < +∞} = 1. Si k≥1 νk−1 diverge, alors P0 {T∞ < +∞} =
P
0.
Pn Démonstration. En reprenant la notation de la proposition précédente, on a que Tn =

k=1 Uk , et
T∞ = lim Tn .
n→∞
Lorsque E0 [T∞ ] < +∞, (soit quand la série k≥1 νk−1 converge, on doit forcément avoir
P
que la probabilité P {T∞ = +∞} = 0.

Supposons qu’on fixe un temps t ; on a alors que T∞ > t si et seulement si, au temps t,
on se trouve quelque part passé l’état k, sur Z+ ; donc, on a en somme :
∞
(t)
X
Pk {T∞ > t} = Pk,i .
i=k
Si on calcule maintenant P0 {T∞ > mt}, pour m ∈ N, m > 1, on trouve que
∞
(t)
X
Pk {T∞ > mt} = Pk {T∞ > mt | Xt = i} Pk,i .
i=k
Or, par la propriété d’homogénéité et la prpriété de Markov,
Pk {T∞ > mt | Xt = i} = Pi {T∞ > (m − 1)t} ,
et on trouve :
∞
(t)
X
Pk {T∞ > mt} = Pi {T∞ > (m − 1)t} Pk,i .
i=k
Bien sûr,
Pi {T∞ => (m − 1)t} = Pk {T∞ − Ti−k > (m − 1)t} ≤ Pk {T∞ > (m − 1)t}
, puisque P0 {Tk < +∞} = 1 (vu que partant de 0 on est sûr.e.s d’atteindre k).
Donc,
∞
(t)
X
Pk {T∞ > mt} ≤ Pk {T∞ > (m − 1)t} Pk,i = Pk {T∞ > (m − 1)t} Pk {T∞ > t} ,
i=k
4.3. LES PROCESSUS DE NAISSANCES ET DE MORTS GÉNÉRAUX. 153
pour tous k (en particulier pour k = 0). Donc,

P0 {T∞ > mt} ≤ P0 {T∞ > t}m ,
En particulier, si on suppose que pour un certain t, P0 {T∞ > t} < 1, on trouve que
Z ∞ ∞
X p
E0 [T∞ ] = P0 {T∞ > u} du ≤ pm = ,
u=0 1−p
m=1
où p = P0 {T∞ > t}. Or, cela est une contradiction, puisqu’on suppose que E0 [T∞ ] = +∞.
Donc, la seule possibilité est qu’on doit avoir que pour tout t, P0 {T∞ > t} = 1 ; en prenant
la limite lorsque t tend vers 0, on trouve donc que P0 {T∞ = +∞} = 1. □
Exemple 4.4. On suppose une colonie de bactéries, dans laquelle chaque bactérie se
clone à un taux de ν fois par minutes.
(a) Quels-sont les taux générateurs du processus (Xt )t∈R+ , où Xt compte le nombre de
bactéries au temps t ?
(b) Combien de temps cela prend-t-il en moyenne avant que la colonie atteigne n bactéries ?
(c) Y a-t-il explosion ?
Solution. (a) Lorsqu’il y a k bactéries dans la colonie, chacune d’entre elle se clone
avec un taux λ. Donc, il y aura une transition au taux de λk = kλ, aussitôt que l’une
des bactéries se sera clonée ! On a donc Gk,k = −kλ et Gk,k+1 = kλ.
(b) On cherche
n
X 1 log(k)
E0 [Tn ] = ≈ .
kλ λ
k=1
(c) Non, il n’y a pas d’explosions, puisque cette suite diverge. Donc, le temps de vie est
infini. La croissance de la colonie est exponentielle de taux λ.
4.3. Les processus de naissances et de morts généraux.

La suite naturelle à notre étude, c’est bien sûr de considérer le cas le plus général des
processus de naissances et de mort :
sur l’espace des états S = Z+ .
On dit que X est un processus de naissances et de morts avec taux de naissance
(νi )i∈Z+ et taux de mort (µi )i∈N si ses taux générateurs sont donnés par
(4.3.1) G0,0 = −ν0 , G0,1 = ν0 ; Gk,k−1 = µk , Gk,k = −µk − νk , Gk,k+1 = νk ∀k ∈ N.
Remarque. Le taux de mort µ0 n’est pas défini parce qu’il n’est pas nécessaire ; intui-
tivement, si la population est nulle (vide) personne ne peut « mourir » !
Ces processus sont assez complexes pour modéliser plusieurs types de phénomènes in-
téressants. Les processus de naissances (tout court) sont simplement un cas particulier des
processus de naissances et de mort qui survient lorsque µk = 0 pour tout k ∈ N.
4.3.1. Les explosions. Les processus de naissances et de morts sont plus compliqués
à gérer que les simples processus de naissances ; en effet, on ne peut pas estimer aussi
facilement l’espérance du temps de vie, puisque’il est impossible de l’écrire comme une
somme de variables aléatoires indépendantes dont la distribution est connue d’avance.
On peut toutefois remarquer une borne intéressante :
l’espace des états discret S.
Si le processus X explose avec une probabilité positive, alors l’ensemble {Xt : t ≥ 0} ⊆ S
des états visités est infini.
Démonstration. Rappel de notation : on va utiliser T0 = 0, Tk = inf t > Tk−1 : Xt ̸= XTk−1 ,

T∞ = limn→∞ Tn et Uk = Tk − Tk−1 .
Si on note A = {T∞ < +∞} l’événement où X explose, et B = {|{Xt : t ≥ 0}| < +∞}
l’événement où le nombre d’états visités est fini. Ce qu’on va montrer, c’est que P0 {A | B} =
0 ; sachant qu’on a visité un nombre fini d’états, la probabilité d’exploser doit être nulle.
Supposons le contraire ; alors, on doit avoir que P {A, B} > 0. Alors, cela signifie qu’on
doit avoir une explosion en visitant un nombre fini d’états. Pour faire simple, supposons
sans perdre de généralité que S = N ; on peut supposer que sur l’événement B, il existe une
variable aléatoire N telle que Xt ≤ N pour tout t.
Ce qu’on peut faire, c’est partitionner B selon la valeur de N ; sachant que N = n, on va
noter mn = max {λi : 1 ≤ i ≤ n}, où λi est le taux inter-transiiton de l’état i (λi = −Gi,i ).
Pour les besoins de cette preuve, on notera
(n)
P {·} = P {· | N = n} .
C’est la mesure de probabilités sachant qu’on se restreint seulement aux états entre 1 et n.
Alors,
n
(n) X (n) (n)
P {Uk > δ} = P Uk > δ XTk−1 = i P XTk−1 = i
i=1
n
X (n)
= P Uk > δ XTk−1 = i P XTk−1 = i
i=1
n
X (n)
= e−λi δ P XTk−1 = i
i=1
−mn δ
≥e .
On a donc que
∞
X (n)
P {Uk > δ} = +∞;
k=1
par le Lemme de Borel-Cantelli et la loi zéro-un de Kolmogorov 4, on peut conclure que
puisque la série diverge, avec probabilité 1, une infinité de Uk sont supérieurs à δ, et T∞ =
+∞. Donc, sur N = n, on a que
(n)
P {A} = 0.
4. Il s’agit de résultats importants en théorie des probabilités. Consulter l’annexe C pour plus de détails.
Donc,
∞
X (n)
P {A | B} = P {A} P {N = n} = 0,
n=1
et on a montré que la probabilité d’explosion sachant qu’on n’atteint qu’un nombre fini
d’états est nulle. □
Le résultat des courses : si on veut une explosion dans une chaîne de Markov homogène
à temps continu, il faut visiter un nombre infini d’états. Et si on visite un nombre infini
d’états, il faut les quitter un par un. On a donc la proposition suivante :
Proposition 4.8. Soit X = (Xt )t∈R+ un processus de naissances et de morts avec taux
de naissances (νi )i∈Z+ et taux de morts (µi )i∈N .
Alors, si
Xn
(νi + µi )−1 = ∞,
i=1
on a que P {T∞ < +∞} = 0 ; le processus n’explose presque sûrement pas.
Démonstration. Cette preuve n’est pas entièrement rigoureuse mais elle donne une
idée du raisonnement.
Ce qu’il suffit de faire ici, c’est de remarquer que par le Lemme 4.3, pour qu’il y ait une
explosion, il faut visiter un nombre infini d’états – et pour faire ça, il faut absolument juste
visiter tous les états (à partir de celui où on a commencé), vu qu’on ne peut que passer de
k à k ± 1.
Si on note Vi le temps passé à l’état i la premièreP∞ fois qu’on y est arrivés, Vi suit une
loi
P∞ exponentielle de taux λ i = µ i + νi . Or, T∞ > i=1 Vi si on commence en 1 ; si la série
(µ + ν ) −1 diverge, on doit alors avoir que E [T ] diverge, et donc on doit avoir une
i=1 i i ∞
explosion. □
P∞
Autrement dit, donc, il suffit de vérifier que i=1 (νi + µi )
−1 diverge pour s’assurer qu’il
n’y aura pas d’explosion.
4.3.2. Quelques exemples.
Exemple 4.5. Dans une colonie de bactéries, chaque bactérie se divise en deux bac-
téries identiques après un temps sans mémoire de taux ν, indépendamment de toutes les
autres bactéries. De plus, chaque bactérie meure après un temps sans mémoire de taux µ,
indépendamment de toutes les autres.
(a) Soit Xt la taille de la population de bactéries (en numbre de bactéries) après un temps
t ∈ R+ . Quels sont les taux générateurs pour X = (Xt )t∈R+ ?
(b) Si on commence avec une seule bactérie, est-ce que la population finit par s’éteindre ?
(c) Quelle condition garantit l’extinction éventuelle de la population ?
(d) Dans le cas où l’extinction est garantie, quelle est l’espérance du temps avant l’extinc-
tion ?
Solution. (a) Lorsqu’on est dans l’état k ∈ N, il y a k bactéries dans la colonie. Deux
types d’événements peuvent survenir :
– Une des k bactérie se reproduit. Cela survient à un taux kν, et on transitionne vers
l’état k + 1.
– Une des k bactéries meure. Cela survient à un taux kµ, et on transitionne vers l’état
k − 1.
On a donc les taux de transition suivants :
Gk,k−1 = kµ, Gk,k = −k(µ + ν), Gk,k+1 = kν.
Bien sûr, dans l’état 0, aucune transition n’est possible, donc les taux générateurs
des transitions sont tous nuls dans cet état ; l’état 0 est absorbant – une fois atteint, on
y reste indéfiniment.
(b) Si on commence avec une seule bactérie, on peut considérer le processus discret Y =
(Yn = XTn )n∈Z+ où Tn est le temps de la nième transition (et T0 = 0). Les probabilités
de transition en un pas pour Y sont données par :
kµ µ ν
P0,0 = 1; Pk,k−1 = = , Pk,k+1 = .
k(µ + ν) µ+ν µ+ν
Pour se simplifier la vie, on va noter :

ν
p= , q = 1 − p.
µ+ν
Donc, P0,0 = 1 et Pk,k+1 = p et Pk,k−1 = q.
La chaîne Y a deux classes d’équivalence :
– {0} : l’état 0 est tout seul dans sa classe ; il est récurrent car c’est une classe fermée
sur un nombre fini d’états. Il est apériodique car P0,0 = 1.
– N : tous les autres états communiquent entre eux ; ils sont transients car P1,0 > 0
donc N est une classe ouverte. Ils sont de période 2, puisqu’on ne peut transitionner
que d’états impairs à pairs et vice-versa, et que les plus petits cycles sont de longueur
2.
Si τ0 et τN sont les temps d’atteinte respectifs des etats 0 et N pour la chaîne Y,
alors on a, par l’argument pour la ruine du parieur (exemple 1.17), que si µ ̸= ν,
ρ − ρN
P1 {τ0 < τN } = ,
1 − ρN
où ρ = q/p = µ/ν.
Si µ = ν, on a plutôt que
N −1
P1 {τ0 < τN } = .
N
En prenant la limite lorsque N tend vers l’infini on trouve que
– la probabilité que la population s’éteigne est ρ si ρ < 1 ;
– c’est 1 si ρ ≥ 1.
(c) Finalement, on trouve donc que pour garantir l’extinction éventuelle de la population,
il faut que ρ ≥ 1 – soit que µ ≥ ν. C’est très logique ; ça veut dire qu’il faut que les
bactéries se reproduisent plus vite qu’elles ne meurent.
Remarque. Une autre façon amusante de répondre aux questions est de raisonner
par arbres de Galton-Watson. La descendance immédiate de chaque bactérie corres-
pond au nombre de fois qu’elle se divisera avant de mourrir ; c’est une variable aléatoire
géométrique (commençant en 0) avec fonction de masse
p(k) = pk q (k ≥ 0).
La fonction génératrice des probabilités pour la descendance immédiate d’une bac-
térie est donc :
q
ψ(s) = ;
1 − ps
on trouve
pq
ψ ′ (s) = ,
(1 − ps)2
d’où ψ ′ (1) = p/q = 1/ρ. L’extinction est assurée si ψ ′ (1) ≤ 1, d’où ρ ≥ 1, ce qui
correspont exactement à ce que nous avons trouvé.
(d) Ce problème est un peu plus épineux.

Rappel de notation : on notera τi = inf {t > 0 : Xt = i} le premier temps auquel on
atteint l’état i. Ce que l’on cherche est donc E1 [τ0 ].
On note ui = Ei [τ0 ]. Par le Lemme 3.3, on a immédiatement que u0 = 0 et que pour
tous i ∈ N :
1
ui = + pui+1 + qui−1 .
i(ν + µ)
En réarrangeant ces termes, on trouve que
q 1 1
ui+1 − ui = (ui − ui−1 ) −
p p i(ν + µ)
µ 1
= (ui − ui−1 ) − .
ν iν
Si on note δi = ui − ui−1 , on trouve donc
1 µ
δi+1 = − + δi ,
iν ν
et en itérant on vérifie (exercice !) que
µ i i
X 1 µ i−j
δi = u1 − .
ν jν ν
j=1
Clairement, δi est positif puisque ui est une suite croissante.

En particulier, lorsque µ = ν,
i i
X 1 X 1
u1 = δi+1 + ≥ .
jν jν
j=1 j=1
Comme c’est vrai pour tout i, et que la série ∞ j=1 jν diverge, on doit avoir que u1
1
P
est infini ; donc lorsque µ = ν, le temps d’atteinte de 0 est infini.

Il reste le cas où ν < µ. Dans ce cas, on commence par remarquer que pour tout i,
on a que pour tout i, δi ≤ δ1 = u1 .
En effet
ui = Ei [τ0 ] = Ei [τi−1 ] + Ei−1 [τ0 ]
= Ei [τi−1 ] + ui−1 .
Intuitivement, on voit qu’on doit avoir Ei [τi−1 ] ≤ E1 [τ0 ] parce que toutes les tran-
sitions surviennent plus rapidement lorsqu’on passe de i à i − 1 (vu qu’il y a plus
d’individus). 5
On rappelle que
i
X 1 i−j
δi = ρi u1 − ρ .
jν
j=1
En divisant par ρi de part et d’autre et en réarrangeant, on trouve que

i
X 1 −j
u1 = ρ + ρ−i δi .
jν
j=1
D’une part, δi ≤ u1 , comme nous avons argué. D’autre part,

i
X 1 −j
u1 ≥ ρ
jν
j=1
On obtient donc que

i i
X 1 −j X 1 −j
ρ ≤ u1 ≤ ρ + ρ−i u1 .
jν jν
j=1 j=1
Par le théorème de la sandwich, cela donne :

n ∞
X 1 −i 1 X (ρ−1 )i
u1 = lim ρ = .
n→∞ iν ν i
i=1 i=1
On rappelle la série de Taylor pour la fonction − log(1 − x) :
∞
X xi
− log(1 − x) = .
i
i=1
Par comparaison, on trouve donc que

1
u1 = − log(1 − ρ−1 ).
ν
Un processus de naissances et de morts comme celui de l’exemple 4.5 est appelé un

processus linéaire parce que les taux de naissance et de mort augmentent linéairement en
fonction de l’état. On peut rajouter une petite modification simple :
5. L’argument rigoureux ici est une peu compliqué et pas super important.
Exemple 4.6. Soit X = (Xt )t∈R+ un processus de naissances et de morts avec taux de
naissances (νi )i∈Z+ et taux de mort (µi )i∈N . On dit que X est un processus linéaire avec
immigration si les taux de naissance et de mort sont donnés par :
νk = λ + kν, µk = kµ.
À long terme, peut-on estimer la taille de la population si on assume que µ ̸= ν ?
Solution. Pour faire cet estimé, nous allons simplement calculer E0 [Xt ], l’espérance
du nombre d’individus au temps t. On a :
∞
(t)
X
Ei [Xt ] = jPi,j .
j=1
On va maintenant utiliser l’équation progressive de Kolmogorov. On a que

∞
d (t) X (t) (t) (t) (t)
Pi,j = Pi,k Gk,j = νj−1 Pi,j−1 + µj+1 Pi,j+1 − (νj + µj )Pi,j
dt
k=0
(t) (t) (t)
= (λ + (j − 1)ν)Pi,j−1 + (j + 1)µPi,j+1 − (λ + jν + jµ)Pi,j .
Donc, on a que
∞
d X d (t)
Ei [Xt ] = j Pi,j
dt dt
j=1
∞
(t) (t) (t)
X
= j (λ + (j − 1)ν)Pi,j−1 + (j + 1)µPi,j+1 − (λ + jµ + jν)Pi,j
j=1
∞ ∞
(t) (t)
X X
= (j − 1)(λ + (j − 1)ν)Pi,j−1 + (λ + (j − 1)ν)Pi,j−1
j=1 j=1
∞ ∞
(t) (t)
X X
+ (j + 1)(j + 1)µPi,j+1 − (j + 1)µPi,j+1
j=1 j=1
∞ ∞
(t) (t)
X X
− j(λ + jν)Pi,j − j(jµ)Pi,j .
j=1 j=1
En numérotant de 1 à 6 sommations à droite de la dernière égalité, on peut les réduire

de la façon suivante :
(1 + 5)
∞ ∞ ∞ h i
(t) (t) (t) (t)
X X X
(j − 1)(λ + (j − 1)ν)Pi,j−1 − j(λ + jν)Pi,j = − j(λ + jν)Pi,j − (j − 1)(λ + (j − 1)ν)Pi,j−1
j=1 j=1 j=1
(t)
= −(1 − 1)(λ + (1 − 1)ν)Pi,1−1 = 0.
∞ ∞ ∞
(t) (t) (t)
X X X
(2) (λ + (j − 1)ν)Pi,j−1 =λ Pi,j +ν jPi,j
j=1 j=0 j=0
= λ + νEi [Xt ] .
(3 + 6)
∞ ∞ ∞ h i
(t) (t) (t)
X X X
(j + 1)(j + 1)µPi,j+1 − j(jµ)Pi,j = (j + 1)(j + 1)µP (t) − i, j + 1 − j(jµ)Pi,j
j=1 j=1 j=1
(t)
= −µPi,1 .
∞ ∞
(t) (t)
X X
(4) − (j + 1)µPi,j+1 = − jµPi,j
j=1 j=2
 
∞
(t) (t)
X
= −µ  jP − P  i,j i,1
j=1
(t)
= −µEi [Xt ] + µPi,1 .
Tout ceci ensemble donne finalement
d
Ei [Xt ] = λ + (ν − µ)Ei [Xt ] ;
dt
si on écrit Mi (t) = Ei [Xt ], on a en fait une équation différentielle inhomogène :
Mi′ (t) = (ν − µ)Mi (t) + λ.

On a bien sûr que Mi (0) = i comme condition initiale, puisque Ei [X0 ] = i.
On peut tenter une solution de la forme :
Mi (t) = Fi (t)e(ν−µ)t ;
dans ce cas, on trouve que
Mi′ (t) = Fi′ (t)e(ν−µ)t + (ν − µ)Fi (t)e(ν−µ)t
= (Fi′ (t) + (ν − µ)Fi (t))e(ν−µ)t
= (ν − µ)Fi (t)e(ν−µ)t + λ.
Pour que cette équation soit vérifiée, on doit avoir que
Fi′ (t) = λe−(ν−µ)t ,
et bien sûr pour vérifier la condition initiale, on doit avoir Fi (0) = i. On a donc :
Z t
λ −(ν−µ)t λ
Fi (t) = i + λe−(ν−µ)u du = i − e + .
u=0 ν − µ ν − µ
Finalement, on a donc :

λ λ
Mi (t) = i+ e(ν−µ)t − ,
ν−µ ν−µ
ou, en réarrangeant les termes :
λ
Mi (t) = (1 − e(ν−µ)t ) + ie(ν−µ)t .
µ−ν
On a donc finalement que

(
∞ si ν > µ
lim Mi (t) =
t→∞ λ
µ−ν si ν < µ.
Autrement dit, à long terme, on s’attend à ce que la population se stabilise autour de
λ/(µ − ν).
4.3.3. Solutions et distributions stationnaires. Pour clore ce chapitre, nous allons

discuter d’une solution stationnaire générale pour les processus de naissance et de morts.
Proposition 4.9. Soit X = (Xt )t∈R+ un processus de naissances et de morts avec taux
de naissances et de morts (νi )i∈Z+ et (µi )i∈N respectivement.
Alors, si on définit θ0 = 1 et
Qk−1
νi ν0 · ν1 · ν2 · · · νk−1
(4.3.2) θk = Qki=0 = ,
j=1 µj
µ1 · µ2 · µ3 · · · µ k
la famille θ = (θk )k∈Z+ est une solution stationnaire de X.
Démonstration. Il suffit de vérifier les équations de stationnarité. Elles sont :
0 = −ν0 θ0 + µ1 θ1 ; 0 = νk−1 θk−1 + µk+1 θk+1 − (νk + µk )θk ∀k ≥ 1.
On trouve immédiatement que θ1 = µν00 θ0 .
Puis, en fixant k ≥ 1, on peut additionner les équations de stationnarité pour tous j ≥ k :
X
0= [νj−1 θj−1 − (νj + µj )θj + µj+1 θj+1 ]
j≥k
X X
= (µj+1 θj+1 − µj θj ) − (νj θj − νj−1 θj−1 )
j≥k j≥k
= −µk θk + νk−1 θk−1 .
Ainsi, les θk satisfont :
νk−1
θk = θk−1 ,
µk
et en itérant, avec les conditions initiales trouvées, on a que
ν0 · ν1 · ν2 · · · νk−1
θk = θ 0 · .
µ1 · µ2 · µ 3 · · · µ k
On fixe θ0 = 1 et on a que notre famille θ = (θk )k∈Z+ est une solution stationnaire de
X. □
Corollaire 4.3. La distribution stationnaire existe si et seulement si
X∞
(4.3.3) M= θk < +∞.
k=0
Dans ce cas, elle est donnée par :
θk
(4.3.4) πk = .
M
Exemple 4.7. On considère une file d’attente dans un magasin. Les client·e·s arrivent à
des intervalles indépendants et sans mémoire d’espérance 1/ν > 0. Le préposé au comptoir
sert chaque client·e, tour à tour, en prenant chaque fois un temps aléatoire sans mémoire
d’espérance 1/µ. Lorsqu’unė client·e arrive et qu’il y a déjà quelqu’un en file, le/ladit·e
client·e se place en file et attend son tour.
On note Xt le nombre de personnes qui sont en file au temps t.
(a) Donner les taux générateurs pour le processus Xt . De quel type de processus s’agit-il ?
(b) Dans quels cas la distribution stationnaire existe-t-elle ? À quoi cela correspond-il ?
(c) Si une distribution stationnaire existe, quelle est cette distribution ? Donner l’espérance
du nombre de client·e·s en file.
Solution. (a) Dans l’état 0, on transitionne vers l’état 1 avec un taux ν. Dans l’état
k, pour k ≥ 1, quelqu’un arrive dans la file (et on transitionne vers k + 1) avec un taux
ν. La personne au comptoir est servie (et s’en va) avec un taux µ (et on transitionne
vers k − 1).
Donc, on a :
G0,0 = −ν, G0,1 = ν; Gk,k−1 = µ, Gk,k = −µ − ν, Gk,k+1 = ν.
(b) On prend
k
ν
θk = ;
µ
Pour que la distribution stationnaire existe, il faut que
∞
X
M= θk < +∞.
k=0
C’est le cas lorsque ν/µ < 1, soit lorsque ν < µ – c’est à dire que si les client·e·s
arrivent à un taux plus lent que le service. Dans ce cas, on a que
1 µ
M= = ,
1 − ν/µ µ−ν
et
µ(ν/µ)k
πk =
µ−ν
est une distribution stationnaire.
(c) La distribution stationnaire est une distribution géométrique à partir de 0, avec para-
mètre p = 1 − µν . l’espérance du nombre de client·e·s en file à long terme est
∞
X 1−p ν/µ ν
kπk = = = .
p 1 − ν/µ µ−ν
k=0
Exemple 4.8. Expliquer pourquoi le nombre de personnes connectées en même temps

sur un site web à un moment donné suit une loi de Poisson. Expliquer les hypothèses qu’il
faut faire pour arriver à cette conclusion.
Solution. On s’imagine que de nouveaux clients se connectent à notre serveur à inter-

valles indépendants et sans-mémoire à un taux de ν client·e·s par minute, par exemple. Ça
semble une hypothèse raisonnable, vu que les gens ne se consultent pas avant de se connecter,
et qu’on ne peut jamais prédire quand sera la prochaine connexion.
On peut aussi s’imaginer que chaque client, indépendamment des autres, passe un temps
aléatoire d’espérance 1/µ. Ici, on va aussi supposer que ce temps est sans mémoire. Cette
hypothèse-là est un peu plus stretchée, mais on va s’y tenir pour l’instant.
Dans ce contexte, le processus Xt qui donne le nombre de clients connectés au serveur
au temps t est un processus de naissances et de morts. Les taux de naissance et de mort
sont respectivement :
νk = ν, µk = kµ.
La solution stationnaire donnée par la proposition 4.9 est :
(ν/µ)k
θk = ,
k!
et donc on a toujours que
∞
X
M= θk = eν/µ .
k=0
Finalement,
θk (ν/µ)k
πk = = e−ν/µ ,
M k!
et la distribution stationnaire est une distribution de Poisson de paramètre λ = ν/µ.
4.4. Exercices
Exercice 4.1 (Lessard, ex. 2.11 – SOA M A06 #9). Un jeu dans un casino fait des
paiements selon un processus de Poisson d’intensité 5 par heure, et le montant d’un paiement
est de n dollars avec probabilité (1/2)n . Les paiements sont indépendants les uns des autres.
(a) Quelle est la probabilité qu’il n’y ait aucun paiement de moins de 4 dollars dans une
durée de 20 minutes ?
(b) Quelle est la probabilité qu’il n’y ait aucun paiement de plus de 3 dollars dans une
période de 20 minutes ?
(c) Quelle est la probabilité qu’il n’y ait aucun paiement durant une période de 20 minutes ?
Exercice 4.2. Un processus de morts est un cas particulier d’un processus de nais-
sances et de morts où νk = 0 pour tout k ∈ Z+ . Les éléments du générateur sont donc
Gk,k = −µk , Gk,k−1 = µk .
(a) On dit qu’un processus de morts est linéaire lorsque µk = kµ pour µ > 0 et k ∈ Z+ .
Soit τ0 = inf {t > 0 : Xt = 0} le temps d’atteinte de l’état 0.
Calculer En [τ0 ].
(b) Peut-il y avoir une explosion dans un processus de morts ? Pourquoi, ou pourquoi pas ?
Exercice 4.3. Une file d’attente M/M/n est une file où

i. les clients arrivent à intervalles indépendants sans mémoire de taux constant ν > 0 (le
premier M est pour memoryless) ;
ii. les clients sont servis en des temps aléatoires sans mémoire de taux constant µ.
iii. un maximum de n clients peuvent être servis en même temps.
(a) Donner les taux générateurs pour une file d’attente M/M/n.
(b) Donner une solution stationnaire pour une file d’attente M/M/2. À quelle condition la
distribution stationnaire existe-t-elle ?
(c) Supposons que la distribution stationnaire existe ; on pose L le nombre moyen de clients
en file, et W le temps moyen d’attente pour un client en régime stationnaire. Expliquer
intuitivement la formule de Little :
L = νW.
Exercice 4.4 (Lessard, ex. 2.21). On considère une station de taxis dans un aéroport
où les taxis et les clients arrivent selon des processus de Poisson d’intensité 2 et 3 respecti-
vement. On suppose qu’un taxi attend à la station, quel que soit le nombre de taxis présents
lors de son arrivée. En revanche, si un client ne trouve pas de taxi à son arrivée, il décide
d’utiliser un autre moyen de transport.
(a) Quelle est la proportion moyenne à long terme des clients qui prennent un taxi ?
(b) Quelle est le nombre moyen de taxis qui attendent à l’aéroport à long terme ?
(c) Lorsqu’un taxi arrive à un instant au hasard à la station, quel est le temps moyen que
ce taxi doit attendre avant de servir un client ?
4.4. EXERCICES 165
Exercice 4.5 (Lessard, ex. 2.23). Déterminer, si elle existe, la distribution stationnaire
d’un processus de naissances et de morts dont les taux de naissances et de morts sont donnés
par
k
νk = ν, µk = .
k+1
Exercice 4.6 (Lessard, ex. 2.24). Une population reçoit des immigrants au taux de
1. De plus, chaque individu se reproduit à un taux constant égal à 2 et meurt à un taux
donné par 1 + k lorsqu’il y a k individus.
(a) Donner les taux de naissances et de morts pour cette population.
(b) Existe-t-il une distribution stationnaire ?
Exercice 4.7 (Lessard, ex. 2.25). Des clients se présentent pour recevoir un service
selon un processus de Poisson d’intensité λ. Ils sont servis un à la fois et le temps de service
est exponentiel de paramètre µ. De plus, les clients qui attendent en file pour être servis
deviennent impatients et ils quittent la file au taux δ indépendamment les uns des autres.
(a) Donner la distribution stationnaire dans le cas où δ = µ.
(b) Montrer que la distribution stationnaire existe pour tout δ > 0.
Exercice 4.8 (Un principe de superposition général). Soient X = (Xt )t∈R+ et Y =

(Yt )t∈R+ deux processus de naissances et de morts dont les taux de naissance et de mort,
y
pour X puis pour Y, sont donnés respectivement par (νkX )k∈Z+ , (µX k )k∈Z+ , (νk )k∈Z+ et
(µk )k∈Z+ . On définit Zt = Xt + Yt .
Y
Montrer que Z = (Zt )t∈R+ est aussi un processus de naissances et de morts. Quels sont
les taux de naissance et de mort pour Z ?
Deuxième partie
Structures de dépendance particulières

Chapitre 5
Processus de renouvellements
(À venir)
169
Chapitre 6
Les martingales
Dans les quatre premiers chapitres, nous nous sommes penchés sur les chaînes de Markov
– c’est-à-dire un type particulier de processus stochastique, qui satisfait la propriété de
Markov, telle que définine au chapitre 1. Dans le chapitre qui suit, nous nous intéresserons
à une autre propriété intéressante : la propriété de martingale.
Un peu de contexte
Pour rappel, on s’intéresse à des processus stochastiques – c’est à dire des familles comme
X = (Xt )t≥0 de variables aléatoires à valeur dans un espace d’états S, indicées par le temps
t. Nous avons vu au chapitre 1 que l’on peut distinguer l’étude de ces processus selon :
– la topologie du temps : soit le temps est discret (c’est Z+ ), soit il est continu (c’est
R+ ).
– la topopologie de l’espace : soit l’espace S est discret, soit il est continu – nous
n’avons encore pas touché à cette dernière possibilité, puisqu’il était beaucoup plus
simple de travailler avec des fonctions de masse qu’avec des densités.
Dans la section 4.1.3, nous avons également introduit les notions d’incrément, et nous
avons remarqué qu’il est souvent utile de préciser un peu plus les structures disponibles sur
l’espace d’états S – en l’occurence, pour définir les incréments et l’homogénéité spatiale, il
fallait que S ait une structure « additive » – c’est-à-dire qu’on veut une définition adéquate
de l’opérations d’addition dans S, avec un élément neutre, un inverse unique, etc.
Dans le contexte des martingales, le temps pourra être discret ou continu. Par contre,
nous aurons besoin de quelques structures supplémentaires sur l’espace des états S : 1 :
i. Nous aurons besoin que S soit muni d’opérations d’addition et de soustraction bien
définies, comme précédemment.
ii. Nous aurons besoin aussi d’une notion de « mesure » sur l’espace S, afin de pouvoir y
définir une intégrale. 2
Pour nos intérêts, il suffira amplement de choisir S = Rn ; dorénavant dans ce chapitre,
nous travaillerons donc toujours dans l’espace des états Rn . La variable Xt prendra donc
des valeurs dans Rn , et on aura donc accès aux notions et aux quantités suivantes :
– Les incréments : Xt − Xs ;
– La norme : ∥Xt ∥ ;
– L’espérance : E [Xt ].
1. À noter qu’on peut également fournir une définition de martingale à temps continu dans le cas où S
est une variété différentiable dont l’espace tangent possède en tout point ces propriétés. Pour en apprendre
plus sur les variétés différentiables... il faudra faire un cours de géométrie différentielle !
2. Vous pouvez consulter les notes d’André Giroux au sujet de la théorie de la mesure.
171
172 6. LES MARTINGALES
Pour la grande majorité des exemples vus dans ce chapitre-ci, nous travaillerons en temps
discret. Toutefois, a priori, la théorie est à peu près la même en temps continu. Lorsque les
distinctions sont importantes, elles seront mentionnées explicitement.
6.1. Définition et exemples

Définition 6.1. Soient X = (Xt )t≥0 et Y = (Yt )t≥0 deux familles de variables aléatoires
indicées par le temps t (discret ou continu), à valeurs dans Rn (les distributions peuvent
être discrètes ou continues), avec Y0 = 0.
i. On dit que X est adaptée à Y si, pour tout t ≥ 0, il existe une fonction f : Rn·t → Rn
telle que
Xt = f (Y≤t ).
ii. On dit que X est intégrable au temps t (ou simplement que Xt est intégrable) si
E [∥Xt ∥] < +∞.
iii. On dit que X a la propriété de martingale par rapport à Y si, pour tous temps s, t
avec 0 ≤ s ≤ t, on a
(6.1.1) E [Xt | Y≤s ] = Xs .
Le processus X est une martingale par rapport à la famille Y s’il est adapté à Y,
intégrable pour tout t et possède la propriété de martingale par rapport à Y. On dit que
X est simplement une martingale (sans préciser) si elle est une martingale par rapport à
elle-même.
6.1.1. Commentaires sur la définition.

Adaptabilité. Avant d’aller plus loin, il convient de fournir une intuition de ce qui se
passe ici. Dans la définition 6.1, il y a deux familles de variables aléatoires à démêler.
– X = (Xt )t≥0 est le processus auquel on s’intéresse.
– Y = (Yt )t≥0 représente une suite ou une famille de variables aléatoires qui encode,
à chaque instant de temps, la « nouvelle information dont on dispose au temps t ».
Y≤t représente donc l’ensemble des informations dont on dispose au temps t.
Intuitivement, X est adapté à Y seulement si on peut connaître entièrement la valeur
de Xt à partir des informations contenues dans Y≤t . Autrement dit, pour tout temps t, on
peut calculer Xt en fonction des valeurs des Yu pour u ≤ t.
Exemple 6.1. On joue à « Pile ou Face » de façon répétée. On définit Yt = 1 si le tième
lancer donne Pile, et Yt = 0 si le tième lancer donne Face.
(a) Soit Xt le nombre de Pile obtenus jusqu’à la tième partie inclusivement. Est-ce que
X = (Xt )t∈Z+ est adapté à Y = (Yt )t∈Z+ ?
(b) Est-ce que Y est adapté à X ?
(c) On définit Zt le nombre de lancers, immédiatement après le tième lancer, qu’il faudra
réaliser pour obtenir Pile à nouveau. Est-ce que Z = (Zt )t≥0 est adapté à Y ?
6.1. DÉFINITION ET EXEMPLES 173
Solution. (a) Si Xt est le nombre de Pile obtenus jusqu’à la tième partie inclusivement,
alors on a que
Xt
Xt = Yi
i=1
(et X0 = 0). On voit bien que Xt est entièrement déterminée par les valeurs de Y≤t .
Donc, X est adapté à Y.
(b) De même, il est clair que Yt = Xt − Xt−1 , qui ne dépend que des valeurs de X≤t . Donc,
dans ce cas-ci, Y est adapté à X aussi. Attention ! Ça n’est pas toujours le cas !
(c) La variable Zt donne le nombre de lancers, immédiatement après le tième, qu’il faut
encore réaliser pour obtenir Pile à nouveau. Comme nous avions vu à l’exemple 1.4, Zt
est bel et bien une chaîne de Markov ; même si Zt « dépend du futur » (on ne peut pas
connaître Zt sans savoir ce qui se passera dans les lancers subséquents), ce futur est
indépendant du passé lorsqu’on connaît le présent.
Toutefois, Z n’est pas adapté à Y, puisque justement, dans le cas où Zt−1 = 1,
Zt est entièrement indépendant de Y≤t ; en effet, lorsqu’on vient juste d’obtenir Pile,
connaître les parties qu’i ly a eu avant le temps t ne nous aide en rien à prédire combien
ça prendra de temps avant d’avoir Pile à nouveau.
On remarque en outre que toute famille X = (Xt )t≥0 est forcément adaptée à elle-même.
Intégrabilité. On requiert que Xt soit intégrable afin que l’espérance conditionnelle soit
bien définie ; si ce n’était pas le cas, on courrait le risque que la propriété de martingale n’ait
pas vraiment de sens !
Équivalences pour la propriété de martingale par rapport à Y. Il s’agit du gros morceau
de notre définition. Nous allons maintenant voir un peu plus intuitivement ce uqe la propriété
de martingale signifie, d’un point de vue plus intuitif. Supposons que X = (Xt )t≥0 est une
martingale par rapport à Y = (Yt )t≥0 .
Le tout premier constat à faire, c’est que, par définition des espérances conditionnelles,
on a que pour tout s,
E [Xs | Y≤s ] = Xs
Il suit donc que, lorsque l’on a la propriété de martingale par rapport à Y, pour tous
s, t avec 0 ≤ s ≤ t, on a :
E [Xt − Xs | Y≤s ] = 0.
En fait, on a même l’équivalence :
Lemme 6.1. Soit X = (Xt )t≥0 un processus intégrable pour tout t et adapté à Y =
(Yt )t≥0 .
X a la propriété de martingale par rapport à Y si et seulement si, pour tous s, t tels que
0 ≤ s ≤ t, on a :
(6.1.2) E [Xt − Xs | Y≤s ] = 0.
Démonstration. On a :
E [Xt | Y≤s ] = E [Xt − Xs + Xs | Y≤s ]
= E [Xt − Xs | Y≤s ] + Xs ,
où la seconde égalité est par linéarité et puisque X est adapté à Y.
Clairement, la propriété de martingale est donc logiquement équivalente à la condition

que
E [Xt − Xs | Y≤s ] = 0.
□
Mais on peut aller plus loin ! En effet, la propriété de martingale interagit de façon
amusante avec la propriété de Markov :
Lemme 6.2. Soit X = (Xt )t≥0 une chaîne de Markov sur Rn intégrable pour tout t.
Alors, X est une martingale (par rapport à elle-même) si et seulement si elle satisfait
(6.1.3) E [Xt | Xs ] = Xs .
Démonstration. X est adaptée à elle-même et intégrable. Par la propriété de Markov,
E [Xt | X≤s ] = E [Xt | Xs ] .
Donc, on a la propriété de martingale (par rapport à elle-même) si et seulement si on a
E [Xt | Xs ] = Xs .
Finalement, la propriété d’homogénéité spatiale (introduite au paragraphe 4.1.3) permet

d’aller encore plus loin dans les équivalences :
Lemme 6.3. Soit X = (Xt )t≥0 une chaîne de Markov spatialement homogène sur Rn et
intégrable pour tout t.
Alors, X est une martingale si et seulement si, pour tous s, t tels que 0 ≤ s ≤ t :
(6.1.4) E [Xt − Xs ] = 0.
Démonstration. Par la propriété de Markov, on a que
E [Xt − Xs | X≤s ] = E [Xt − Xs | Xs ] ,
mais puisque X est spatialement homogène, par le lemme 4.2 3, on a que forcément, Xt − Xs
est indépendant de Xs , et
E [Xt − Xs | Xs ] = E [Xt − Xs ] .
Par le lemme 6.1, on vérifie la propriété de martingale si et seulement si E [Xt − Xs | X≤s ] =

E [Xt − Xs ] = 0. □
3. Le lemme 4.2 est dans le cas d’un espace d’états discret S ; notre définition de l’homogénéité spatiale
est aussi faite dans ce cadre ; pourtant, on peut éa définir de façon plus générale aussi pour des espace d’états
continus ; l’intuition demeure la même.
6.1. DÉFINITION ET EXEMPLES 175
Le cas du temps discret. Pour terminer cette discussion, nous allons introduire également
une équivalence qui nous simplifiera beaucoup la vie dans le cas où le temps est discret :
Lemme 6.4. Soit X = (Xt )t∈Z+ un processus stochastique à temps discret, adapté à
Y = (Yt )t∈Z+ et intégrable en tout t ∈ Z+ .
Alors X est une martingale par rapport à Y si et seulement si, pour tout t ∈ Z+ , on a
(6.1.5) E [Xt+1 | Y≤t ] = Xt .
Démonstration. Il est évident que si X est une martingale par rapport à Y, il suffit
de choisir t = s + 1 dans la définition pour obtenir (6.1.5). Nous allons maintenant montrer
que ça marche aussi dans l’autre sens.
Supposons qu’on a déjà vérifié que
E [Xt+k | Y≤t ] = Xt
pour tout k ≤ n et pour tous t On a alors 4 :
E [Xt+n+1 | Y≤t ] = E [E [Xt+1+n | Y≤t+1 ] | Y≤t ]
Or, bien sûr, par notre hypothèse d’induction, on a déjà que

E [Xt+1+n | Y≤t+1 ] = Xt+1 .
On a donc :
E [Xt+n+1 | Y≤t ] = E [Xt+1 | Y≤t ] .
On complète en utilisant (6.1.5).
On a donc montré que si on a que
E [Xt+k | Y≤t ] = Xt
pour tout t et pour tout k ≤ n, c’est aussi vrai pour tout t et pour k = n + 1. Par induction,
puisque c’est vrai pour k = 0 et pour k = 1 (par (6.1.5)), c’est don vrai pour tout t ∈ Z+ et
pour tout k ∈ Z+ ; autrement dit, pour tout s ∈ Z+ et pour tout t ≥ s, on a que
E [Xt | Y≤s ] = Xs .
□
Corollaire 6.1. Les lemmes 6.1 à 6.3 sont encore vrais si on remplace t par s + 1
lorsque le temps est discret.
La proposition suivante fait un bref résumé des équivalences pertinentes pour la condition
de martingale :
Proposition 6.1. Soit X = (Xt )t≥0 un processus stochastique adapté à Y = (Yt )t≥0
(avec Y0 = 0) et intégrable pour tout t ≥ 0.
X est une martingale si et seulement si au moins l’une des conditions suivantes est
remplie ; si l’une d’elle est remplie, toutes les suivantes le sont aussi.
4. Souvenons-nous que, de façon générale, on a que

E [E [Z | X, Y ] | X] = E [Z | X] .
Consulter les notes de MAT1720 pour de plus amples détails sur cette propriété des espérances
conditionnelles.
i. X est une chaîne de Markov spatialement homogène, Y = X et pour tous s, t avec

s ≤ t (ou seulement t = s + 1 en temps discret) :
E [Xt − Xs ] = 0 ⇔ E [Xt ] = E [Xs ]
ii. X est une chaîne de Markov, Y = X et pour tous s, t avec s ≤ t (ou seulement t = s+1
en temps discret) :
E [Xt | Xs ] = Xs ⇔ E [Xt − Xs | Xs ] = 0.
iii. Pour tous s, t avec s ≤ t (ou seulement t = s + 1 en temps discret) :
E [Xt − Xs | Y≤s ] = 0 ⇔ E [Xt | Y≤s ] = Xs .
Démonstration. La preuve repose directement sur les lemmes 6.1 à 6.4 et le corollaire
6.1. □
Corollaire 6.2. Soit X = (Xt )t≥0 une martingale par rapport à Y = (Yt )t≥0 .
Alors, E [Xt ] = E [X0 ] = X0 pour tout t ≥ 0.
Démonstration. Il suffit de constater que pour tous s, t tels que 0 ≤ s ≤ t :
E [Xt ] = E [E [Xt | Y≤s ]] = E [Xs ] ;
on a donc que l’espérance de Xt est constante en t, et on conclue en prenant s = 0. □
Remarque. Attention ! Il ne suit pas forcément que l’inverse est vrai en général. Un
processus arbitraire n’est pas nécessairement une martingale pour autant lorsque ses incré-
ments sont d’espérance nulle ; cela n’est vérifié que lorsque X est une chaîne de Markov
spatialement homogène.
6.1.2. Exemples. Nous allons maintenant nous pencher sur quelques exemples simples.
Exemple 6.2. On définit Y = (Yt )t∈N une suite de variables aléatoires indépendantes
et identiquement distribuées sur Rn . Puis, on définit :
t
X
Xt = Yi .
i=1
Le processus X = (Xt )t∈Z+ est adapté à Y ; il est également intégrable pourvu que
E [∥Y1 ∥] < +∞.
On appelle ce type de processus une marche aléatoire spatialement homogène sur Rn ;
c’est une chaîne de Markov homogène à temps discret, spatialement homogène. Donc, on a
que X est une martingale si et seulement si E [Y1 ] = 0.
Par exemple, La marche aléatoire symétrique sur Zd est une martingale.
Exemple 6.3. On considère Y = (Yt )t∈N une suite de variables aléatoires indépendantes
et identiquement distribuées avec
P {Y1 = 1} = p P {Y1 = −1} = q = 1 − p,
Pt
et on définit Xt = i=1 Yi .
Le processus X = (Xt )t∈Z+ est une martingale lorsque p = q ; autrement, non.
6.2. TEMPS D’ARRÊT 177
Or, si on pose ρ = q/p, Le processus Z = (Zt = ρXt )t∈Z+ est une martingale par rapport
à Y. En effet,
E [Zt+1 | Y≤t ] = E Zt ρYt+1 Y≤t

= Zt E ρYt+1

= Zt (pρ + qρ−1 )
= Zt
Exemple 6.4. Soit Z = (Zt )t∈Z+ un processus de Galton-Watson, avec ψ la fonction

génératrice des probabilités pour le nombre d’enfants d’un individu, et m = ψ ′ (1).
On définit Xt = Zt /mt . Alors, X = (Xt )t∈Z+ est une martingale par rapport à Z ; en
effet, d’une part X est adaptée à Z, et on sait également que X est intégrable en tout t
puisque Z l’est aussi. Finalement, on a que :
1
E [Xt+1 ] = t+1 E [Zt+1 | Z≤t ]
m
"Z #
t
1 X
= t+1 E ξt,i Zt
m
i=1
1
= t+1 Zt E [ξ0,1 ]
m
Zt
= t = Xt .
m
6.2. Temps d’arrêt

On introduit maintenant une notion primordiale pour la suite de notre étude des mar-
tingales – mais ça vaut la peine de s’y arrêter un instant.
Définition 6.2. Soit Y = (Yt )t≥0 une famille de variables aléatoires.
On dit que la variable aléatoire τ est un temps d’arrêt par rapport à Y lorsque, pour
tout t, l’événement {τ > t} peut être entièrement décrit en fonction de Y≤t . 5
Avant d’aller plus loin, il convient de donner une intuition pour cette définition. Comme
au début de la section 6.1.1, Y = (Yt )t∈Z+ représente une famille de variables aléatoires qui
encode à chaque temps la nouvelle information dont on dispose. Ainsi, Y≤t contient toute
l’information dont on dispose au temps t.
Dans ce contexte, la condition que τ soit un temps d’arrêt signifie, intuitivement, qu’on
peut savoir, au temps t, si le temps τ est déjà survenu ou pas. On dit que τ est un temps
d’arrêt parce que c’est un temps auquel on peut « arrêter » un chronomètre imaginaire
aussitôt qu’il survient, parce qu’on sait au temps t si le temps est déjà survenu ou pas.
Exemple 6.5. (a) Disons qu’on note Yi = 1 si il neige le jour i, et Yi = 0 si il ne neige
pas ce jour-là. On peut définir « la date de la première neige » :
τ = min {i ∈ N : Yi = 1} .
5. Dans le langage plus précis de la théorie de la mesure, on dira que l’événement {τ ≥ t} est mesurable
par rapport à la tribu engendrée par Y≤t .
Alors, τ est un temps d’arrêt par rapport à Y = (Yi )i∈N ; en effet, on a :

{τ > t} = {Y1 = Y2 = Y3 = · · · = Yt = 0} ;
autrement dit, au jour t, on peut toujours déterminer si la date de la première neige est
survenue ou pas ; on n’a pas besoin d’attendre le futur pour connaître la valeur exacte
de τ – dès qu’il y a de la neige, on peut le marquer sur notre calendrier.
(b) Dans ce même scénario, si on définit par exemple
τN = min {i ∈ N : Yi = Yi+1 = Yi+2 = · · · = Yi+N −1 = 1} ,
qui correspond à la date du début de la toute première séquence de N journées de neige
consécutives, pour N > 1, alors, τN n’est pas un temps d’arrêt par rapport à Y. Pour
bien comprendre pourquoi, imaginons qu’on fixe N = 3. S’il a neigé pour la première fois
le 16 novembre, est-ce que τN = 16 novembre ? On ne le sait pas ! Et si il neige aussi le
17 ? On ne le sait toujours pas ! Mais si il neige le 18, alors là, OUI ! On sait maintenant
(rendus le 18 novembre) que τ3 = 16 novembre. τN n’est pas un temps d’arrêt parce
qu’on n’aurait pas pu arrêter un chronomètre au temps τN .
(c) De même, la date de la dernière neige de l’hiver n’est pas un temps d’arrêt par rapport
à Y, parce qu’on ne peut pas savoir quelle date c’est avant la fin de l’hiver.
6.2.1. La propriété forte de Markov. On se souvient qu’on avait que la propriété

faible de Markov était :
Définition (1.3). Soit X = (Xt )t≥0 un processus stochastique quelconque (à temps
discret ou continu, sur un espace d’états S discret ou continu).
On dit que le processus X possède la propriété de Markov faible si, pour tout temps
t ≥ 0, on a que
P {X>t ∈ A | Xt = i, X<t ∈ B} = P {X>t ∈ A | Xt = i} ,
pour tous A ⊆ S {u:u>t} et B ⊆ S {u:0≤u<t} .
La propriété forte de Markov, c’est la même chose, mais on peut remplacer le temps t
par un temps d’arrêt !
Définition 6.3. Soit X = (Xt )t≥0 un processus stochastique quelconque (à temps
discret ou continu, sur un espace d’états S discret ou continu).
On dit que le processus X possède la propriété de Markov forte si, pour tout temps
d’arrêt τ (par rapport à X), on a que
P {X>τ ∈ A | Xτ = i, X<τ ∈ B} = P {X>τ ∈ A | Xτ = i} .
Mais existe-t-il une réelle différence entre les propriétés de Markov faibles et fortes ? En
temps discret, non ! Voici une proposition (laissée sans démonstration) :
Proposition 6.2. Soit X = (Xt )t∈Z+ un processus stochastique à temps discret sur
l’espace des états S. Alors, X a la propriété de Markov forte si et seulement si X a la
propriété de markov faible.
6.2. TEMPS D’ARRÊT 179
6.2.2. La formule de Wald. On se souvient que, en général, si on a une famille

Y = (Yi )i∈N de variables aléatoires indépendantes identiquement distribuées, et une variable
aléatoire entière positive N indépendante de Y, alors on a que
"N # " "N ##
X X
E Yi = E E Yi N
i=1 i=1
N
" #
X
=E E [Yi | N ]
i=1
"N #
X
=E E [Yi ]
i=1
= E [N E [Y1 ]]
= E [N ] E [Y1 ] .
Ce que nous allons regarder maintenant, c’est ce qu’on peut faire lorsque N n’est pas
forcément indépendante de Y – mais si c’est un temps d’arrêt.
Lemme 6.5. Soit Y = (Yt )t∈Z+ une suite de variables aléatoires indépendantes et iden-
tiquement distribuées. Soit N un temps d’arrêt par rapport à Y.
Alors, les variables aléatoires Yt et 1{N ≥t} sont indépendantes. En particulier,
E Yt 1{N ≥t} = E [Yt ] P {N ≥ t} .

Démonstration. L’événement {N ≥ t} est entièrement déterminé par Y≤t−1 , et puisque

Y est une famille indépendante, il suit que 1{N ≥t} est indépendant de Yt . □
Ce lemme a pour conséquence le résultat suivant :

Proposition 6.3. Soit Y = (Yi )i∈Z+ une suite de variables aléatoires indépendantes et
identiquement distribuées avec E [Y1 ] = µ. Soit N un temps d’arrêt par rapport à Y.
Alors,
"N #
X
(6.2.1) E Yi = µE [N ] .
i=1
Démonstration. On a que
"N # "∞ #
Yi 1{N ≥i}
X X
E Yi = E
i=1 i=1
∞
E Yi 1{N ≥i}
X
=
i=1
∞
X
=µ P {N ≥ i}
i=1
= µE [N ] .
□
L’équation (6.2.1) est appelée formule de Wald.

Exemple 6.6. Une pièce de monaie tombe sur Pile avec probabilité p et sur Face avec
probabilité 1−p. On joue jusqu’à obtenir k fois Pile. Soit N le nombre de lancers nécessaires.
Calculer E [N ].
Solution. On pourrait faire deux arguments ; on pourrait voir N comme une somme
de k variables géométriques indépendantes, chacune d’espérance 1/p. Ou...
Si Yi = 1 lorsque le ième lancer retombe sur Pile, et 0 sinon, on voit que N est un temps
d’arrêt par rapport à Y = (Yi )i∈N . On a :
N
X
Yi = k.
i=1
Par la formule de Wald, on a immédiatement :

pE [N ] = k,
d’où E [N ] = k/p.
6.3. Le théorème d’arrêt.

La notion de temps d’arrêt en elle-même n’a a priori rien à voir avec les martingales ;
les définitions sont logiquement indépendantes l’une de l’autre, et on aurait très bien pu
présenter la notion de temps d’arrêt beaucoup plus tôt – au premier chapitre, par exemple.
Si nous la présentons maintenant, c’est que cette notion a une application toute parti-
culière et très puissante dans le contexte des martingales : le théorème d’arrêt de Doob, que
l’on appelle parfois aussi le théorème d’arrêt optionnel.
Théorème 6.1 (d’arrêt de Doob). Soit X = (Xt )t∈Z+ une martingale à temps discret
par rapport à la suite Y = (Yt )t∈Z+ , et soit τ un temps d’arrêt par rapport à Y.
On définit Mt = Xt∧τ ; le processus M = (Mt )t∈Z+ est appelé le processus X arrêté
en τ .
Alors, M est aussi une martingale par rapport à Y dès que l’une des deux conditions
suivantes est remplie :
i. P {τ < +∞} = 1 et il existe K > 0 tel que |Mt | ≤ K pour tout t ∈ Z+ ; ou
ii. E [τ ] < +∞ et il existe K > 0 tel que |Mt − Mt−1 | ≤ K pour tout t ∈ N.
Démonstration. Il suffit de vérifier dans l’ordre les conditions énoncées dans la défi-
nition d’une martingale.
Étape 1 : M est adaptée à Y.
Pour montrer cela, il suffit de constater que l’on a :
Mt = Xt∧τ = Xt 1{τ >t} + Xτ 1{τ ≤t} ;
X étant une martingale par rapport à Y, elle est adaptée à celle-ci, et on a donc que la
variable Xt est déterminée entièrement par Y≤t , de même que les variables 1{τ >t} .
Il reste Xτ 1{τ ≤t} . Ici c’est plus subtil. On a que
(
Xu si τ = u ≤ t ;
Xτ 1{τ ≤t} = .
0 si τ = u > t
6.3. LE THÉORÈME D’ARRÊT. 181
Puisque la connaissance de Y≤t permet de déterminer si τ ≤ t, et que, sachant cela,

on peut aussi forcément déterminer Xu lorsque τ = u ≤ t, il suit forcément qu’on peut
nécessairement déterminer Xτ 1{τ ≤t} en sachant Y≤t .
Donc, M est adaptée à Y.
Étape 2 : Le processus M est intégrable.
Pour cela, il faut montrer que E [|Mt |] < +∞ pour tout t. Bien sûr, lorsque |Mt | ≤ K pour
tout t, c’est immédiat.
Lorsque E [τ ] < +∞ et que |Mt − Mt−1 | ≤ K pour tout t, on a que
E [|Mt |] = E Xt 1{τ >t} + Xτ 1{τ ≤t}

≤ E [|Xt |] + E [|Xτ |]
τ
" #
X
= E [|Xt |] + E X0 + (Xu − Xu−1 )
u=1
τ
" #
X
≤ E [|X0 |] + E [|Xt |] + E |(Xu − Xu−1 | .
u=1
Puisque X est une martingale, les deux premiers termes après la dernière égalité sont
finis ; il suffit donc de montrer que le dernier l’est aussi ; or, pour tout u ≤ τ , Mu − Mu−1 =
Xu − Xu−1 , et on a donc que |Xu − Xu−1 | ≤ K ; on trouve donc :
" τ #
X
E [|Mt |] ≤ E [|X0 |] + E [|Xt |] + E K
u=1
= E [|X0 |] + E [|Xt |] + KE [τ ] .
Et puisque τ est intégrable, la variable Mt l’est aussi, pour tout t.
Étape 3 : Vérifier la condition de martingale.
Ça, c’est assez rapide :
E [Mt+1 | Y≤t ] = E Xt+1 1{τ >t+1} + Xτ 1{τ ≤t+1} Y≤t

= E Xt+1 1{τ >t+1} + Xτ 1{τ =t+1} + Xτ 1{τ ≤t} Y≤t

= E Xt+1 1{τ >t+1} + Xt+1 1{τ =t+1} Y≤t + Xτ 1{τ ≤t}

= E Xt+1 1{τ >t} Y≤t + Xτ 1{τ ≤t}

= E [Xt+1 | Y≤t ] 1{τ >t} + Xτ 1{τ ≤t}

= Xt 1{τ >t} + Xτ 1{τ ≤t} = Mt .
□
Remarque. Il existe une version de ce théorème pour les martingales à temps continu
aussi, mais l’énoncé, les conditions et la preuve sont plus complexes et hors du cadre de ce
cours.
Remarque. En fait, la première partie de la condition ?? est superflue ; en effet, on
remarque que cette hypothèse n’a pas été utilisée pour montrer, ni la propriété de martingale,
ni l’adaptabilité ou l’intégrabilité. À strictement parler, cette hypothèse n’est pas nécessaire
pour conclure le résultat. Cependant elle est nécessaire pour conclure le corollaire suivant !
Corollaire 6.3. Soit X = (Xt )t∈Z+ une martingale par rapport à Y = (Yt )t∈Z+ , τ un
temps d’arrêt par rapport à Y et M le processus X arrêté en τ .
En supposant que M et τ satisfont l’une des conditions du théorème d’arrêt de Doob, il
suit que
E [X0 ] = E [Xτ ] .
Démonstration. Puisque M est aussi une martingale par rapport à Y, son espérance
est aussi constante. Or, bien sûr,
lim Mt = Xτ ,
t→∞
et par conséquent, puisque P {τ < +∞} = 1, on doit avoir que
E [X0 ] = E [M0 ] = lim E [Mt ] = E [Xτ ] .
t→∞
Une interprétation de ce résultat. Avant de montrer quelques exemples, ça vaut la peine

de faire une petite discussion des implications de ce résultat – spécifiquement dans le contexte
qui a d’abord motivé l’étude des martingales : les jeux de hasard.
Dans ce contexte, une martingale représente les gains d’un·e participant·e à un jeu de
hasard équilibré, où l’espérance du gain à chaque nouvelle partie est nulle ; ainsi, l’espérance
des gains totaux après t + 1 parties est égale aux gains totaux qu’on apporte avec nous après
la tième partie.
Dans le contexte d’un jeu de hasard, un temps d’arrêt représente un temps où un·e
joueur/se hypothétique pourrait décider de jouer (puisqu’il ou elle saurait que le temps est
venu d’arrêter de jouer à temps pour ne pas s’engager dans une partie supplémentaire). Ainsi,
le corollaire 6.3 garantit qu’aucune stratégie d’arrêt, quelle qu’elle soit, ne peut conduire à
une espérance de gain positive.
Des exemples. Nous allons maintenant voir quelques exemples d’application du théorème
d’arrêt de Doob – mais avant d’aller plus loin, nous allons surtout voir un exemple où le
théorème ne s’applique pas !
Exemple 6.7. Soit X = (Xt )t∈Z+ une marche aléatoire simple symétrique sur Z – c’est
à dire que les probabilités de transition en un pas pour X sont Pi,i±1 = 21 . On considère le
temps d’atteinte τ−1 = inf {t ≥ 0 : Xt = −1}, qui est un temps d’arrêt par rapport à X.
La figure 6.1 montre une réalisation de la marche aléatoire, ainsi que le processus arrêté
correspondant.
On remarque que

E0 Xτ−1 = −1 ̸= E0 [X0 ] = 0.
Pourtant X est une martingale et τ−1 est un temps d’arrêt par rapport à X. Que se passe-
t-il ?
Eh bien, comme on l’a déjà vu, E0 [τ−1 ] = +∞ ; de plus, Xt∧τ n’est pas bornée (puisqu’il
existe une probabilité non-nulle que ce processus atteigne éventuellement n’importe quel
nombre naturel).
Donc, on ne peut pas appliquer le théorème de Doob en vertu de l’une ou l’autre des
conditions.
10 20 30 40 50
-2
-4
Figure 6.1 – Une réalisation d’une marche aléatoire symétrique (en bleu)
et le processus arrêté au temps τ−1 (en jaune).
Exemple 6.8 (la ruine du joueur, version martingale). Soit X = (Xt )t∈Z+ une marche
aléatoire simple symétrique sur Z, comme à l’exemple précédent. Cette fois, on considére
τ{−b,a} , le temps d’atteinte de l’un ou l’autre des états −b ou a :
τ{−b,a} = inf t ∈ Z+ : Xt ∈ {−b, a} .

La figure 6.2 montre deux réalisations du processus X arrêté en τ{−b,a} .
10 25
5 20
15
50 100 150 200 250 300
10
-5
5
-10
50 100 150 200 250 300

-15
(a) Une réalisation du processus qui s’est ar- (b) Une réalisation du processus qui s’est ar-
rêté en −b. rêté en a.
Figure 6.2 – Le processus X arrêté en τ{−b,a} , comme à l’exemple 6.8. Ici,

a = 21 et b = 13.
τ{−b,a} est un temps d’arrêt. De plus, lorsque X0 = 0, bien sûr, Xt∧τ{−b,a} est contenu
entre −b et a ; donc c’est borné, et on est également garanti d’atteindre −b ou a éventuel-
lement, puisque X est un processus transient. Donc P τ{−b,a} < +∞ = 1. On peut donc

appliquer le théorème d’arrêt de Doob – et son corollaire !
Par conséquent, on a que

h i
0 = E0 Xτ{−b,a}
n o n o
= P0 Xτ{−b,a} = −b × (−b) + P0 Xτ{−b,a} = a × a.
Or, bien sûr, Xτ{−b,a} = b si et seulement si τ−b < τa , et vice versa ; on trouve donc que :
0 = −bP0 {τ−b < τa } + a(1 − P0 {τ−b < τa } ,
et on peut isoler P0 {τ−b < τa } pour trouver :
a
P0 {τ−b < τa } = .
a+b
Si on décale tout de b unités vers la droite (donc on additionne b à tous les états), et
qu’on pose b = k et a + b = N , alors on retrouve le fameux résultat de la ruine du parieur
dans le cas symétrique (Comparer avec l’exemple 1.17) :
N −k
Pk {τ0 < τN } = .
N
Le raisonnement est rapide, et on n’a pas besoin de se casser la tête avec des récurrences !
Exemple 6.9 (La ruine du parieur, biaisée.). Soit X = (Xt )t∈Z+ une marche aléatoire
simple biaisée sur Z ; c’est-à-dire qu’on a
Pi,i+1 = p; Pi,i−1 = q := 1 − p,
avec p ̸= q. On prend τ{−b,a} comme à l’exemple précédent.
Cette fois-ci, X n’est pas une martingale. On prent Zt = ρXt , où ρ = q/p. Comme nous
l’avons vu précédemment, Z = (Zt )t∈Z+ est une martingale par rapport à X. De plus, on
a aussi que Mt = Zt∧τ{−b,a} est bornée, puisque d’une part Zt > 0, et d’autre part, Zt ≤
max ρ−b , ρa . Puisqu’on sait aussi qu’on va forcément atteindre l’état a éventuellement

(puisque X est transient et tend vers +∞), on sait donc que P0 τ{−b,a} < +∞ = 1, et on
peut utiliser le théorème de Doob et son corollaire.
La conséquence, c’est bien sûr que
1 = E0 [Z0 ] = E0 ρX0

h i
= E0 Zτ{−b,a}
= ρa P0 {τa < τ−b } + ρ−b P0 {τ−b < τa }
= ρa + (ρ−b − ρa )P0 {τ−b < τa } .
Et on conclue que
1 − ρa ρb − ρa+b
P0 {τ−b < τa } = = .
ρ−b − ρa 1 − ρa+b
Encore une fois, avec b = k, a + b = N et une petite translation de k = b états vers la droite,
on trouve donc le même résultat de ruine du parieur :
ρk − ρN
Pk {τ0 < τN } = .
1 − ρN
En prenant a qui tend vers +∞, lorsque p > q (donc ρ < 1), on trouve que
P0 {τ−b < +∞} = ρb .
Mais
Pt on peut même aller plus loin ! En utilisant la formule de Wald – attendu que
Xt = i=1 ξi , où les (ξi )i∈N sont i.i.d., avec
(
+1 avec probabilité p
ξi = Xi − Xi−1 =
−1 avec probabilité q,
alors, on trouve bien sûr que
h i
E0 Xτ{−b,a} = E τ{−b,a} E0 [ξ1 ] .
Or, E0 [ξ1 ] = p − q. En mettant tout cela ensemble, on trouve donc :
1 − ρb ρb − ρa+b

1
E0 τ{−b,a} = a −b .
p−q 1 − ρa+b 1 − ρa+b
Nous n’avions pas pu obtenir ce résultat par la méthode des récurrences ; c’est possible
maintenant, entièrement grâce à notre théorème d’arrêt et à la formule de Wald !
6.4. Exercices
Les exercices de ce chapitre sont entièrement tirés de la section 4.3 de l’ouvrage de Sabin
Lessard.
Exercice 6.1. Une urne contient des boules rouges et des boules vertes. À chaque
instant n ≥ 0, on tire une boule au hasard de l’urne et on la remet dans l’urne en ajoutant
une autre boule de la même couleur que celle tirée. On désigne par Xn la proportion de
boules rouges dans l’urne à cet instant et on suppose qu’il y a une boule de chaque couleur
dans l’urne initialement.
Montrer que X = (Xn )n∈Z+ est une martingale.
Exercice 6.2. Soit X = (Xt )t∈Z+ une marche aléatoire simple sur Z ; c’est-à-dire qu’on
peut écrire
Xt
Xt = Yi ,
i=1
avec Y = (Yi )i∈N une famille de variables aléatoires indépendantes identiquement distribuées
satisfaisant P {Y1 = ±1} = 12 .
(a) Soient τ−b et τa respectivement les temps d’atteinte des états −b et a par X. On note
τ−b,a = τ−b ∧ τa . Est-ce un temps d’arrêt ?
(b) Utiliser le théorème d’arrêt de Doob pour calculer P0 Xτ−b,a = a.

(c) On définit St = Xt2 − t. Montrer que St est une martingale.

(d) Utiliser le théorème d’arrêt avec St pour déterminer E [τ−b,a ].
Exercice 6.3. On pose X0 = 1 et Xt = ti=1 Yi , où les Yi sont indépendantes, identi-

P
quement distribuées, avec P {Y1 = −1} = 2/3 et P {Y1 = 1} = 1/3. On définit
τ = min t ∈ Z+ : Xt = 0 ou Xt = 4 .

X )
(a) Montrer que (2t∈Z
t
+ est une martingale par rapport à Y = (Yt )t∈Z+ .
(b) Vérifier que τ est un temps d’arrêt par rapport à Y.

(c) En utilisant le théorème d’arrêt, déterminer la fonction de masse de Xτ .
(d) Utiliser la formule de Wald, déterminer E [τ ].
Exercice 6.4. On considère une population de N individus dans laquelle, à chaque

unité de temps, un individu choisi au hasard parmi les N individus existants produit une
copie identique à lui-même et cette copie remplace l’un des N individus existants choisi au
hasard. C’est le modèle de Moran en génétique des populations. Le nombre d’individus d’un
type particulier A à l’instant t ≥ 0, noté Xt , forme alors une chaîne de Markov homogène à
temps discret, avec les probabilités de transition en un pas données par
i(N − i) i(N − i)
Pi,i−1 = Pi,i+1 = , Pi,i = 1 − 2
N2 N2
pour i = 1, 2, 3, . . . , N − 1 ; par ailleurs,
P0,0 = PN,N = 1.
6.4. EXERCICES 187
(a) Montrer que X = (Xt )t∈Z+ est une martingale.

(b) Déterminer la probabilité que le type A disparaisse éventuellement de la population
étant donné qu’il y a k individus de ce type initialement.
Exercice 6.5. Un joueur mise un dollar sur chacun des jeux d’une série de jeux iden-
tiques et indépendants. Son gain net par partie – le gain brut moins la mise d’un dollar – est
d’espérance µ = −1/2 et de variance σ 2 = 1, en plus d’être borné par une constante K > 0.
Le gain net après t ≥ 1 jeux est donc donné par
t
X
Xt = Yi ,
i=1
où Yi est le gain net sur l’ième jeu (on assume X0 = 0).
On introduit maintenant, pour tous t ≥ 0 :
Mt = Xt − µt; Wt = Mt2 − σ 2 t,
et on définit
τ = min {t ≥ 0 : Xt = −N } ,
où N est un entier naturel quelconque.
(a) Montrer que M = (Mt )t∈Z+ et W = (Wt )t∈Z+ sont des martingales par rapport à Y.
(b) Vérifier que τ est un temps d’arrêt par rapport à Y.
(c) Utiliser le théorème d’arrêt pour déterminer l’espérance et la variance de τ .
Troisième partie
Sujets avancés
Chapitre 7
Le mouvement Brownien
Pour clore la discussion des processus stochastiques, nous faisons une petite incursion
dans le territoire des martingales à temps continu en explorant la reine parmi les reines des
martingales à temps continu : le processus de Wiener.
Mais... et le mouvement Brownien ? L’apellation mouvement Brownien, que vous reco-
naissez sûrement, fait référence au mouvement imprévisible de particules en suspens dans
un fluide dont on ne peut voir les courants. Lucrèce, disciple d’Épicure, décrit par exemple
le mouvement des grains de poussière dans l’air en ces termes 1 :
Lorsqu’à travers la nuit d’une chambre fermée
Le Soleil entre et darde une flèche enflammée
Regarde, et tu verras dans le champ du rayon
D’innombrables points d’or mêlés en tourbillons
Former leurs rangs, les rompre, encor, toujours, sans trêve
Et livrer un combat qui jamais ne s’achève.
[...]
Vois ces points sous des heurts que l’œil ne saisit pas,
Changer de route, aller, revenir sur leurs pas
Ici, là. En passant, quelqu’atome les dérange,
Et c’est ce qui reforme ou défait leur phalange :
Par lui-même en effet se meut tout corps premier.
Sur les groupes errants qui n’ont pu se lier
S’il tombe un poids égal, il les réduit en poudre.
L’imperceptible choc n’a-t-il pu les dissoudre ?
Ont-ils pu résister ? Ils tremblent seulement.
Ainsi des corps premiers part tout ce mouvement
Qui par degrés arrive à nos sens et rencontre
Enfin ces frêles grains que le rayon nous montre.
Nous voyons ondoyer leur poussière, et nos yeux
Ne peuvent point saisir la cause de leurs jeux.
Près de 1900 ans plus tard, c’est le biologiste écossais Robert Brown remarque un mou-
vement similaire en observant des grains de pollen suspendus dans l’eau. C’est le nom de
Brown qui restera acollé à ce type de mouvement. La description mathématique survien-
dra plus tard ; on la devra en partie à Albert Einstein, puis, plus tard, au mathématicien
américain Norbert Wiener.
Ce qu’il faut retenir, donc, c’est que tandis que le nom mouvement Brownien fait réfé-
rence, de façon plus ou moins vague, à un certain type de phénomène physique, le processus
1. Lucrèce, De la nature des choses, trad. André Lefèvre. Société d’éditions littéraire, Paris, 1899.
Extrait du Livre Deuxième, « Les atomes », vers 121 à 148.
191
192 7. LE MOUVEMENT BROWNIEN
de Wiener est le processus stochastique qui fournit un modèle mathématique qui permet de
décrire ce mouvement – en une dimension.
Et ça ressemple à quoi ? On se sert du processus de Wiener pour modéliser une panoplie
de phénomènes qui se comporte aléatoirement en temps continu ; l’exemple le plus fréquem-
ment employé est le cours d’une action en bourse. La figure 7.1 illustre l’évolution de la
valeur de certains actifs financiers entre le 1er janvier et le 6 décembre 2022. 2
44 400
42
300
40
38 200
36
100
34
32 0
Jan Apr Jul Oct Jan Apr Jul Oct
(a) Le cours de l’action du groupe Kraft- (b) Le cours de l’action de Tesla Motors Inc.
Heinz Corporation.
350
50 000
300
40 000
250
200 30 000
150
20 000
100
10 000
50
0 0
Jan Apr Jul Oct Jan Apr Jul Oct
(c) Le cours de l’action de l’entreprise Meta. (d) La valeur d’un Bitcoin en dollars améri-
cains.
Figure 7.1 – « Schadenfreude »
La figure 7.2 illustre plusieurs réalisations d’un processus de Wiener.

On remarque que, vu de loin, ça ressemble à des marches aléatoires... et nous allons voir
que ce n’est pas pour rien !
7.1. Définition axiomatique du processus de Wiener

Nous allons commencer par introduire une définition du processus de Wiener qui se
fonde sur une série de postulats. Attention ! Avant de faire quoique ce soit, il faudra d’abord
vérifier qu’il existe bel et bien un tel objet ! Mais pour l’instant, nous allons simplement nous
contenter de donner une « liste d’épicerie » des caractéristique que nous aimerions que le
processus ait.
2. Ces données ont été récupérées grâce au module de données financières du logiciel Wolfram Mathema-
tica, le 6 décembre 2022. Si vous avez investi au début de 2022, valaient mieux le Ketchup et le Cheese-Wiz
qu’un gros achat de Bitcoin !
7.1. DÉFINITION AXIOMATIQUE DU PROCESSUS DE WIENER 193
1 2 3 4 5
-2
-4
Figure 7.2 – Dix réalisations différentes d’un processus de Wiener sur l’in-
tervalle [0, 5]
Définition 7.1 (Processus de Wiener). Soit W = (Wt )t∈R+ un processus stochastique

sur l’espace des états R. C’est un processus de Wiener si
i. W0 = 0 ;
ii. L’application t 7→ Wt est continue en t presque sûrement.
iii. Les incréments sont indépendants (c’est-à-dire que le processus est spatialement homo-
gène) : pour toute suite de temps croissante (ti )i∈Z+ , la famille (Wti − Wti−1 )i∈N est une
famille de variables aléatoires indépendantes. Sans perdre de généralités, on demande
que pour tous s, t tels que 0 ≤ s ≤ t, les variables Wt − Ws et Ws soient indépendantes.
iv. Les incréments suivent une distribution normale centrée de variance égale à la largeur
de l’intervalle ; autrement dit, pour tous s, t avec 0 ≤ s ≤ t :
Wt − Ws ∼ N (0, t − s)
7.1.1. Commentaires sur la définition. Avant d’aller plus loin, ça vaut tout de
même la peine de faire quelques constats sur les conséquences des axiomes. Nous allons les
présenter ici sous forme de petits lemmes.
Attention ! Nous n’avons pas encore montré que le processus de Wiener existe ! Donc,
ces petits lemmes ne sont pas forcément utiles. Évidemment, on ne ferait pas tout ça si le
processus de Wiener n’existait pas ! Mais pour l’instant, on n’en a pas de preuve. Ça viendra
après.
Propriété de Markov et de martingale. Vous remarquerez qu’à priori, le fait que W soit
un processus de Wiener ne garantit pas qu’il soit une chaîne de Markov. C’est pourtant le
cas ; en effet, on a le résultat suivant :
Lemme 7.1. Soit X = (Xt )t≥0 un processus stochastique spatialement homogène sur
l’espace additif S.
Alors, X a la propriété de Markov faible.
Démonstration. Nous n’entrerons pas dans les détails formels de la preuve parce qu’en
temps et espace continus ça peut devenir difficile.
Connaître X≤s , ça revient à connaître n’importe quelle suite d’incréments consécutifs
entre 0 et s, et de connaître Xs . Mais peu importe les incréments qu’on connaît, il est
impossible qu’ils influent sur Xt − Xs . Dès lors, si on connaît Xs , Xt = (Xt − Xs ) + Xs est
indépendante de quoique ce soit d’autre aussitôt qu’on connaît Xs ; c’est précisément ça que
dit la propriété de Markov. □
Ainsi donc, W est bel et bien une chaîne de Markov ; en fait, W a aussi la propriété de
Markov forte. W est aussi homogène dans le temps, puisque la distribution des incréments
ne dépend que de la largeur de l’intervalle.
W est aussi une martingale !
Lemme 7.2. Soit W un processus de Wiener. Alors, W est une martingale.
Démonstration. Pour prouver cela, il suffit de constater que W est spatialement
homogène, et que par conséquence, puisque E [Wt − Ws ] = 0 pour tous s ≤ t (puisque
Wt − Ws ∼ N (0, t − s)), on peut conclure que c’est une martingale en vertu de la proposition
6.1 ; en effet, W est forcément adapté à lui-même, et Wt ∼ N (0, t) est intégrable pour tout
t. □
Motivation pour le choix de la distribution normale. Avant de terminer ce commentaire,

arrêtons-nous un instant sur le choix de la distribution pour Wt − Ws ; clairement, il faut
une distribution qui a certaines propriétés d’additivité. Si on suppose Wt − Ws suit une
distribution D(t − s), alors il faut en effet que
D(t + s) ∼ D(t) + D(s).
Une telle distribution est appelée infiniment divisible – il existe plusieurs types de dis-
tributions qui sont infiniment divisibles ; voici quelques exemples :
– La distribution de Poisson de paramètre λ > 0 ;
– La distribution normale centrée de variance σ 2 > 0 ;
– La distribution Gamma de paramètres α, λ est infiniment divisible en α.
A priori, donc, on aurait pu prendre une autre distribution que la distribution normale.
En fait...
Scoop ! Si à la place de D(t) = N (0, t), on prenait D(t) une Poisson de paramètre
λt > 0, le processus résultant serait un processus de Poisson ! ! En général, si on remplace
l’hypothèse que D(t) = N (0, t) par la simple exigence que D(t) soit infiniment divisible,
les processus résultants sont une plus large classe de processus stochastiques s’appellent des
processus de Lévy.
Mais pourquoi donc s’intéresser particulièrement à la distribution normale ?
Eh bien en fait, c’est parce que la distribution normale centrée avec variance t satisfait
l’équation de la chaleur. Si f (t, x) est la densité de probabilité conditionnelle de Wt au point
x sachant que W0 = 0, alors on a que :
∂ 1 ∂2
f (t, x) = f (t, x).
∂t 2 ∂x2
7.1. DÉFINITION AXIOMATIQUE DU PROCESSUS DE WIENER 195
L’équation de la chaleur est l’équation aux dérivées partielles qui gouverne tout processus
physique de diffusion ; il est donc naturel de s’attendre à ce que, pour un processus symétrique
comme le processus de Wiener, la densité de Wt satisfasse cette équation. Or, la solution à
cette équation différentielle est :
1 − x2
f (t, x) = √
e 2t .
2πt
Cela correspond exactement à la densité d’une variable aléatoire normale centrée de
variance t !
7.1.2. Construction du processus de Wiener. Comme mentionné précédemment,

la discussion du processus de Wiener est, jusqu’ici, de nature complètement spéculative. On
n’a pas encore vu ce processus. On a simplement donné une « liste d’épicerie » de propriétés
plaisantes qu’on souhaiterait avoir. Mais est-ce bien le cas ?
Pour le prouver, il suffira de produire une construction ; c’est à dire une sorte de recette
à suivre pour fabriquer de toutes pièces un processus de Wiener. Une fois que ce sera fait,
on devra montrer que notre construction possède bien les propriétés désirées.
Proposition 7.1. Soit (ξi )i∈N une suite de variables aléatoires indépendantes P
et iden-
tiquement distribuées avec ξi = ±1 avec probabilité 1/2. On définit S0 = 0 et Sn = ni=1 ξi .
On pose maintenant pour tous N ∈ N :
(N ) 1
Wt = √ S⌊N t⌋ .
N
(N )
Les processus W(N ) = (Wt )t∈R+ convergent en loi vers un processus de Wiener lorsque
N tend vers l’infini.
Démonstration. Cette preuve ne sera pas complète car certains aspects sont difficiles
à démontrer avec les outils disponibles à ce niveau. Nous allons principalement montrer que
(N )
la distribution marginale limite pour Wt est normale.
On a que
r
(N ) 1 ⌊N t⌋ S⌊N t⌋
Wt = √ S⌊N t⌋ = ·p .
N N ⌊N t⌋
Par le théorème central de la limite, on a que
S⌊N t⌋
p → N (0, 1)
⌊N t⌋
en distribution lorsque N tend vers l’infini. Or, on a aussi que
⌊N t⌋
lim = t;
N
N →∞
donc, on a que dans la limite où N tend vers l’infini,
(N ) √
Wt → tN (0, 1) ∼ N (0, t)
en distribution lorsque N tend vers l’infini.
En principe il faudrait aussi montrer que la limite en distribution jointe de W(N ) est
un processus continu avec des incréments indépendants ; c’est hors de notre portée à ce
niveau-ci. □
Remarque. Cette construction est simple mais elle n’est pas entièrement satisfaisante
puisque l’on n’a qu’une limite en distribution. On peut tout de même s’en servir pour faire des
déductions intéressantes, comme on le verra plus loin. Il existe cependant des constructions
(légèrement plus élaborées) qui permettent de construire le processus de Wiener comme une
limite presque sûre ; dans ces cas-là, on peut littéralement faire des approximations de Wt ,
directement.
Finalement, pour clore cette section, il convient d’ajouter quelques mots à propos de
l’unicité de la distribution jointe pour le processus de Wiener. Après tout, nous avons main-
tenant montré qu’il existe des processus stochastiques qui satisfont les axiomes de la défini-
tion 7.1, mais ce n’est a priori pas évident que tous ces processus ont la même distribution
jointe.
Le résultat suivant (laissé sans preuve) nous le garantit :
Proposition 7.2. Soient W et W′ deux processus de Wiener. Alors W ∼ W′ ; autre-
ment dit, les distributions jointes de W et W′ coïncident. Autrement dit, les axiomes de la
définition 7.1 caractérisent complètement la distribution jointe d’un processus de Wiener.
7.2. Le processus de Wiener avec dérive et variance.

On introduit maintenant le processus de Wiener avec dérive et variance :
Définition 7.2. Soit W = (Wt )t∈R+ un processus de Wiener. On définit maintenant
Xt = µt + σ 2 Wt ,
où µ ∈ R et σ > 0.
Alors, X = (Xt )t∈R+ est un processus de Wiener avec dérive et variance. Les
paramètres µ et σ sont respectivement appelés la dérive et l’écart-type de X.
Le processus X a les propriétés suivantes :
E [Xt ] = µt; Var [Xt ] = σ 2 t.
Il s’agit donc d’une forme légèrement plus générale qui permet de décrire un mouvement
brownien aléatoire qui serait biaisé dans une direction, avec une certaine variance qui peut
être plus ou moins importante. La figure 7.3 montre 10 réalisations de processus de Wiener
avec différentes dérives et variances.
7.2.1. Construction directe. Comme pour le processus de Wiener standard, on peut

faire une construction qui va nous permettre d’obtenir directement le processus de Wie-
ner avec dérive et variance. Pour ce faire, on pose (ξi )i∈N une suite de variables aléatoires
indépendantes et identiquement distribuées avec la distribution suivante :
(
+1 avec probabilité p
ξi =
−1 avec probabilité q = 1 − p.
On va ensuite poser Sn = ni=1 ξi et S0 = 0, et on va également prendre :

P
(N ) σ
Xt = √ S⌊N t⌋ .
N
7.2. LE PROCESSUS DE WIENER AVEC DÉRIVE ET VARIANCE. 197
10 10
5 5
3 4 5 3 4 5
-5 -5
-10 -10
(a) µ = 0, σ = 1 (b) µ = 0, σ = 2
10 10
5 5
3 4 5 3 4 5
-5 -5
-10 -10
(c) µ = 1, σ = 1 (d) µ = −2, σ = 1
Figure 7.3 – Processus de Wiener avec dérives et variances différentes.

h i
(N )
Pour que tout se passe bien, il faudra bien sûr que E Xt ∼ µt lorsque N tend vers
l’infini. Pas de souci ; en effet, on a bien sûr que
h
(N )
i σ
E Xt = √ ⌊N t⌋ (p − q),
N
µ
et si p − q = σ N , on a gagné puisque
√
h
(N )
i σ µ
lim E Xt = √ ⌊N t⌋ √
N →∞ N σ N
⌊N t⌋
= µ lim
N →∞ N
= µt.

On prend donc p = 12 1 + σ√µN . Par la suite, on pourra montrer que le processus ainsi
construit atteint, en distribution, la limite souhaitée lorsque N tend vers l’infini.
Quelques résultats. On peut utiliser cette construction pour profiter de nos connaissances
sur la marche aléatoire simple (biaisée ou pas) afin d’obtenir des résultats sur le processus
de Wiener, par le truchement des limites !
Proposition 7.3. Soit X un processus de Wiener avec dérive µ et écart-type σ > 0.
Soit a ∈ R, et soit τa le temps d’atteinte de l’état a pour X.
Alors si aµ < 0, on a que :
2µa
(7.2.1) P {τa < +∞} = e σ2 .
De plus, si aµ > 0, on a que :

a
(7.2.2) E [τa ] = .
µ
(N )
Démonstration. Si on définit τa le temps d’atteinte de a pour X(N ) (avec a > 0) :
n o
(N )
τa(N ) = inf t ∈ R+ : Xt ≥ a ,
√
avec Ta√N /σ le temps d’atteinte de la partie entière de a N /σ pour (Sn )n∈Z+ (qui dépend
de N ) :
n o
P {τa < +∞} = lim P τa(N ) < +∞
N →∞
n o
= lim P Ta√N /σ M < +∞ .
N →∞
n o
Or, P Ta√N /σ < +∞ est simplement donné (par la ruine du parieur) par :
√
√ !a N /σ
n o (1 + µ/(σ N )
P Ta√N /σ < +∞ = √ .
(1 − µ/(σ N ))
Or, on a :
√
µ/σ a N /σ

2
lim 1 ± √ = e±µa/σ .
N →∞ N
L’équation 7.2.1 découle de ces limites.
D’autre part, on sait que Ta√N /σ /N converge vers τa en distribution aussi ; on a pu
h i
calculer E Ta√N /σ par un résultat du chapitre précédent ; il suffit maintenant donc de
remplacer et de prendre la limite. Le résultat qu’on trouve à l’équation 7.2.2 n’est pas très
surpreannt. Si µ est une « vitesse moyenne », le temps moyen qu’il faut pour passer de 0 à
a est assez clairement a/µ... □
7.3. Le processus de Wiener géométrique

(À venir)
Quatrième partie
Annexes
Annexe A
Lexique de la théorie des graphes
A.1. Description de la structure des graphes
(a) Un graphe simple : les sommets peuvent (b) Un multigraphe : il peut y avoir plus
être reliés par au plus une arête. qu’une arête distincte entre deux sommets.
(c) Un graphe orienté : chaque arête porte (d) Un multigraphe orienté.

une orientation.
Figure A.1 – Quatre types de graphes : les graphes simples, les multi-
graphes, les graphes orientés et les multigraphes orientés.
Définition A.1 (Vocabulaire général des graphes). i. Un graphe G = (V, E, f ) est

un objet mathématique constitué d’un ensemble de sommets V , d’un ensemble d’arêtes
E et d’une fonction f dont le domaine est E.
Chaque arête relie deux sommets du graphe ; la fonction f définie sur E nous permet
de déterminer quels sont les somets reliés par toute arête e ∈ E.
ii. Si le graphe est orienté (figures A.1c, A.1d), la fonction f a des images dans V × V ;
dans ce type de graphe, on dit que l’arête e part de u et se termine en v (ou arrive en
v) si et seulement si
f (e) = (u, v).
La fonction f peut être décomposée dans ses coordonnées composantes :
f1 (e) = u f2 (e) = v.
201
202 A. LEXIQUE DE LA THÉORIE DES GRAPHES
On note u → v s’il existe une arête qui va de u à v, et on dit que v est adjacent
à u. Dans un graphe orienté, u → v n’implique pas v → u.
On dit que l’arête e sort de u (noté u → e si f1 (e) = u ; on dit qu’elle entre en
u (noté e → u si f2 (e) = u. On dit qu’une arête e est incidente au sommet u (noté
e ∼ u ou u ∼ e) indistinctement si elle sort de u ou si elle entre en u. (figure A.2b)
On dit que les arêtes e et ē sont conjuguées si f1 (e) = f2 (ē) et f2 (e) = f1 (ē). On
dit qu’un graphe orienté est symétrique si les arêtes (excluant les boucles) peuvent
être partitionnées en paires d’arêtes conjuguées.
iii. Si le graphe est non-orienté (figures A.1a, A.1b), la fonction f a des images dans
V
1 ∪ 2 , c’est à dire l’ensemble des singletons et des paires de V . Puisque le graphe
V 1

est non-orienté, l’ordre importe peu. On dit qu’une arête relie les sommets u et v si et
seulement si
f (e) = {u, v}.
On note u ∼ v s’il existe une arête qui relie u et v, et on dit que v est adjacent à
u. Dans un graphe non-orienté, u ∼ v est strictement équivalent à v ∼ u.
On dit que l’arête e est incidente à u si u ∈ f (e). (figure A.2a)
Qu’un graphe soit orienté ou non, u ∈ V est une extrémité (ou une terminaison)
de e ∈ E si et seulement si e est incidente à v.
iv. Qu’un graphe soit orienté ou non, une arête qui relie un sommet à lui-même est appelée
une boucle. On dit qu’un graphe admet les boucles si de telles arêtes sont permises.
v. Qu’un graphe soit orienté ou non, deux arêtes e et e′ sont adjacentes si elles ont au
moins une extrémité en commun. On note e ∼ e′ .
Dans un graphe orienté, les arêtes e et e′ se s’enchaînent ou se suivent si elles
f2 (e) = f1 (e′ ). On note e → e′ .
vi. Qu’un graphe soit orienté ou non, le graphe est simple si la fonction f est injective –
dans ce cas, il existe au plus une arête reliant toute paire (possiblement ordonnée) de
sommets. Si la fonction f n’est pas injective, c’est un multigraphe.
vii. Qu’un graphe soit orienté ou non, le graphe est complet si la fonction f est surjective
– dans ce cas, toutes les paires de sommets possibles (ordonnées ou non) sont reliées
par au moins une arête.
En pratique, on travaillera presque toujours avec des graphes simples ; dans ce cas, on
pourra simplement étiqueter les arêtes directement parla paire
(resp. la paire ordonnée) de
V V
sommets que l’arête relie. On aurait alors que E ⊆ 1 ∪ 2 (resp. V × V ), et la fonction
f serait simplement l’identité. On noterait alors
e = {u, v} (resp. (u, v))
si l’arête e relie les sommets u et v (resp. va de u à v). Dans le cas d’un graphe orienté,
spécifiquement, si on a e = (u, v), alors
u = e1 , v = e2 .
1. De façon générale, pour un ensemble X quelconque, on utilise la notation

!
X
= {Y ⊆ X : |Y | = k},
k
soit que X

k
est l’ensemble des parties de X à exactement k éléments distincts.
A.1. DESCRIPTION DE LA STRUCTURE DES GRAPHES 203
e e' e e'
u v w u v w
(a) Ici, f (e) = {u, v}, f (e′ ) = {v, w}. Les (b) Ici, f (e) = (u, v) et f (e′ ) = (v, w). Les v
sommets u et v sont adjacents ; on note u ∼ v. est adjacent à u, mais le seule sommet adja-
Les arêtes e et e′ sont adjacentes. L’arête e est cent à v est w. (u → v et v → w, mais pas
incidente à u et à v, qui sont ses extrémités v → u, par exemple). L’arête e sort de u et
(ou ses terminaisons). entre en v ; l’arête e′ sort de v et entre en w.
Les arêtes e et e′ s’enchaînent.
Figure A.2 – Le vocabulaire de l’adjacence dans les graphes orientés et

non-orientés.
Définition A.2 (Degré). Dans un graphe quelconque (V, E), le degré du sommet
v ∈ V , noté deg(v), correspond au nombre d’arêtes incidentes à v – plus précisément, le
degré correspond au nombre de fois où v est une terminaison. En particulier, une boucle de
v à v contribue deux fois au degré de v.
Dans un graphe orienté, on distingue le degré sortant deg+ (v), correspondant au
nombre d’arêtes qui sortent de v, ainsi que le degré entrant deg− (v), correspondant au
nombre d’arêtes qui entrent en v. On a dès lors le résultat évident :
(A.1.1) deg(v) = deg+ (v) + deg− (v).
Dans tous les graphes, on a également le résultat suivant :

1X
(A.1.2) |E| = deg(v).
2
v∈V
Définition A.3 (Sous-graphe). Un graphe G′ = (V ′ , E ′ ) est un sous-graphe de G =

(V, E) si V ′ ⊆ V et E ′ ⊆ E.
Soit V ′ ⊆ V une partie quelconque de V . Le sous-graphe induit par V ′ est le graphe
G = (V ′ , E ′ ) où E ′ est l’ensemble des arêtes de E qui ont toutes les extrémités dans V ′ :
′
′ ′
V V
E ′ = e ∈ E : f (e) ∈ ∪ (resp. V × V ).
1 2
Dans le cas de graphes simples, on peut simplement choisir
′ ′
′ V V
E =E∩ ∪ (resp. V × V ).
1 2
Soit plutôt E ′ ⊆ E une partie quelconque de E. Le sous-graphe induit par E ′ est le

graphe G′ = (V ′ , E ′ ) où V ′ est l’ensemble de toutes les extrémités des arêtes de E ′ . Pour les
multigraphes non-orientés, c’est :
[
V′ = f (e);
e∈E ′
pour les multigraphes orientés, c’est :
V ′ = f1 (e) : e ∈ E ′ ; f2 (e) : e ∈ E ′ .

204 A. LEXIQUE DE LA THÉORIE DES GRAPHES
A.2. Connexité, topologie et métrique des graphes

Définition A.4 (Vocabulaire de la connexité). Soit G = (V, E) un graphe et u, v ∈ V
deux sommets.
i. Un chemin C de longueur n entre u et v est une suite finie C = (e1 , e2 , e3 , . . . , en )
d’arêtes adjacentes, la première étant incidente à u, et la dernière incidente à v.
Un chemin demi-infini C partant de u est une suite C = (e1 , e2 , e3 , . . . ) d’arêtes
adjacentes, la première étant incidente à u.
Un chemin infini C passant par u est une suite doublement infinie C = (. . . , e−2 , e−1 , e0 , e1 , e2 , . . . )
dont au moins une arête est incidente à u.
ii. Dans un graphe orienté, un chemin orienté de longueur n de u à v est une suite
finie (e1 , e2 , e3 , . . . , en ) d’arêtes qui s’enchaînent, la première sortant de u et la dernière
entrant dans v.
Les définitions de chemins orientés demi-infinis et infinis sont faites de façon ana-
logue.
iii. La trace ou la trajectoire d’un chemin (ou d’un chemin orienté) est la suite finie
(u = w0 , w1 , w2 , . . . , wn−1 , wn = v) des sommets visités par le chemin, dans l’ordre.
Un chemin visite le sommet v si v est un élément de la trace de ce chemin.
iv. Un sous-chemin d’un chemin (e1 , e2 , e3 , . . . , en ) entre u et v (ou d’un chemin orienté
de u à v) est un le chemin (ek , ek+1 , ek+2 , . . . , el ), où 1 ≤ k ≤ l ≤ n.
v. Soient C1 = (e1 , e2 , e3 , . . . , em ) un chemin entre u et v, et C2 = (e′1 , e′2 , e′3 , . . . , e′n ) un
chemin entre v et w (ou des chemins orientés de u à v et de v à w respectivement).
Le chemin (e1 , e2 , e3 , . . . , em , e′1 , e′2 , . . . , e′ n) est la concaténation des chemins C1
et C2 , qu’on note C1 ↔ C2 (ou C1 → C2 pour des chemins orientés).
vi. Un chemin est un sentier (on dit parfois simple) si aucune arête n’est répétée deux
fois. Un sentier est un circuit (parfois sommet-simple) s’il ne passe pas deux fois
par le même sommet.
vii. Dans un graphe non-orienté, on dit que u et v sont connectés si u = v ou s’il existe
un chemin entre u et v. On note u ←→ v.
Dans un graphe orienté, on dit que v est accessible depuis u si u = v ou s’il existe
un chemin orienté de u à v. On note u −→ v. On dit que u et v sont connectés si u
est accessible depuis v et v est accessible depuis u ; on emploie alors la même notation :
u ←→ v.
viii. La relation de connexion ←→ est une relation d’équivalence.
La partition de V / ←→ = {V1 , V2 , V3 , . . . } en classes d’équivalences induit les sous-
graphes correspondants G1 = (V1 , E1 ), G2 = (V2 , E2 ), G3 = (V3 , E3 ), . . .
Dans un graphe non-orienté, ces sous-graphes sont appelés les composantes connexes
de G. On a alors que [
Ei = E,
i≥1
ce qui n’est pas forcément le cas pour les sous-graphes induits dans un graphe orienté.
Définition A.5 (Typologie des chemins). Soit C un chemin dans le graphe G = (V, E).
i. Le chemin C est hamiltonien s’il visite chaque sommet de V exactement une fois.
A.2. CONNEXITÉ, TOPOLOGIE ET MÉTRIQUE DES GRAPHES 205
ii. Le chemin C est eulérien s’il visite chaque arête de E exactement une fois.
Définition A.6 (Cycles). Soit v ∈ V un sommet du graphe G = (V, E).
i. Un chemin entre v et v est un cycle. Un chemin orienté de v à v est un cycle orienté.
ii. Un cycle est hamiltonien s’il visite chaque sommet exactement une fois (à l’exception
du sommet de départ).
Un cycle est eulérien s’il visite chaque arête exactement une fois.
Définition A.7 (Genre, graphe planaire). Soit G = (V, E) un graphe.
i. Un plongement de G dans une surface Σ est « un dessin » du graphe G, où les sommets
sont représentés par des points, et les arêtes sont représentées par des arcs de courbes
reliant ces points de telle façon qu’aucune paire d’arête ne s’intersecte.
ii. Le genre du graphe G correspond au genre minimal d’une surface Σ qui admet un
plongement de G. 2
iii. Les graphes planaires sont les graphes de genre 0 – ils peuvent être plongés dans une
sphère ou dans un plan. Intuitivement, les graphes planaires sont ceux qu’il est possible
de tracer sur du papier sans que deux arêtes ne se croisent.
Définition A.8 (Distance). Soit G = (V, E) un graphe.
i. La distance d(u, v) entre les sommets u et v est la longueur minimale d’un chemin
reliant u et v. Dans les graphes non-orientés et les graphes symétriques, c’est une
métrique sur V . 3
ii. Le diamètre d’un graphe est la plus grande distance possible entre deux sommets de
ce graphe.
2. En topologie, le genre d’une surface compacte correspond au « nombre de trous » formés par la
surface. Pour les surfaces compactes, le genre identifie les classes d’équivalence par homéomorphisme. Par
exemple, une sphère possàde un genre 0 puisqu’elle ne forme aucun trou. Un tore (un « beigne » possède un
genre 1, etc.
3. Une métrique sur un espace V est une fonction m : V × V → R+ qui respecte les axiomes suivants :
i. m(u, v) = 0 si et seulement si u = v ;
ii. m(u, v) = m(v, u) (symétrie) ;
iii. m(u, w) ≤ m(u, v) + m(v, w) (inégalité du triangle).
Annexe B
Résultats d’analyse
Le présent annexe regroupe des résultats généraux d’analyse utilisés dans les présentes
notes. Veuillez prendre note que toutes les preuves ne sont pas présentées.
B.1. Convergence dominée et limites de séries

À plusieurs reprises, on utilise le théorème de la convergence dominée ; il s’agit d’un
résultat important de la théorie de l’intégration de Lebesgue :
Théorème B.1. Soit (fn : Ω → R)n∈N une suite de fonctions
– intégrables (au sens de Lebesgue) sur Ω avec la mesure µ ;
– dominées (bornées en valeur absolue) par une fonction positive g : Ω → R également
intégrable ;
– convergeant ponctuellement vers une limite f : Ω → R intégrable.
Alors, on a que
Z Z
(B.1.1) lim fn dµ = f dµ.
n→∞ Ω Ω
Remarque. Ce théorème est un résultat important de la théorie de la mesure et de
l’intégration ; il indique que, lorsqu’une suite de fonctions converge ponctuellement vers une
limite, et que toutes les fonctions sont dominées par une fonction intégrable, alors la limite
des intégrales est l’intégrale de la limite (pour autant que ces intégrales existent toutes).
C’est un théorème qui nous permet donc d’intervertir une intégrale (au sens de Lebesgue)
avec une limite.
Pour en apprendre plus et/ou voir la preuve, vous pouvez consulter les notes de cours
d’André Giroux (il s’agit du théorème 39).
Dans le cas particulier où notre espace mesuré est l’ensemble Ω = N, et la mesure est
simplement la cardinalité µ(A) = |A| pour les parties de N, on trouve que si on voit une
suite (an )n∈N de nombre réels comme une fonction f : N → R définie par f (n) = an , alors
on a :
Z ∞
X
f dµ = an ;
N n=1
autrement dit, la sommation sur N est carrément une intégrale.
En particulier, on a donc le corollaire suivant :
Corollaire B.1. Soit (an,k )n,k∈N une famille de nombres réels telle que
– pour tout k ∈ N, il existe un ak tel que limn→∞ an,k = ak ;
– il existe une suite positive (bk )k∈N telle que pour tout n, k ∈ N, |an,k | ≤ bk ;
207
208 B. RÉSULTATS D’ANALYSE
P P P
– les séries k≥1 an,k pour tout n ∈ N, k≥1 ak et k≥1 bk sont absolument conver-
gentes.
Alors, il suit que
∞
X ∞
X
(B.1.2) lim an,k = ak .
n→∞
k=1 k=1
Démonstration. Il suffit d’appliquer le théorème de convergence dominée. On note

fn (k) = an,k pour tout n, k ∈ N. Si Ω = N et la mesure µ est le cardinal (on l’appelle parfois
la mesure de comptage), alors nos hypothèses reviennent à dire que
– les fn convergent ponctuellement vers une limite f (k) = ak ;
– elles sont bornées en valeur absolue par g(k) = bk ;
– les fn sont intégrables, ainsi que f et g (puisque les séries correspondantes sont
absolument convergentes).
On a donc :
∞
X Z
lim an,k = lim fn dµ
n→inf ty n→∞ N
k=1
Z
= f dµ
N
∞
X
= ak
k=1
B.2. Convergence de suites

B.2.1. Limites supérieures et inférieures.
Définition B.1. Soit (an )n∈N une suite de nombres réels.
La limite supérieure de la suite (an ), notée lim supn→∞ an , est la limite de la suite
(sup {ak : k ≥ n})n∈N , ou +∞ si cette limite n’existe pas.
La limite inférieure de (an ), notée lim inf n→∞ an , est la limite de la suite (inf {ak : k ≥ n})n∈N ,
ou −∞ si cette limite n’existe pas.
La figure B.1 illustre ces notions.
Proposition B.1. On a les propriétés suivantes :

i. lim supn (an + bn ) ≤ lim supn an + lim supn bn ;
ii. lim inf n (an + bn ) ≥ lim inf n an + lim inf n bn ;
iii. lim inf n (an + bn ) ≤ lim inf n an + lim supn bn ;
iv. Il existe une sous-suite de an qui converge vers lim supn an si celle-ci est finie,
v. et idem pour la lim inf.
B.2. CONVERGENCE DE SUITES 209
limsup an
liminf an
n
Figure B.1 – Les notions de limites supérieures et inférieures sont très
utiles.
B.2.2. Lemme de Cesàro.
Proposition B.2 (Lemme de Cesàro). Soit (an ) une suite avec limn an = a. Alors, on
a que
n
1X
lim ak = a.
n→∞ n
k=1
Démonstration. Si an converge vers a, pour tout ϵ > 0 il existe N tel que lorsque
n > N , |an − a| < ϵ/2
Également, puisque N/n tend vers 0 quand n tend vers l’infini, pour tout ϵ > 0 et
M > 0, il existe un N2 ∈ N tel que pour tout n > N2 , on a que N
n < ϵ/(4M ).
Et puisque la suite an converge, elle est bornée en valeur absolue par une certaine
constante M > 0. Clairement |a| ≤ M également.
On a donc que pour ϵ > 0, si n > max N, N2 ,
n n
1X 1X
ak − a = (ak − a)
n n
k=1 k=1
n
1X
≤ |ak − a|
n
k=1
N n
1 X 1 X
= |ak − a| + |ak − a|
n n
k=1 k=N +1
N ϵ
≤ 2M +
n 2
≤ ϵ.
et on conclue que
n
1X
lim an = a.
n→∞ n
k=1
□
Définition B.2. On dit qu’une suite (an )n converge vers a au sens de Cesàro si la
limite
n
1X
lim ak = a.
n→∞ n
k=1
Toutes les suites convergentes convergent au sens de Cesàro, mais l’inverse n’est pas vrai
en général.
B.3. Convexité
Définition B.3. Soit f : R → R une fonction continue.
Elle est dite convexe (resp. concave) si pour n’importe quels deux points sur son
graphe, la corde qui les relie est au-dessus (resp. en-dessous) du graphe. Autrement dit, f
est convexe (resp. concave) si, pour tout x < y et pour tout t ∈ [0, 1], on a que :
(B.3.1) f (tx + (1 − t)y) ≤ tf (x) + (1 − t)f (y). (resp. ≥)
On dit qu’elle est strictement convexe (resp. concave) si l’inégalité est stricte pour
tout t ∈ (0, 10.
Proposition B.3. Soit f : R → R une fonction continue dérivable deux fois continû-
ment.
Alors, f est convexe (resp. strictement convexe) si et seulement si f ′′ (x) ≥ 0 (resp. >).
B.4. Mesures, fonctions généralisées et distributions.

On rappelle d’abord, pour les curieux/ses, la définition d’une mesure positive sur un
espace muni d’une tribu de parties mesurables :
Définition B.4. Soit Ω un ensemble muni d’une tribu F de parties mesurables. Une
mesure µ sur (Ω, F) est une fonction d’ensembles µ : F → R+ qui attribue, pour chaque
partie mesurable E ∈ F, une valeur réelle non-négative. Les mesures sont caractérisées par
les axiomes suivants :
i. Pour toute partie E ∈ F, µ(E) ≥ 0.
ii. Pour toute famille (Ei )i∈N dénombrable de parties mesurables disjointe de Ω, on doit
avoir : !
G X
µ Ei = µ(Ei ).
i∈N i∈N
Voici quelques exemples fameux de mesures sur Rn , avec comme ensembles mesurables
la tribu borélienne B. 1
– La mesure de Lebesgue est la mesure uniforme sur Rn : pour toute partie A mesu-
rable dans Rn , on a que
Z
µ(A) = dn x = Voln (A),
A
1. La tribu borélienne est la plus petite tribu qui contient tous les ouverts. Une tribu est un ensemble
de parties d’un ensemble qui satisfait les axiomes énoncès après la définition 2.2 dans les notes de cours
de MAT1720. (Paragraphe 2.1.2 – Les événements). Pour plus de détails, vous pouvez consulter le premier
chapitre de l’excellent Knowing the Odds, par John B. Walsh (Graduate texts in Mathematics, AMS).
B.4. MESURES, FONCTIONS GÉNÉRALISÉES ET DISTRIBUTIONS. 211
où Voln (A) est le « n-volume » de l’ensemble A – la longueur de l’intervalle si n = 1,

l’aire de A si n = 2, le volume géométrique si n = 3, etc.
– Pour une partie C ⊆ Rn discrète, la mesure de comptage de l’ensemble C donne,
pour toute partie mesurable A de Rn , le nombre d’éléments de C qui sont dans A :
µC (A) = |A ∩ C| .
– Si g : Rn → R+ est une fonction intégrable à valeurs positives, alors

Z
µ(A) = g(x)dn x
A
est une mesure sur Rn aussi.

Ce dernier exemple est particulièrement intéressant ; en effet, il introduit l’idée qu’on peut
représenter n’importe quelle mesure sur Rn par une intégrale d’une fonction quelconque 2
En se servant de fonctions ordinaires, ce n’est pas toujours possible à proprement parler ;
en effet, par exemple, il est impossible de représenter la mesure de comptage µC mentionnée
précédemment comme l’intégrale d’une fonction.
Pour pallier ce problème, on introduit les fonctions généralisées ; ce sont des objets qui
« ressemblent » à des fonctions, mais qu’on ne peut pas évaluer en un point. Les fonctions
généralisées ne peuvent être bien définies que sous le signe d’intégrale, pour désigner une
mesure.
B.4.1. La fonction δ de Kronecker.

Définition B.5. On introduit la fonction δ de Kronecker δx (y) ; il s’agit d’une fonction
généralisée sur Rn , entièrement caractérisée par les propriétés suivantes :
i. Pour tout A ⊆ Rn tel que x ∈
/ A, et pour toute fonction f : Rn → R, on doit avoir
Z
f (y)δx (y)dn y = 0.
A
ii. Pour tout A ⊆ Rn tel que x ∈ A, et pour toute fonction f : Rn → R, on doit avoir
Z
f (y)δx (y)dn y = f (x).
A
On remarque que la fonction δx (y) de Kronecker représente en fait la mesure de comptage

pour le singleton {x} : en effet, si on prend f (y) = 1 pour tout y ∈ Rn , alors on doit avoir
que
(
0 si x ∈
Z
/A
δx (y)dn y =
A 1 si x ∈ A.
On remarque que notre fonction généralisée δx agit en quelque sorte comme la fonction
g dans notre exemple plus haut – elle nous permet de représenter notre mesure par une
densité, même si la densité n’est pas réellement une fonction à proprement parler.
2. Pour les plus curieux/ses d’entre vous, renseignez-vous sur l’intégrale de Lebesgue et le théorème de
Radon-Nikodym.
Exemple B.1. Si X est une variable aléatoire réelle discrète pouvant P prendre les valeurs
V = {v1 , v2 , v3 , . . .}, avec la fonction de masse p(vi ) = pi pour tout i (et ∞i=1 pi = 1), alors
la fonction généralisée
∞
X
f (x) = pi δvi (x)
i=1
est la « densité » de la mesure de probabilité induite par X sur R.
En effet, par exemple, on voit que
 
Z X∞ ∞
X Z
P {X = vi } =  pj δvj (x) dx = pj δvj (x)dx = pi ,
{vi } j=1 j=1 vi
puisque vj est dans {vi } si et seulement si i = j.

Annexe C
Notions avancés en probabilités
C.1. Tribus et sous-tribus

Définition C.1 (Tribu). Une tribu sur un ensemble Ω est une partie F ⊆ P(Ω) de
l’ensemble des parties de X qui satisfait les axiomes suivants :
i. ∅ ∈ F ;
ii. pour tout E ∈ F, E c ∈ F ;
iii. pour toute famille dénombrable (Ei )i∈N d’éléments de F, on a que i∈N Ei et i∈N Ei
S T
sont aussi éléments de F ;
iv. Ω ∈ F.
Une sous-tribu G ⊆ F est une tribu sur Ω dont tous les éléments sont aussi des éléments
de la tribu F.
Dans un espace de probabilités, la tribu des événements (notée E dans les notes de cours
de MAT1720) est une tribu.
D’un point de vue intuitif, une tribu d’événements représente l’information qui peut être
déterminée par un aléa – c’est l’ensemble des événements dont on peut décider, sachant
l’aléa, si ils sont réalisés ou non. Sous cet angle, les axiomes sont très logiques : si on sait
que E est réalisé, on peut inférer logiquement que E c ne l’est pas, et vice versa. Donc, si
E est dans notre tribu, E c doit l’être aussi. De même pour les réunions et les intersections
dénombrables d’événements.
Définition C.2 (Tribus engendrées). La tribu engendrée par une variable aléa-
toire X, notée σ(X), est la plus petite tribu qui contient tous les événements de la forme
{X ≤ u}.
La tribu engendrée par une variable aléatoire X correspond à l’information que nous
donne la variable X ; ça représente l’ensemble des événemtns dont on peut déterminer si
ils se sont réalisés seulement en connaissant la valeur de X – et pas forcément le résultat
complet de l’expérience aléatoire.
Bien entendu, σ(X) ⊆ E ; c’est une sous-tribu de la tribu des événements.
Définition C.3 (Mesurabilité par rapport à une tribu). On dit que la variable aléatoire
X est mesurable par rapport à la tribu F si σ(X) ⊆ F.
Lemme C.1. Y est mesurable par rapport à σ(X) si et seulement si il existe une fonction
f : R → R telle que f (X) = Y presque sûrement.
Corollaire C.1. σ(X) = σ(Y ) si et seulement si alors il existe une fonction f inver-
sible telle que f (X) = Y et f −1 (Y ) = X presque sûrement.
213
214 C. NOTIONS AVANCÉS EN PROBABILITÉS
On a également la notion d’indépendance pour les tribus d’événements :

Définition C.4 (Indépendance de tribus). Deux tribus d’événements F et G sont in-
dépendantes si et seulement si pour tout A ∈ F et B ∈ G, les événements A et B sont
indépendants.
Lemme C.2. X et Y sont des variables aléatoires indépendantes si et seulement si σ(X)
et σ(Y ) sont des tribus indépendantes.
C.2. Filtrations, processus adaptés

Définition C.5 (Filtration). Une filtration sur les événements E est une suite mono-
tone croissante (Ft )t≥0 ide sous-tribus de E. C’est une filtration discrète si t ∈ Z+ ; c’est une
filtration continue si t ∈ R+ .
L’exemple le plus courant d’une filtration est définie le long d’un processus stochastique :
si X = (Xt )t≥0 est un processus stochastique, on définit Ft = σ(Xu : u ≤ t) la tribu
engendrée par le processus X≤t . Alors, les Ft forment naturellement une filtration.
Définition C.6 (Processus adapté à une filtration). On dit que le processus stochastique
X = (Xt )t≥0 est adapté à la filtration (Ft )t≥0 si Xt est mesurable par rapport à Ft pour
tout t.
Exemple C.1. Soit Y1 , Y2 , Y3 , . . . les résultats successifs de parties de pile ou face. La

filtration Fn = σ(Y1 , Y2 , Y3 , . . . , Yn ) est une filtration pratique.
Le processus Xt qui compte le nombre de pile obtenus au temps t est adapté à Ft
Le processus Zt qui compte combien de lancers depuis la dernière fois qu’on a eu pile
est adapté à Ft .
Le processus Wt qui compte combien de lancers il reste jusqu’à la prochaine fois qu’on
aura pile n’est pas adapté à Ft . C’est tout de même une chaîne de Markov ! Mais elle n’est
pas adaptée à la même filtration.
Définition C.7 (Tribu-limite). Soit (Ft )t≥0 une famille de tribus.

La Tribu-limite de cette famille est donnée par
 
\ [
F∞ = σ Fu 
t≥0 u≥t
Dans le contexte d’une famille de tribus engendrées respectivement par un processus

stochastique X = (Xt )t≥0 , la tribu-limite F∞ correspond à l’ensemble des événements qui
sont déterminés par le processus X≥T peu importe T . Ce sont les événements qu’on peut
déterminer en ignorant un intervalle de temps arbitrairement grand (mais fini).
Exemple C.2. Des événements comme « Xt converge lorsque t tend à l’infini » sont
dans la tribu-limite des tribus engendrées par les Xt .
C.3. RÉSUILTATS SUR LES LIMITES. 215
C.3. Résuiltats sur les limites.

Théorème C.1 (Loi zéro-un de Kolmogorov). Soient (Fn )n∈N une suite de tribus in-
dépendantes, et soit F∞ sa tribu limite. Alors, pour tout E ∈ F∞ , soit P {E} = 0 ou
P {E} = 1.
La loi zéro-un de Kolmogorov permet de dire que lorsqu’un événement se trouve dans
la tribu-limite d’une suite de tribus indépendantes, on n’a pas le choix d’admettre que cet
événement se produit soit presque sûrement, ou presque sûrement pas.
On a également le résultats uivant :
Théorème C.2 (Lemme de Borel-Cantelli). Soit (Ei )i∈N une suite d’événements. On
note  
\ [
lim sup En =  Ei  .
n→∞
k≥1 i≥k
Il s’agit de l’événement
P∞ {Une infinité de Ei sont réalisés.}.
Alors, si n=1 P {En } < +∞, on a que

P lim sup En = 0.
n→∞
Corollaire C.2. Lorsque les événements sont

P aussi indépendants, on peut utiliser la
loi zéro-un de Kolmogorov pour conclure que, si ∞
n=1 P {En } diverge, alos

P lim sup En = 1.
n→∞

Stochastiques

Transféré par

Informations du documentcliquez pour développer les informations du document

Droits d'auteur :

Formats disponibles

Stochastiques

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Stochastiques

Transféré par

Droits d'auteur :

Formats disponibles

MAT2717 – Processus stochastiques

« Le lol > les mathématiques. »

partie 1. Théorie générale des processus stochastiques 3

partie 2. Structures de dépendance particulières 167

6.1. Définition et exemples 172

partie 3. Sujets avancés 189

partie 4. Annexes 199

Date de compilation : 4 mai 2023

Théorie générale des processus stochastiques

Les chaînes de Markov

Andreï Andreïevitch Markov, 1856 – 1922

1.1. Quoi ? – L’état du système

Michigan, l’Ohio, la Pennsylvanie, le Maryland, le Dellaware, le New-Jersey, New-York,

Figure 1.1 – Les déplacements de requins suivis par des scientifiques au

Quand ? – Le temps. Dans un processus stochastique (Xt )t≥0 , on réfère souvent à

Figure 1.2 – Le nombre de fois qu’on a obtenu « Pile » en n lancers.

– les processus à temps continu.

1.2. Pourquoi ? – La quête de sens

1.2.1. La distribution de Xt . Ce sera bien sûr la quantité d’intérêt centrale tout au

1.2.2. La distribution-limite de Xt . Il s’agira en fait simplement de considérer la

1.2.3. La proportion moyenne de temps passée dans une région A ⊆ S à long

Cette dernière limite correspond en fait à la limite de Cesaró pour la distribution-limite

1.3. La propriété de Markov

P {X>t ∈ A | Xt = i, X<t ∈ B} = P {X>t ∈ A | Xt = i} ,

En mots (et c’est la partie importante à retenir) :

De même, si on sait que Xi = 1, on sait qu’on obtiendra « Pile » au prochain lancer.

1.4. Les probabiltiés de transition

ii. Pour tous 0 ≤ s ≤ s′ ≤ t, x ∈ S :

iii. Pour tous 0 ≤ s ≤ t et pour tous x, y ∈ S :

Démonstration. La preuve de i est triviale.

Avant de continuer, nous introduisons finalement une autre notation pratique :

ii. Pour tous t ≥ 0, x ∈ S :

iii. Pour tous s, t > 0, et tous x, y ∈ S :

1.4.1. Le temps discret et les probabilités de transition en un pas. Jusqu’ici,

Px,y (t) := Px,y (t, t + 1).

Si la chaîne X est homogène, on note simplement la probabilité de transition de x

1.4.2. Les espaces d’états finis et la représentation matricielle. Nous venons

iii. Pour tous 0 ≤ s ≤ s′ ≤ t, on a que :

Pour les chaînes de Markov homogènes, on obtient le corollaire suivant :

Autrement dit, pour chaque ligne de P (t) , la somme est 1.

Exemple 1.7. En reprenant l’exemple 1.6, calculer les matrices de transition

(c) La matrice de transition en six jours est :

det(P − λI) = (1 − a − λ)(1 − b − λ) − ab

On peut tester qu’on a trouvé la bonne matrice, en vérifiant que

Étape 6 : trouver limn→∞ P n . C’est simple : (1 − a − b) ∈ (−1, 1), donc

Finalement, nous allons illustrer ici un dernier avantage de la représentation matricielle

Exemple 1.9. En reprenant le processus des exemples 1.6 et 1.7, donner

par conséquent, on a que

x(3) = x(0) P (3)

par conséquent, on a que

x(6) = x(0) P (6)

1.5. La représentation en graphes et les classes d’équivalence.

(c) Le graphe associé à cette matrice est représenté à la figure 1.3

Figure 1.3 – Le graphe des transitions possibles pour la machine de

Or, le chemin C part de x et se termine en z ; donc, il existe un chemin de x à

Et la propriété suivante des relations d’équivalence (citée sans preuve) :

Exemple 1.12. On un dé tétraédrique (à quatre faces) à répétition. Soit Xi le maximum

C’est bien une chaîne de Markov – si on connaît le maximum après i lancer, on