USTHB, Faculté de Mathématiques 2025=2026

Master 1, MSPRO Processus aléatoires

Série d’exercices No 1
Chaînes de Markov à Temps Discret (CMTD)

Exercice 1.
Soit f n gn 1 une suite i:i:d de v:a: à valeurs dans un espace arbitraire G. Soit S un espace dénombrable,
et f : S G ! S. Soit X0 une v:a: à valeurs dans S, indépendante de f n gn 1 . Montrer que la suite des
v:a: X = (Xn )n2N exprimée par la relation de récurrence :

Xn+1 = f (Xn ; n+1 );

dé…nit une CMH.

Exercice 2.
Deux joueurs A et B; disposent d’une fortune initiale de a et b DA respectivement, où a et b sont des
nombres pairs positifs. Ils jouent au jeu de hasard suivant : la mise est de 2 DA par partie ; les parties
sont indépendantes et à chacune d’entre elle le joueur A a une probabilité p de gagner, avec 0 < p < 1. Le
jeu se termine dès que l’un des joueurs est ruiné.

1. Modéliser la fortune du premier joueur par un processus stochastique.

2. Montrer qu’il s’agit d’une CMTD en déterminant sa matrice de transition et le graphe associé.

3. Classer les états de la Chaîne de Markov.

4. Calculer les probabilités suivantes :

(a) Que le joueur A gagne après trois parties, sachant que a = 4 DA et b = 6 DA.
(b) Que le joueur A perde après sept parties, sachant que a = b = 6 DA.
(c) Que le jeu se termine après cinq parties, sachant que a = 10 DA et b = 8 DA.
(d) Que le jeu se termine après quatre parties, sachant que a = 10 DA et b = 8 DA.

5. Trouver la probabilité pour que le joueur N 1 gagne la partie.

Exercice 3.
Dans deux urnes, chacune contenant N boules, il y a N boules noires et N boules blanches.À chaque
étape, on sélectionne aléatoirement une boule de chaque urne, puis on les échange.
Soit Xn le nombre de boules blanches dans l’urne numéro 1 à la neme sélection.

1. Montrer que (Xn )n2N est une chaîne de Markov.

2. Trouver la matrice de transition pour cette chaîne de Markov.

3. Si, initialement, la première urne contient 2 boules blanches et 5 boules noires, quelle est la probabilité
qu’après 5 sélections, il y ait 5 boules blanches et 2 boules noires dans la première urne ?

4. Si N = 3; calculer la probabilité que le nombre de boules blanches reste le même après n sélections.

1
Exercice 4.
Soit (Xn )n2N une CMTD à espace d’états discret S.

1. Les propriétés suivantes sont des propriétés de classe :

a. récurrence, b. récurrence positive, c. récurrence nulle, d. transience, e. périodicité.

2. Montrer que si
(n)
8i; j 2 S lim pij = j (limite indépendante de i),
P P
alors j = 1 et i pij = j: Conclure.
j2S i2S

Exercice 5.
Considérons le processus (Xn )n 0 représente une marche aléatoire sur Z dont les probabilités de transition
sont données par: 8
< p si j = i + 1
pij = q = 1 p si j=i 1
:
0 sinon.
Examiner la transitivité ou la récurrence des états de ce processus.
1 p
Indication : Vous pouvez utiliser la formule de Sterling donnée par : n! n(n+ 2 ) e n
2 :
Exercice 6.
On considère une chaîne de Markov à trois états f1; 2; 3g de matrice de transition
0 1
p1 p2 0
P = @ 0 q2 q3 A ;
r1 0 r 3

1. Discuter les conditions pour lesquelles : la chaîne est absorbante, irréductibile, périodique ou apéri-
odique, récurrente, ergodique.

2. Quand la chaîne admet-elle une distribution limite ? Dans ce cas, expliquer la démarche pour calculer
cette distribution. Donner des valeurs numériques de votre choix pour la matrice P qui véri…ent ces
conditions, puis calculer explicitement la distribution limite correspondante.

Exercice 7.
Soit (Xn )n2N une chaîne de Markov à espace d’états S. Montrer que

1. si la loi initiale est stationnaire, donc n = 0:

2. si la loi initiale est stationnaire, donc la chaîne est stationnaire.

3. toute mesure réversible est stationnaire.

4. si la loi initiale est réversible, alors

P (Xn = jjXn+1 = i) = P (Xn+1 = jjXn = i) ; 8i; j 2 S:

2
Exercice 8.
On considère une CMH (Xn )n 0 dé…nie sur l’espace d’états S = f0; 1g, de matrice de transition

1
P= ; où 0 < ; < 1:
1

1. Montrer que le vecteur

= ;
+ +
est une distribution stationnaire de cette chaîne.
(n)
2. Déterminer, pour tout entier n 1, les probabilités de premier retour à l’état 0, notées f00 .

3. Calculer le temps moyen de retour à l’état 0, noté m0 , puis véri…er que

1
0 = :
m0

Exercice 9.
On dé…nie une mesure positive x (pour tout x 2 S) sur S avec x (y) est l’espérance du nombre de visites
en y partant de x jusqu’au premier retour en x :
XTx
x (y) = E 1fXn =yg X0 = x ; 8y 2 S:
n=1

1. Dans une chaîne de Markov irréductible et récurrente, la mesure x est stationnaire et strictement
positive. Donc elle véri…e X
x (z) p (z; y) = x (y) ; 8y 2 S:
z2E

2. On accepte le résultat que dans une chaîne de Markov irréductible et récurrente, la mesure station-
naire est unique à une constante multiplicative près. Montrer que

(a) pour tout x 2 S, E (Tx ) < 1 et il existe une unique probabilité stationnaire donnée par,
1
(x) = ; 8x 2 S:
E (Tx )

(b) Soit, pour tout x 2 S, E (Tx ) = 1 et toute mesure stationnaire a une masse totale in…nie.
P
Indication : calculer x (E) = y2S x (y)

Exercice 10.
Soit (Xn )n une chaîne de Markov à espace d’états N et de matrice de probabilités de transition P donnée
par 0 1
p0 1 p0 0 0
B p1 0 1 p1 0 C
B C
B ... ... ... C
B p2 0 0 1 p2 C
B . .. .. C
P=B . .. .. .. .. C :
B . . . . . . . C
B ... C
B p 0 0 0 0 1 pr C
@ r A
.. .. .. .. .. ..
. . . . . 0 .

3
 Q
m P
1
1. Montrer que si 0 < pi < 1; i 2 N : lim (1 pi ) = 0 si et seulement si pi = 1:
m!1 =0 i=1

P
1
(n) P
1 Q
m
2. Montrer que f00 = 1 si et seulement si pi = 1: Indication : (1 pi ) > (1 pj pj+1 :::pm ) :
j=1 j=1 i=j

3. La chaîne est-elle irreductible ?!

Exercice 11.
Soit (Xn )n 0 une marche aléatoire simple sur Z; avec X0 = 0. Parmi les processus suivants, lequels sont
des CMH ? Donner les matrices de transition associées.

1. (An )n 0 = (Xn + n)n 0 ; 4. (Dn )n 0 = (jXn j)n 0 ;

2
2. (Bn )n 0 = (Xn + n )n 0 ; 5. (En )n 0 = (Xn2 n)n 0 ;
n
3. (Cn )n 0 = (Xn + ( 1) )n 0 ; 6. (Fn )n 0 = (X2n )n 0 :

Exercice 12.
Un stock peut contenir au maximum s pièces. La v.a. Xn est le nombre de pièces au début de la neme
semaine ; la v.a. Yn est le nombre de pièces sorties du stock au cours de la neme semaine. On supposera
1
que X1 = s et que pour tout j = 0; 1; :::; i P (Yn = jjXn = i) = 1+i , quel que soit n 2 N . Au début de
chaque semaine, on complète le stock, mais le délai de livraison est une semaine.

1. Montrer que (Xn )n est une chaîne de Markov, et qu’elle admet une distribution stationnaire dé…nie
2(i+1)
par i = (s+1)(s+2) .
Ps s(s+1)(2s+1) Ps
2. Quel est le nombre moyen de pièces disponibles ? (Rappelons que i=0 i2 = 6
et i=0 i=
s(s+1)
2
).