Feuille d’Exercices VII

Processus Stochastiques

Exercice 1. Soit N un processus de Poisson d’intensité λ. Avec Ti , le temps du i-ième saut, on définit

Gt = t − TNt et Dt = TNt +1 − t.

1. Tracer une trajectoire de N et indiquer ce que représente TNt , TNt +1 ainsi que Gt et Dt .

TNt TNt +1

Gt Dt

Solution. t

2. Soit t > 0, calculer, pour 0 < x ⩽ t, y ⩾ 0, P (Gt < x, Dt ⩽ y).

Solution. Nous avons l’égalité suivante

P (Gt < x, Dt ⩽ y) = P (Nt − Nt−x > 0, Nt+y − Nt > 0) = P (Nx > 0) P (Ny > 0) = 1 − e−λx 1 − e−λy .

En utilisant la stationnarité et l’indépendance des accroissements d’un processus de Poisson.

3. Calculer P (Gt = t, Dt ⩽ y).

Solution. De manière similaire, nous avons

P (Gt = t, Dt ⩽ y) = P (Nt = 0, Nt+y − Nt > 0) = P (Nt = 0) P (Nt+y − Nt > 0) = e−λt (1 − e−λy ).

4. Calculer P (Dt ⩽ y). Quelle est la loi de Dt ?

Solution. Nous avons

P (Dt ⩽ y) = P (Gt = t, Dt ⩽ y) + P (Gt < t, dt ⩽ y) = 1 − e−λy

et ainsi D est une variable exponentielle de paramètre λ.

5. Calculer la fonction de répartition de Gt .

Solution. On peut calculer selon différents cas, en effet on a tout d’abord pour x ⩽ 0 alors

P (Gt ⩽ x) = 0.

Pour x ⩾ t, nous avons par définition

P (Gt ⩽ x) = 1.
Enfin, pour 0 < x < t, nous avons

P (Gt ⩽ x) = P (Nt − Nt−x > 0) = P (Nx > 0) = 1 − e−λx .

 1

t
t

6. Montrer que Gt a la même loi que min(T1 , t).

Solution. Il suffit de montrer que ces deux variables aléatoires ont la même fonction de répartition. Nous
avons par définition encore que si x < 0 alors P (min(T1 , t) ⩽ x) = 0 et de même P (min(T1 , t) < x) = 1 pour
x ⩾ t. Pour 0 < x < t, nous avons

P (min(T1 , t) ⩽ x) = P (T1 ⩽ t, T1 ⩽ x) + P (T1 > t, t ⩽ x) = P (T1 ⩽ x) + 0 = 1 − e−λx .

Ainsi, elles ont la même loi.

7. Montrer que G et D sont indépendantes.

Proof. On a déjà calculé, pour 0 < x < t

P (Gt ⩽ x, Dt ⩽ y) = (1 − e−λx )(1 − e−λy ) = P (Gt ⩽ x) P (Dt ⩽ y) .

De même, pour x ⩾ t, nous avons

P (Gt ⩽ x, Dt ⩽ y) = P (Dt ⩽ y) = 1 − e−λy = P (Gt ⩽ x) P (Dt ⩽ y) .

Gt et Dt sont indépendants.

8. Calculer E [Gt ] et E [Gt + Dt ]. Que pouvons-nous trouver de remarquable sur ce résulat?

Solution. On peut calculer en utilisant la question 6.,

Z ∞ Z t Z ∞
E [Gt ] = E [min(T1 , t)] = min(x, t)λe−λx dx = λxe−λx dx + tλe−λx dx
0 0 t
1
= −te−λt + (1 − e−λt ) + te−λt
λ
1
1 − e−λt .


=
λ
Ce qui nous donne
1
1 1
E [Gt + Dt ] = E [Gt ] + E [Dt ] = 1 − e−λt + > .
λ λ λ
On remarque que par définition Gt + Dt est un temps d’inter-arrivées qui est une variable exponentielle de
paramètre λ et donc d’espérance λ1 . Ici, le fait de prendre un temps d’inter-arrivée dépendant du processus
lui même TNt +1 − TNt change la distribution.
Exercice 2. On considère la météo de Montréal en hiver sur 3 états: Ensoleillé, Nuageux, et Neige. On suppose
que le temps reste ensoleillé pendant un nombre moyen de 3 jours puis il devient nuageux. Il reste nuageux en
moyenne 4 jours puis il neige. Il neige alors pendant un jour en moyenne puis il fait beau à nouveau. On suppose
que ces temps sont exponentiels et indépendants.
1. Donner la Q-matrice de la chaîne de Markov.

Solution. Par la description de la chaîne. on obtient la Q-matrice

 1 1
−3

3 0
Q =  0 − 14 1 

4 
1 0 −1

2. Trouver la distribution stationnaire pour la chaîne.

P
Solution. On cherche une solution à πQ = 0 et i∈S πi = 1. Le système nous donne alors
 1
 − 3 π0 + π2 = 0, 
 π0 = 3π2


 1 π0 − 1 π1 = 0,
 
3 4
1
⇔ π1 = 4π2 ,
 4 π1 − π2 = 0,
 
π2 = 18
 

π0 + π1 + π2 = 1


On obtient donc la distribution stationnaire

 
3 1 1
π= , , .
8 2 8

3. Que peut-on remarquer sur les valeurs de la distribution par rapport à la description de la chaîne ?

Solution. On peut réécrire  

3 4 1
π= , ,
8 8 8
et le 3, 4 et 1 correspond au nombre moyen de jours passés dans chaque état avant d’en changer.

Exercice 3. On considère un procesus linéaire avec immigration. Cela correspond au processus sur N tel que sur
iµ
l’état i, on attend un temps exponentiel de moyenne iν + iµ + λ puis on saute sur i − 1 avec probabilité iν+iµ+λ
iν+λ
et sur i + 1 avec probabilité iµ+iν+λ . On peut penser à ce processus comme des particules qui se dédoublent en
taux ν, qui meurent en taux µ ou qui arrivent de l’extérieur en taux λ. On admet que ce processus existe pour
tout temps.
1. Donner la Q-matrice du processus.
 Solution. Par la description du processus nous avons pour la première ligne

Q00 = −λ, Q01 = λ

et pour les autres lignes

Qi,i−1 = iµ, Qi,i = −(iµ + iν + λ), Qi,i+1 = iν + λ

2. Donner l’équation progressive de Kolmogorov.

Solution. On rappelle que l’équation progressive de Kolmogorov est donnée par

X
p′t = pt Q i.e. p′t (i, j) = pt (i, k)Qk,j .
k∈S

Ainsi, pour la première colonne, on obtient

p′t (i, 0) = pt (i, 0)Q0,0 + pt (i, 1)Q1,0 = −λpt (i, 0) + µpt (i, 1).

Pour les autres on calcule

p′t (i, j) = pt (i, j − 1)Qj−1,j + pt (i, j)Qjj + pt (i, j + 1)Qj+1,j

= ((j − 1)ν + λ)pt (i, j − 1) − (jµ + jν + λ)pt (i, j) + (j + 1)µpt (i, j + 1).

3. On dénote le nombre moyen d’individus au temps t sachant qu’on commence avec i particules
X
Mt = jP (Xt = j|X0 = i) .
j⩾0

En utilisant l’équation progressive de Kolmogorov, montrer que

d
Mt = (−µ + ν)Mt + λ.
dt
P
Solution. On a Mt = j ⩾ 0jpt (i, j) et ainsi
d X
Mt = jp′t (i, j)
dt
j⩾0
X
= j (((j − 1)ν + λ)pt (i, j − 1) − (jµ + jν + λ)pt (i, j) + (j + 1)µpt (i, j + 1)) .
j⩾1

On écrit alors
X X X
j(j − 1)νpt (i, j − 1) = (j − 1)(j − 1)νpt (i, j − 1) + (j − 1)νpt (i, j − 1)
j⩾1 j⩾1 j⩾1
X X
= j 2 νpt (i, j) + jνpt (i, j)
j⩾0 j⩾0
X
= j 2 νpt (i, j) + νMt .
j⩾1
 Pour le dernier terme, on écrit de la même façon
X X
j(j + 1)µpt (ik, j + 1) = j(j + 1)µpt (ik, j + 1)
j⩾1 j⩾0
X X
= (j + 1)(j + 1)µpt (i, j + 1) − (j + 1)µpt (i, j + 1)
j⩾0 j⩾0
X X
= j 2 µpt (i, j) − µ jpt (i, j)
j⩾1 j⩾0
X
= j 2 µpt (i, j) − µMt .
j⩾1

Ainsi, il ne nous reste plus que le terme

 
X X X X X
jλpt (i, j − 1) − λjpt (i, j) = λ  (j + 1)pt (i, j) − jpt (i, j) = λ pt (i, j) = λ.
j⩾1 j⩾1 j⩾0 j⩾1 j⩾0

En utilisant la loi des probabilités totales dans la dernière inégalité.

4. Résoudre cette équation et en déduire que


+∞ si ν ⩾ µ,
lim Mt = λ
t→∞ µ−ν sinon.

Solution. On résoud cette équation différentielle si mu ̸= ν, tout d’abord on a la solution homogène qui est

Mt = αe(−µ+ν)t .
λ
On obtient facilement une solution particulière constate avec Mt = µ−ν et ainsi la solution générale des
solutions est
λ
Mt = αe(ν−µ)t + .
µ−ν
On voit donc que si t → ∞ alors on a bien le résultat.
Le cas µ = ν est particulier mais dans ce cas l’équation devient
d
Mt = λ ⇒ Mt = λt + α −−−→ +∞.
dt t→∞

Exercice 4. On considère maintenant le même processus que ci-dessus mais sans immigration i.e. λ = 0.
1. Y a-t-il un état absorbant ? Si oui, lequel ?

Solution. Oui, on voit que zéro est absorbant maintenant. Du point de vue des particules, on n’a plus
d’immigration, donc si toutes les particules meurent on reste dans ce cas.

2. Que remarque-t-on sur les probabilités de transition d’un état à un autre ?

 Solution. On remarque que si on est à un état i ⩾ 0 alors on a i particules qui ont chacune une chance de
mourir ou de créér une nouvelle, ainsi avec N1 , . . . Ni et M1 , . . . , Mi ces temps on a que

min (N1 , . . . , Ni , M1 , . . . , Mi ) ∼ Exp (iµ + iν) .

Et ainsi on a que
  iν ν
P Une particule naisse État i = = .
iµ + iν µ+ν
et de même   iµ µ
P Une particule meure État i = = .
iµ + iν µ+ν
On remarque que ces probabilités ne dépendent plus de l’état i !

3. En faisant une comparaison avec la ruine du joueur vu en cours plus tôt, donner la probabilité d’extinction
sachant que l’on commence avec k particules.

Solution. On remarque que l’on est exactement dans le cadre de la ruine du joueur (sans maximum N → ∞).
En effet, en considérant que le trajet de la chaîne de Markov alors on est exactement dans ce régime avec
ν µ
p = µ+ν la probabilité de gagner et q = 1 − p = µ+ν la probabilité de perdre. On se demande alors

 1 si q ⩾ p,
P (∃n ∈ N, Xn = 0|X0 = k) =  k
 q si q < p
p

que l’on a calculé dans le cours précédemment.

4. En utilisant le conditionnement au premier saut, montrer que , avec τk = E [mint⩾0 {Xt = 0}|X0 = k] ,
k
X 1  µ k−j  µ k
τk − τk+1 = − τ1 .
j=1
jν ν ν

Indication: On essaiera d’écrire τk − τk+1 et terme de τk−1 − τk

Solution. On conditionne au premier saut en commençant en k ce qui nous donne

1 ν µ
τk = + τk+1 + τk−1 , τ0 = 0.
k(µ + ν) µ + ν µ+ν
On peut réécrire cela en
1 1 µ
(µ + ν)τk = + ντk+1 + µτk−1 ⇔ τk − τk+1 = + (τk−1 − τk ) .
k kν ν
Ainsi, en itérant cette formule, on obtient
k
X 1  µ k−j  µ k
τk − τk+1 = − τ1 .
j=1
jν ν ν

En utilisant le fait que τ0 = 0 et ainsi τ0 − τ1 = −τ1 .

5. En justifiant que τi ⩽ τi+1 ⩽ τi + τ1 montrer que, en admettant que τ1 < ∞,

(
+∞   si µ = ν,
τ1 = 1 µ
ν log µ−ν si ν < µ.
 Solution. On a tout d’abord que τi ⩽ τi+1 . On peut aussi remarquer que τi+1 est le temps moyen d’extinction
de i+1 particules qui est donc le maximum entre le temps d’extinction de i particules et le temps d’extinction
d’une seule particule ce qui nous donne bien τi+1 ⩽ τi + τ1 .
µ
Si µ = ν alors on peut écrire comme ν = 1,

k k
X 1 X 1
τ1 = + τk+1 − τk ⩾ −−−−→ ∞.
j=1
jν j=1
jν k→∞

Si ν < µ, on a, en utilisant que τi+1 − τi ⩽ τ1 ,

k  k X k  k   k  k  k
X 1 ν 1 ν µ k X 1 ν ν
⩽ + (τk+1 − τk ) ⩽ + τ1 .
j=1
jν µ j=1
jν µ ν j=1
jν µ µ

Or, le terme du milieu est égal à τ1 par nos claculs précédents, donc en faisant tendre k → ∞, nous obtenons
par le théorème des gendarmes que
∞  k    
X 1 ν 1 ν 1 µ
τ1 = = − log 1 − = log
j=1
jν µ ν µ ν µ−ν

Exercice 5. On consdière une file d’attente M/M/∞. Cela correspond a un système avec des clients qui arrivent
en temps exponentiel (M pour Markovien) d’intensité ν devant une infinité (∞) de caissiers et qui sont traités selon
un temps exponentiel (M) d’intensité µ.

1. Donner la Q-matrice du nombre de clients qui sont en train d’être traités.

Solution. On voit que si on a 0 clients, alors on attends un temps exponentiel ν et on a ensuite un client. Si
on a i clients, on voit qu’on attends un temps iµ + ν (le minimum entre les i clients qui sont traités et un
iµ nu
nouveau client qui pourrait arriver). On peut ensuite passer à i − 1 avec probabilité µ+ν ou à i + 1 avec µ+ν
ainsi on a
Q00 = −ν, Q01 = ν, Qj,j−1 = jµ, Qjj = −(jµ + ν), Qj,j+1 = ν.

2. Montrer par récurrence que la distribution stationnaire du processus est donnée par une distribution de
Poisson de paramètre µν .

Solution. On va chercher une distribution stationnaire, πQ = 0. La première entrée nous donne

ν
−νπ0 + µπ1 = 0 ⇔ π1 = π0 .
µ
Ensuite. en écrivant πk = αk π0 , on a

πj−1 ν − πj (jµ + ν) + (j + 1)µπj+1 = 0

Ou encore
1
πj+1 = ((jµ + ν)πj − νπj−1 ) .
(j + 1)µ
  j
Vérifions que alors que si πj = π0 j!1 µν alors cela fonctionne. On sait déjà que cela fonction pour π0 et π1
ensuite on vérifie
 j+1  j  j−1 !
1 ν 1 1 ν 1 ν
πj+1 = = (jµ + ν) −ν
(j + 1)! µ (j + 1)µ j! µ (j − 1)! µ
1 ν j+1
 
1
=
(j + 1)µ j! µj
 j+1
1 ν
= = πj+1 .
(j + 1)! µ

Il ne nous reste plus quà trouver π0 en normalisant la distribution et on obtient bien

 j
ν
−µ 1 ν
πj = e .
j! µ

3. Montrer alors que le nombre moyen de clients dans le système à l’état stationnaire est égal au temps moyen
passé dans le système par un client fois le taux d’arrivée des clients. C’est la loi de Little.

Solution. Le nombre moyen de clients dans le système à l’état stationnaire est l’espérance d’une variable de
Poisson qui est donc µν qui correspond bien au temps moyen passé dans le système i.e. µ1 fois le taux d’arrivée
des clients i.e. ν.

Agner Krarup Erlang John Dutton Conant Little

(1878–1929) (1928–2024)