Examen Processus de Markov et Modles Markoviens discrets, 1ère session de l’année 2019–2020,

20.11.2019, 8h–10h heure de Paris, sans aucun document ni calculatrice, avec une fiche manuscrite de
format A4 rempli au recto uniquement.

I. Une file d’attente évolue comme suit: aux instants de temps qui arrivent selon un processus de Poisson de paramètre
α > 0, k + 1 individus essaient de se joindre à la file. Un des individus est accepté toujours, chacun des k autres individus
est accepté dans la file avec probabilité p > 0 ou est refusé avec probabilité 1 − p, indépendamment des autres individus. Les
individus refusés quittent la file instantanément.
Un serveur sert chaque individu pendant un temps aléatoire de loi exponentielle de paramètre β > 0, indépendemment
des autres clients. Les clients servis quittent le système.
Soit Z(t) le nombre de clients présents dans le système (en file et en service, si présent) au temps t ≥ 0.
1) (Z(t))t≥0 est un processus de Markov sur [0, 1, 2, . . . [. Donner ses intensités de transition qi,j pour tout i, j ≥ 0. Est-il
irréductible ? Argumentez-le.
2) Est-ce que ce processus explose, pourquoi ?
3) On considère P l’ensemble de toutes les mesures ~π = (π0 , π1 , . . . , πi , . . .) sur I qui vérifient l’equation ~π Q = 0. Quelle
condition nécessaire et suffisante faut-il imposer sur cet ensemble pour que le processus soit récurrent positif et pourquoi ?
Que représente l’ensemble de mesures P géomètriquement dans ce cas et pourquoi ?
Que représente l’ensemble de mesures P dans ce cas du point de vue probabiliste pour (X(t))t≥0 et pourquoi ?
P∞
4) Soit Ψ(s) = i=0 πi si la fonction-génératrice d’une mesure de P.
Dans l’équation Ψ(s)(∗∗) + π0 (∗ ∗ ∗) = 0 remplacer (∗∗) et (∗ ∗ ∗) par des fonctions correctes.
Ensuite exprimer Ψ(s) = π0 /g(s) où vous expliciterez g(s).
Vérifiez que lims→1− g(s) = 1 − α(1 + kp)/β.
Si vous n’avez pas réussi à expliciter g(s), ce n’est pas grave. Dans la suite de questions vous pouvez vous servir de cette
fonction comme si elle était explicite.
5) Sous condition α(1 + kp) > β le processus, est-il récurrent positif ? Sous condition α(1 + kp) = β, le processus est -il
récurrent positif ? Argumentez vos réponses.
6) Soit Z(0) = 0, soit J l’instant de la première arrivée, T = inf{t > J : Z(t) = 0} le premier instant lorsque le système
est vide de clients. Que vaut ET sous condition α(1 + kp) ≥ β ?
7) Dans les questions 7)–10) on suppose α(1 + kp) < β, Z(0) = 0.
Quelle propriété de la fonction g(s)−1 faut-il vérifier pour affirmer que le processus est récurrent positif et pourquoi ?
Supposons que cette propriété est bien vérifiée (il ne faut pas dépenser le temps pour la vérifier).
Donner la fonction-génératrice Γ(s) de la mesure de probabilité invariante pour (Z(t))t≥0 .
8) Donner ET en termes de paramètres α, β, k, p et argumentez votre réponse.
9) Que vaut limt→∞ P (Z(t) ≥ 3) en termes de dérivées de la fonction Γ(s) ? Argumentez votre réponse. (On ne demande
pas de calculer les dérivées).
RT
10) Donner E 0 1{Z(t)≥3} dt en termes de dérivées de la fonction Γ(s).
11) Ecrire les équations différentielles permettant d’expliciter P (Z(t) = i | Z(0) = k) pour k, i ≥ 0 avec conditions
initiales nécessaires.
12A) On suppose maintenant P (Z(0) = i) = νi où ~ν est la mesure de probabilité invariante. Donner la valeur EZ(t)
pour t = 2 en termes de dérivées de la fonction Γ(s) et argumentez votre réponse.
12B) On modifie le modèle. On suppose désormais qu’à chaque instant du processus de Poisson de paramètre α le nombre
d’individus qui se joint à la file (et qui est accepté instantanément) est 2{ le nombre d’individus présent dans la file à cet instant}
(ceci est 2 à la puissance du nombre d’individus présents dans la file à cet instant). Le serveur marche de la même manière.
Etudier les possibilités de l’explosion de ce processus.

12 C) On fixe un instant t > 0 et on note T (t) le dernier instant du processus de Poisson de paramètre α avant l’instant
t > 0. On pose T (t) = 0 si aucun instant du processus de Poisson n’a eu lieu avant le temps t. On note S(t) le premier instant
du processus de Poisson de paramètre α après l’instant t. On souhaite connaitre la loi de l’intervalle du temps S(t) − T (t)
et pour cette raison on va calculer dans 12C)–12E) pour h < 0 la transformée de Laplace E exp(h(S(t) − T (t)).
Donner P (T (t) = 0). Calculer P (T (t) < u) pour u ∈]0, t]. (On pourrait penser à calculer d’abord les probabilités
conditionnelles P (T (t) < u | Nt = n) où Nt le nombre d’instants du processus de Poisson avant t). Déduire la loi de T (t).
Pour tout h < 0 calculer la transformée de Laplace E exp(h(t − T (t))).
12 D) Calculer l’espérance conditionnelle E[exp(h(S(t)−t)) | F≤t ] (ici F≤t la tribu du processus de Poisson avant l’instant
de temps t).
12 E) Pour tout h < 0 calculer la transformée de Laplace E exp(h(S(t) − T (t))). On pourrait penser à se servir de
questions précédentes 12 C ) et 12 D).
Que peut-on dire de la loi limite de S(t) − T (t) quand t → ∞ ?
 Partie II A Pour l’examen de 6 ECTS uniquement
Les avions arrivent à l’aéroport ABC selon un processus de Poisson de paramètre 1 par heure. Chaque avion s’avère
provenant de Moscou avec probablité 1/10 et provenant d’une autre ville avec probabilité 9/10. On arrive à l’aéroport à 5h
du matin.
A1) Donner la probabilité d’attendre un avion de Moscou au moins 10 heures.
A2) Donner la probabilité que pendant 10 heures deux avions de Moscou et trois avions provenant d’autres villes y
effectuent leur attérissage.
A3) On annonce que pendant 10 heures (de 5h à 15h) 5 avions de Moscou vont effectuer leur attérissage. Donner la
probabilité conditionnelle que entre 6h et 7h du matin aucun avion de Moscou n’arrive à ABC.
A4) On annonce que pendant 10 heures (de 5h à 15h) 5 avions de Moscou vont effectuer leur attérissage. Donner
l’espérance conditionnelle du nombre d’avions provenant d’autres villes qui vont arriver pendant cette période du temps.
 Parcours Processus Stochastiques. Partie (II)
On considère une famille de Markov (X(t)≥0 , (Px )x∈R ) à valeurs dans R dont la fonction de transition a une densité
t
p(t, x, y) =
(2π)(t2 + (x − y)2 )
par rapport à la mesure de Lebesgue. Cette famille a des trajectoires continues.
13) Est-ce que cette famille vérifie la propriété de Markov forte par rapport à la filtration (F≤t+ )t≥0 ? par rapport
(F≤t )t≥0 ? Argumentez votre réponse.
14) Ecrire la définition de la mesure invariante. Est-ce que cette famille a une mesure invariante finie ? Argumentez votre
réponse.
15) Donner une mesure invariante infinie pour cette famille et prouver qu’elle soit invariante. On n’a pas besoin de
générateur pour cela.
Partie (III). Définition. Soit (G, DG ) un opérateur linéaire sur son espace DG ⊂ B, où B l’ensemble de fonctions
bornées sur un espace X à valeurs dans R comme dans le cours. On dit que (G, DG ) est fermé, si son graph est fermé,
c’est-à-dire pour toute suite fn ∈ DG et fn → f , Afn → g quand n → ∞ , on a f ∈ DG et Af = g.
Soit (X(t)t≥0 , Px ) une famille de processus de Markov sur un espace X comme dans le cours. On note B0 = {f ∈ B :
kP t f − f k → 0, t ↓ 0}, (Rλ )λ>0 sa résolvante, (A, DA ) son générateur.
16) Est-ce que (Rλ , B0 ) est fermé ? Argumentez votre réponse.
17) Est-ce que (A, DA ) est fermé ? Argumentez votre réponse.
18) Partie (IV). On considère un domaine non vide D dans R3
D = {(x1 , x2 , x3 ) : v(x) ≥ 0}
où X X
v(x) = pi,j xi xj + qi xi + r
i,j=1,2,3 i=1,2,3

avec des constantes pi,j , qi , r. Soit τ = inf{t ≥ 0 : Bt 6∈ D}. Ici (Bt , (Px )x∈R3 ) est la famille de mouvements Browniens dans
R3 .
Soit DN = D ∩ {x : |x| ≤ N }, τN = inf{t ≥ 0 : Bt 6∈ DN }, vN (x) = v(x) pour tout x ∈ DN et vN (x) ∈ C 2 (R3 ) et vN est
à support compact. R τ ∧t
Pour tout x ∈ DN donner la valeur de Ex (v(BτN ∧t ) − (1/2) 0 N 4v(Bs )ds).
19) Soit p11 + p22 + p33 < 0. Déduire de (13) si Ex τ = ∞ ou Ex τ < ∞, argumentez votre réponse.
20) Soit p11 + p22 + p33 < 0 et D est de plus borné (un ellipsoide). Donner la valeur de Ex τ . (Ceci est très facile si on
pense à calculer 4v. )
21) Partie (V) Soit
dξt = a(ξt )dBt + b(ξt )dt
un processus de diffusion à valeurs dans R comme dans le cours avec des coefficients Lipshitziens.
Ecrire son générateur A sur toutes les fonctions f : R → R de la classe C2 à support compact.
22) On suppose désormais que son générateur est défini de la même manière sur toutes les fonctions de la classe C2
qui, avec leurs premières et secondes dérivées ne décroissent pas plus vite qu’une certainne fonction φ(x) : R → R quand
kxk → ∞.
2
On suppose que la transition P (t, x, Γ) est de densité p(t, x, y) par rapport à la mesure de Lebesgue, et que |p|, | ∂p ∂p ∂ p
∂t |, | ∂x |, | ∂x2 | ≤
d
C(t, y)φ(x) où C(t, y) est continue et positive sur ]0, ∞[×R .
23) Ecrire le sémigroupe P t f (x) en termes d’une intégrale de la densité p(t, x, y) et de f .
24) Pour toute f dans la classe C2 à support compact écrire les equations de Kolmogorov premières.
25) En vous servant des résultats de questions (22), (23) et (24), prouver une EDP que vérifie la densité :
∂p(t, x, y)
= Ax p(t, x, y)
∂t
où Ax est le générateur A appliquée à la fonction p(t, x, y) comme fonction de x.
26) Ecrire les equations de Kolmogorov secondes. En déduire une autre EDP pour la densité :
∂p(t, x, y)
= A∗y p(t, x, y),
∂t
où A∗y est l’opérateur adjoint de A appliquée à la fonction p(t, x, y) comme fonction de y. (Il agit comme suit : A∗ f (y) =
(1/2)(a2 (y)f (y))00 − (b(y)f (y))0 .)
A titre d’information : Dans les questions 25) et 26) on obtient les equations de Kolmogorov premières et secondes pour
les densités. L’equation de la question 26) est dite aussi de Fokker-Planck. Les deux equations restent valables dans les
dimensions supérieures.
 Correction
k

m−1
1) On a les intensités: qi,i+m = α m−1 p (1−p)k−(m−1) pour i = 0, 1, . . . , m = 1, . . . , k+1, qi,i−1 = β pour i = 1, 2, . . .,
q0,0 = −α, qi,i = −α − β pour i = 1, 2, . . ., qi,j = 0 pour tous les autres pairs i, j. Le processus est irréductible. En effet, si
i < j, qi,i+1 qi+1,i+2 . . . qj−1,j > 0 et si i > j qj,j−1 · · · qi+1,i > 0.
2) L’explosion est impossible vu que supi (−qi,i ) = α + β < ∞.
3) Comme supi (−qi,i ) < ∞ (le processus n’explose pas), cette condition est ce que P contienne un vecteur fini par un
Thm du cours.
Comme sous cette condition le processus est en particulier récurrent, donc P est un espace vectoriel de dimension 1, et
son vecteur dirigeant est l’unique mesure invariante du processus à une constante près (thm du cours).
4)
On a donc
k+1  
X k
βπi+1 + πi−l 1{i−l≥0} αpl−1 (1 − p)k−(l−1) − πi (β1{i>0} + α) = 0, i = 0, 1, 2, . . . .
l−1
l=1

β
(Ψ(s) − π0 ) + αΨ(s)s(sp + (1 − p))k − αΨ(s) − βΨ(s) + βπ0 = 0
s
βπ0 (1 − s) π0
Ψ(s) = =
sα(s(sp + 1 − p)k − 1) + β(1 − s) sα s(sp+1−p)k −1
1− β s−1
k

s(sp+1−p) −1
On a lims→1 = (s(sp + 1 − p)k )0  = 1 + kp. Alors g(s) → 1 − α(1 + kp)/β quand s → 1−.

s−1
s=1
5) Si le processus est réc. poistif, alors (par la question 3) ) P est de dimension 1 et dirigé par une mesure finie ~π , dpnc
Ψ(1) < ∞. Comme en P∞ particulier le processus est irréductible récurrent, on aura πi > 0 pour tout i ≥ 0 (résultat du cours!),
et donc 0 < Ψ(1) = i=1 πi < ∞, π0 > 0.
π0
Si α(1 + kp) > β, Ψ(1) = 1−α(1+kp)/β ≤ 0.
Si α(1 + kp) = β, on est obligé de poser π0 = 0 pour avoir Ψ(1) < ∞.
Dans les deux cas le processus ne peut pas être récurrent positif.
6) Donc le processus est récurrent nul ou transient et par conséquent ET = ∞.
7) Il suffit de vérifier que g(s)−1 se developpe en série entière avec des coefficients non-négatifs. Sous cette condition on
doit poser π0 = 1 − α(1 + kp)/β pour avoir Ψ(1) = 1. On aura donc une mesure finie (en fait de probabilité) qui vérifie
~π Q = 0. Ce sera l’unique mesure invariante de probabilité de processus, et on aura alors πi > 0 pour tout i ≥ 0.
Sa fonction-génératrice est determinée par la formule :

βπ0 (1 − s) π0
Γ(s) = =
sα(s(sp + 1 − p)k − 1) + β(1 − s) sα s(sp+1−p)k −1
1− β s−1

8) Avec π0 = 1 − α(1 + kp)/β, Γ(s) est une fonction-génératrice d’une mesure de probabilité. Donc il existe une mesure
finie qui vérifie l’équation ~π Q = 0. Le processus est non-explosif. Donc par un thm du cours il est récurrent positif et on a
−1 −1
ET = q0,0 π0 = (1 − α(1 + np)/β)−1 α−1 .
RT
10) Par le cours E 0 1{Z(t)≥3} dt = i≥3 πi /(π0 q0,0 ) = (1 − π0 − π1 − π2 )/(π0 q0,0 ) où πi = Γ(i) (s) |s=0 /i!.
P
9) 1 − π0 − π1 − π2 avec πi si -dessus. Le processus étant irreductible, récurrent positif, on applique le Thm du cours.
11) Il faut résoudre les équations de Kolmogorov P 0 (t) = P (t)Q (P (0) = Id) (et chercher leur solution minimale s’il y en
a plusieurs.)
k+1  
X k
βpk,i+1 (t) + pk,i−l (t)1{i−l≥0} αpl−1 (1 − p)k−(l−1) − pk,i (t)(β1{i>0} + α) = p0k,i (t), i = 0, 1, 2, . . . , k = 0, 1, . . .
l−1
l=1

12A) Comme ~π la mesure initiale est P la mesure de probabilité invariante, alors P (Z(t) = i) = πi pour tout t ≥ 0 et en
particulier pour t = 2. Alors EZ(t) = i≥0 iπi = Γ0 (s) | s = 1.
12B) Le quantité supi (−qi,i ) = β + α < ∞ reste la même, le processus n’explose pas au sens de processus de Markov de
saut pur, même si la population croit vers l’infini p.s. P∞
12C) P (T (t) = 0) = exp(−t × α). P (T (t) ≤ u | N10 = n) = (u/t)n . P (T (t) ≤ u) = n=0 (u/t)n (αt)n /n! exp(−αt) =
exp((u − t)α). Donc T (t) est de fonction de repartition qui est F (u) = 0 si u < 0, F (u) = exp(−tα) si u = 0, F (u) =
exp((u − t)α) pour u ∈]0, t] et F (t) = 1 si u ≥ t. Donc la loi T (t) est de densité α exp((u − t)α) sur ]0, t] et a un atome
exp(−tα) pour u = 0.
Rt ht−αt
Eeh(t−T (t)) = α 0 eh(t−u) eα(u−t) du + eh(t−0) e−tα = α(1−e
α−h
)
+ eht−αt .
R ∞ 12D) Par la propriété de Markov c’est juste la transformée de Laplace de la loi exponentielle de paramètre α donc
hs−αs
0
αe ds = α/(α − h).
12E)
E[E(exp(h(S(t) − t + t − T (t)) | F≤t )] = E[exp(h(t − T (t)))E(exp(h(S(t) − t) | F≤t )]
h α i α h α(1 − exp(ht − αt)) i
= E exp(h(t − T (t))) = × + exp(ht − αt)
α−h α−h α−h
On a d’abord utilisé le fait que t − T (t) est F≤t mesurable, ensuite 12 D).
Lorsque t → ∞, la loi limite est la somme de deux v.a. indépendantes de loi exponentielle de paramètre α.
A1) exp(−10 × 0.1)
A2) Les arrivées de Moscou forment un processus de Poisson de param. 1/10 et celles des autres villes forment un
processus de Poisson de param. 9/10. Ces processus sont indépendants par un Thm du cours ! Le résultat est donc
[(1/10 × 10)2 /2!] exp(−1)[(9/10 × 10)3 /3!] exp(−9).
A3) Les arrivées de Moscou forme un processus de Poisson, ces 5 points se repartissent comme des v.a. indépendantes

5
de loi uniforme sur [5, 15]. Donc la proba demandée est (15 − 5 − (7 − 6))/(15 − 5) = (9/10)5 .
A4) Par les mêmes arguments que dans A2 c’est (9/10) × 10.
P t f (x) = R p(t, x, y)f (y)dy où la fonction sous l’intégrale est continue de ses
R
13) Soit f : R → RR continue bornée. Alors
p(t, x, y)f (y)dy = R tf (x + z)/((2π)(t2 + z 2 ))dz. Cette dernière intégrale est bornée dans sa valeur
R
arguments. De plus R
abolue par kf kt R |1/(t2 + z 2 )|dz < ∞ d’où la convergence uniforme pour x ∈ R. Donc P t f (x) est continue, la famille est
R

Fellerienne. La propriété de Markov forte a lieu par rapport à F≤t+ . Elle a lieu aussi par rapport à F≤t , car tout temps
d’arrêt par rapport à cette dernière filtration est aussi temps d’arrêt par rapport à la précédente.
R
14) CetteR famille n’a pas de mesure invariante finie non-triviale. On a β(Γ) = R P (x, t, Γ)dβ(x) pour Rtout t > 0, où
P (x, t, Γ) = Γ p(x, t, y)dy.R On a p(x, t, y) → 0 quand t → ∞. Donc pour tout Γ compact P (x, t, Γ) → 0. Si R dβ(x) < ∞,
par le Thm de Lebesgue R P (x, t, Γ)dβ(x) → 0 quand t → ∞, donc β(Γ) = 0. Ainsi la seule mesure invariante finie est
triviale.
R R
R R15) Une mesure ivariante
R R est celle de RLebesgue. En effet, par la symétrie de la densité : R Γ p(t, x, y)dydx =
R Γ
p(t, y, x)dydx = Γ R p(t, y, x)dxdy = Γ dy.
16) kRλ (fn − f )k ≤ (1/λ)kfn − f k, donc (Rλ , B0 ) est fermé.
17) Par le cours : A = λId − Rλ−1 où Rλ exerce une bijection entre B0 et DA . Donc (A, DA ) est aussi fermé.
18) Ceci est une martigale par rapport à (F≤t+ )t≥0 , τN est un temps d’arrêt par rapport à cette filtration, τN ∧ t est un
temps d’arrêt fini, donc la valeur est v(x).
 R τ ∧t P3  P3
19) On a v(x) = Ex v(BτN ∧t ) − 1/2 0 N i=1 pii ds ≥ 0 − 1/2( i=1 pii )Ex (τN ∧ t). Donc sous la condition énoncée
P3
Ex (τN ∧ t) ≤ v(x)/(−(1/2) i=1 pii ) < ∞. En tendant t → ∞, puis N → ∞ on obtient Ex τ < ∞.
P3 P3 P3
20 ) On a (1/2)4(v(x)) = i=1 pii , Donc (1/2)4(v(x)/(− i=1 pii )) = −1 et v(x)/(− i=1 pii ) = 0 pour x ∈ ∂D.
P3
Alors Ex τ = v(x)/(− i=1 pii ).
21) Af (x) = (1/2)a 2
(x)f 00 (x) + b(x)f 0 (x).
t
R
22) P f (x) = R p(t, x, y)f (y)dy.
t
23) dPdt f = AP t f pour toute f dans DA .
24) Soit f de la classe C 2 à support compact. Les hypothèses assurent que A conserve la forme de la question 21) sur
t
P f et aussi la dérivation sous le signe d’intégrale. L’equation de Kolmogorov implique

∂ 2 p(t, x, y)
Z Z h
∂p(t, x, y) ∂p(t, x, y) i
f (y)dy = (1/2)a2 (x) + b(x) f (y)dy.
R ∂t R ∂x2 ∂x

On a donc R [ ∂dp(t,x,y) − Ax p(t, x, y)]f (y)dy. Comme cette équation est verifiée pour toute f dans C 2 à support compact,
R
∂t
on obtient le résultat demandé.
dP t f
25) dt = P t Af . On a donc pour toute f dans C 2 à support compact
Z Z
∂p(t, x, y)
f (y)dy = p(t, x, y)[(1/2)a2 (y)f 00 (y) + b(y)f 0 (y)]dy.
R ∂t R

R 2 2
Par l’intégration par parties (et comme f est à support compact) R p(t, x, y)(1/2)a2 (y)f 00 (y)dy = R ∂ a (y)p(t,x,y)
R
∂y 2 f (y)dy,
R 0
R −∂b(y)p(t,x,y) R ∂p(t,x,y) ∗
et aussi R p(t, x, y)b(y)f (y)dy = R ∂y f (y)dy. On donc R [ ∂t − Ay p(t, x, y)]f (y)dy = 0. Comme cette
équation est verifié pour toute f dans C 2 à support compact, on obtient le résultat demandé.
A titre d’information : Dans les questions 25) et 26) on obtient les equations de Kolmogorov premières et secondes pour
les densités. L’equation de la question 26) est dite aussi de Fokker-Planck. Les deux equations restent valables dans les
dimensions supérieures.