MODELES STOCHASTIQUES

POUR LES SERIES TEMPORELLES

I) STATIONNARITE AU SENS LARGE (SSL)

1) Définitions

O U
UD
• Un processus stochastique (ou aléatoire)
discret est une famille de variables aléatoires

O
indicées par t, noté {Xt : t ∈ Z}.

S
A S
• Une série chronologique x1, · · · , xn peut être
considérée comme une réalisation finie d’un
processus stochastique.

• Dans la pratique, on ne dispose que d’une

seule réalisation du processus.

80
• Un processus {Xt : t ∈ Z} est Stationnaire
au Sens Large SSL (ou faiblement station-
naire) si

 E(X2t) < ∞, ∀ t ∈ Z,

 E(Xt) = µ, ∀ t ∈ Z,

O U
D
 Cov(Xt, Xt+k) = γ(k), ∀ t, k ∈ Z.

U
O
• Le processus SSL le plus simple mais fon-

S
A S
damental est le processus bruit blanc faible
{at : t ∈ Z} défini par
E(at) = 0 ∀t∈Z
Var(at) = σa2 ∀t∈Z
Cov(at, at+k ) = 0 si k 6= 0
On notera {at} ∼ BB(0, σa2).

81
2) Fonctions d’autocovariance
et d’autocorrélation

Soit {Xt : t ∈ Z} un processus SSL.

délai k par
O U
• On définit la fonction d’autocovariance de

UD
γ : Z → R

S O
k 7→ γ(k) = Cov(Xt, Xt+k )

A S
• On définit la fonction d’autocorrélation par

ρ : Z → [−1, 1]
γ(k)
k →
7 ρ(k) =
γ(0)

82
3) Estimation de γ(k) et ρ(k)

On considère un processus SSL {Xt : t ∈ Z}

de moyenne µ et de fonction d’autocovariance
γ(k).

O U
But : On cherche à estimer les paramètres

UD
µ, γ(k) et ρ(k)

O
sachant qu’on observe x1, ..., xn.

S
A S
• Un estimateur de µ est la moyenne em-
pirique

1 Xn
b=x=
µ xt .
n t=1

83
• Un estimateur de γ(k) est

−k
1 nX
γ̂(k) = (xt − x)(xt+k − x), 0 ≤ k ≤ n − 1 .
n t=1

échantillonnale ou empirique.

O U
{γ̂(k), k ∈ Z} est dite fonction d’autocovariance

UD
• Un estimateur de ρ(k) est

S O
ρ̂(k) =
γ̂(k)
, 0≤k≤K.

A S γ̂(0)

{ρ̂(k), k ∈ Z} est dite fonction d’autocorrélation

échantillonnale ou empirique.

• Le graphe de ρ(k)
b en fonction de k est dit
corrélogramme.

84
II) PROCESSUS MOYENNE MOBILE

1) Stationnarité d’un MA(q)

Un processus {Xt : t ∈ Z} qui est généré par

l’équation

Xt = θ0 + at − θ1at−1 − · · · − θqat−q

O U (∗)

UD
est un processus moyenne mobile d’ordre q,
noté MA(q), où

S O
A S
{at} ∼ BB(0; σa2), q ∈ N, θi ∈ R et θq 6= 0.

En posant

θ(B) = 1 − θ1B 1 − θ2B 2 − · · · − θq B q ,

(*) s’écrit

Xt = θ0 + θ(B)at .
θ(B) est dit polynôme moyenne mobile.
85
Remarque : On a
E(Xt) = θ0 = µ.
En posant
Yt = Xt − µ,
on se ramène au modèle MA(q) centré,
Yt = θ(B)at.

O U
Dans tout ce qui suit, on supposera le proces-
sus {Xt} centré

UD
Xt = θ(B)at .
Théorème

S O
• Un processus MA(q ) est stationnaire.

A S
• Si θ(B) est inversible, le processus MA(q)
admet une représentation AR(∞) définie
par :

at = θ(B)−1Xt =
X
πi Xt−i .
i≥0

86
2) Fonction d’autocorrélation

La fonction d’autocovariance d’un MA(q) est

donnée par

O U
D
  
q

U

2 σ 2,
 X
γ(0) = 1 + θ .


i a

 


O
i=1





S



  
 q−k

S


θiθi+k  σa2, pour 1 ≤ k < q.
 X
 γ(k) = −θ +

k

A














γ(q) = −θ q σa
2,
i=1






 γ(k) = 0, pour k ≥ q + 1.


87
Propriété caractéristique d’un MA(q)

La fonction d’autocorrélation d’un proces-

sus stationnaire est nulle à partir d’un cer-

cessus est un MA(q).

O U
tain rang q + 1 si et seulement si ce pro-

Conséquence
UD
O
On pourra détecter un processus MA(q) au vu

S S
du corrélogramme, qui présentera donc des au-
tocorrélations nulles à partir du rang q + 1.

A
Exemple
Simuler 100 observations de :

Xt = at − 0.3 at−1.
Commenter le corrélogramme.

88
Le théorème suivant donne la propriété car-
actérisant les processus moyennes mobiles ainsi
que la distribution asymptotique des ρ̂(k).

Théorème . Soit {Xt : t ∈ Z} un processus

M A(q), alors pour k > q
O U
UD
S




O
ρ(k) = 0

A S 
 ρ(k)

b

2
≈ N 0, σρb(k)


avec
2 1 2 2

σρb(k) ' 1 + 2 ρb (1) + · · · + 2 ρb (q) .
n

89
III) PROCESSUS AUTO-REGRESSIF

1) Stationnarité d’un AR(p)

Un processus {Xt : t ∈ Z} qui est généré par

l’équation

U
Xt = φ0 + at + φ1Xt−1 + φ2Xt−2 + · · · + φpXt−p

O
AR(p), où
UD
est un processus auto-régressif d’ordre p, noté

S O
{at} ∼ BB(0; σa2), p ∈ N, φi ∈ R et φp 6= 0.

A S
En posant

φ(B) = 1 − φ1B 1 − φ2B 2 − · · · − φpB p,

on obtient

φ(B)Xt = φ0 + at .

φ(B) est dit polynôme autorégressif.

90
Remarque

U
1. Si {Xt} est stationnaire, alors

O
φ0 = µ(1 − φ1 − · · · − φp) .

D
O U
2. En posant Yt = Xt − µ, on peut se ramener
au modèle AR(p) centré

S S φ(B)Yt = at.

A Dans tout ce qui suit, on supposera le pro-

cessus {Xt} centré

φ(B)Xt = at .

91
Théorème

Un processus AR(p) est stationnaire

⇐⇒

O U
D
le polynôme φ(B) est inversible.

U
S O
Dans ce cas, il existe une représentation MA(∞)
de ce processus définie par

A S
Xt = φ(B)−1at =
X
ψi at−i .
i≥0

92
2) Fonction d’autocorrélation

Soit {Xt : t ∈ Z} un processus AR(p) SSL

O U
Xt = φ1Xt−1 + · · · + φpXt−p + at. (1)

Xt−k avec k ≥ 1
UD
En multipliant chacun des membres de (1) par

S O
Xt−k Xt = φ1Xt−k Xt−1+· · ·+φpXt−k Xt−p+Xt−k at,

A S
et en prenant l’espérance mathématique des
deux membres, on a

γ(k) = φ1γ(k − 1) + · · · + φpγ(k − p), ∀k ≥ 1 .

93
Remarque

• E(at Xt−k ) = 0 ∀k ≥ 1 .

En effet; puisque {Xt} est SSL, on a

φ(B)Xt = at ⇔ Xt = φ(B)−1at

⇔ Xt−k = φ(B)−1at−k
O U
UD X
ψi B iat−k

O
⇔ Xt−k =

S
i≥0

A S
Ainsi
⇔ Xt−k =
X

i≥0
ψi at−k−i.

X
E(at Xt−k ) = ψi E(at at−k−i) = 0.
i≥0

• E(at Xt) = σa2 .

94
Proposition

O U
Les autocorrélations d’un processus AR(p) SSL

Xt = φ1Xt−1 + · · · + φpXt−p + at,

UD
O
sont solutions de l’équation récurrente

S
A S
ρ(k) = φ1ρ(k − 1) + · · · + φpρ(k − p), k≥1.

De plus les ρ(k) tendent exponentiellement vers

0.

95
Variance d’un AR(p) : On a

Xt = φ1Xt−1 + · · · + φpXt−p + at.

En multipliant les deux membres par Xt et en

prenant l’espérance, on obtient

O U
E(Xt2) = φ1E(XtXt−1)+· · ·+φpE(XtXt−p)+E(Xtat).
Ce qui donne

UD
γ(0) = φ1γ(1) + · · · + φpγ(p) + σa2.

S O
S
En divisant par γ(0), on a

A 1 = φ1ρ(1) + · · · + φpρ(p) +
σa2
.
γ(0)

Ainsi
σa2
γ(0) = .
1 − φ1ρ(1) − · · · − φpρ(p)

96
3) Système de Yule-Walker

Pour un processus AR(p) SSL, on a vu que les

autocorrélations vérifient l’équation

O U
ρ(k) = φ1ρ(k − 1) + · · · + φpρ(k − p), k ≥ 1. (2)
En écrivant (2) pour k = 1, 2, · · · , p, on obtient

D
un système de p équations à p inconnues :

U
O

 ρ(1) = φ1ρ(0) + · · · + φpρ(p − 1)

S





S






ρ(2) = φ1ρ(1) + · · · + φpρ(p − 2)

A







 .


..


ρ(i) = φ1ρ(i − 1) + · · · + φpρ(p − i)











 ...






ρ(p) = φ1ρ(p − 1) + · · · + φpρ(0).


97
Ce système est connu sous le nom du système
d’équations de Yule-Walker.

Sous forme matricielle, le système devient

· · · ρp−2 ρp−1
   
1 ρ1 φ1

 ρ1

 ...
1
...
···
...
ρp−3 ρp−2 
...


... 




O
φ2U
...





D
   
   
 p−2 ρp−3 · · ·
 ρ 1 ρ1   φp−1 

U
  
   
ρp−1 ρp−2 · · · ρ1 1 φp

S O 
ρ1


A S 



=



ρ2
...




.

ρp−1 

 
ρp

Le système de Yule-Walker permet de calculer

les paramètres autorégressifs φi à partir des
autocorrélations.
98
Remarque

O U
1. En pratique les autocorrélations ρ(k) sont
inconnues, on les remplace par les auto-

UD
corrélations échantillonales ρ̂(k).

On obtient alors les φ̂i, estimateurs des

S O
paramètres autorégressifs. Les φ̂i sont dits
estimateurs de Yule-Walker

A S
2. Le système de Yule-Walker peut être résolu,
par exemple, par la méthode de Cramer.

99
4) Fonction d’autocorrélation partielle

Comme on a pu caractériser les processus MA(q)

à l’aide de la fonction d’autocorrélation, on en-
visage de caractériser les processus AR(p), ce

partielle.
O U
qui conduit à introduire la notion d’autocorrélation

UD
Définition . Soit {Xt} un processus SSL.

S O
On appelle autocorrélation partielle de délai

A S
k le cœfficient de corrélation partielle entre
Xt−k et Xt en éliminant l’influence des vari-
ables Xt−k+1, · · · , Xt−1.

On le note φkk . La suite {φkk : k ≥ 1} définit

la fonction d’autocorrélation partielle du pro-
cessus {Xt : t ∈ Z}.

100
On montre que les φkk peuvent s’obtenir en
fonction des ρ(k) à l’aide des formules suiv-
antes

1 ρ1 ρ2
O U
· · · ρk−2 ρ1
ρ1
...
UD 1
...
ρ1
...
· · · ρk−3 ρ2
··· ... ...

φkk =
S O
ρk−1 ρk−2 ρk−3 · · · ρ1 ρk
.

A S 1
ρ1
...
ρ1 ρ2 · · · ρk−2 ρk−1
1
...
ρ1
...
· · · ρk−3 ρk−2
... ...
···
ρk−1 ρk−2 ρk−3 · · · ρ1 1

101
Exemple de calcul de φkk

• On a toujours φ11 = ρ(1).

• Pour k = 2, φ22 =
1 ρ(1)
ρ(1) ρ(2)
O
=
U
ρ(2) − ρ(1)2
.

D 1 ρ(1) 1 − ρ(1) 2

O U ρ(1) 1

S S 1 ρ(1) ρ(1)

A• Pour k = 3, φ33 =
ρ(1) 1
ρ(2) ρ(1) ρ(3)
ρ(2)

.
1 ρ(1) ρ(2)
ρ(1) 1 ρ(1)
ρ(2) ρ(1) 1

102
Remarque

connues, donc les φkk aussi.

O U
En pratique les autocorrélations ρ(k) sont in-

En utilisant les ρ(k),

b
UD
on a

S O
φ̂11 = ρ̂(1)
et

A S φ̂22 =
ρ̂(2) − ρ̂(1)2
1 − ρ̂(1)2
et ainsi de suite.

103
Le théorème suivant donne la propriété car-
actérisant les processus autorégressifs ainsi que
la distribution asymptotique des autocorrélations
partielles échantillonnales.

AR(p) stationnaire, alors

O U
Théorème . Soit {Xt : t ∈ Z} un processus

U
 φpp = φp

D .

S
 φ =0

kk
O pour k>p

S
De plus

A 1
 
φ̂kk ∼ N 0,
n

où n est le nombre d’observations.

104
Remarque

O U
• Les autocorrélations ρ(k) d’un AR(p) sont
mélange d’exponentielles et de sinusoı̈des

l’infini.
UD
qui s’amortissent à zéro lorsque k tend vers

O
Exemple : Simuler 100 observations de :

S
A S
Xt = 0.4 Xt−1 + 0.5 Xt−2 + at.

Xt = 0.7 Xt−1 − 0.3 Xt−2 + at.

Commenter les deux corrélogrammes.

105
 O U
• Les autocorrélations partielles φkk d’un MA(q)
sont mélange d’exponentielles et de sinusoı̈des

l’infini.
UD
qui s’amortissent à zéro lorsque k tend vers

O
Exemple : Simuler 100 observations de :

S
A S Xt = at − 0.4 at−1 − 0.5 at−2.
Commenter les deux corrélogrammes.

106
IV) PROCESSUS MIXTE ARMA

1) Stationnarité d’un ARMA(p, q)

Un processus {Xt : t ∈ Z} qui est généré par

l’équation

Xt = α + φ1Xt−1 + · · · + φpXt−p

O U
+

UD
at − θ1at−1 − · · · − θqat−q
est un processus auto-régressif moyenne mo-

O
bile d’ordre (p,q), noté ARMA(p,q), où

S
A S
{at} ∼ BB(0; σa2), p ∈ N, φi ∈ R, φp 6= 0,

q ∈ N, θi ∈ R et θq 6= 0.
En considérant les polynômes φ(B) et θ(B) :

φ(B) Xt = α + θ(B) at .

On suppose que φ(B) et θ(B) n’ont pas de

racines communes.
107
Remarque

1. ARMA(p,0)=AR(p) et ARMA(0,q)=MA(q).

O U
2. Si {Xt} est stationnaire de moyenne µ, alors

D
α = µ(1 − φ1 − · · · − φp) .

U
S O
3. En posant Yt = Xt − µ, on peut se ramener

A S
au modèle ARMA(p,q) centré

φ(B) Yt = θ(B) at.

Dans tout ce qui suit, on supposera le pro-
cessus {Xt} centré

φ(B) Xt = θ(B) at .

108
Théorème

• Un processus ARMA(p,q) est stationnaire

⇐⇒
le polynôme φ(B) est inversible.

de ce processus définie par

O U
Il existe alors une représentation MA(∞)

Xt = φ(B)
U
−1Dθ(B)} at =
X
ψi at−i .

O
| {z
ψ(B) i≥0

S S
A• Si le polynôme θ(B) est inversible alors le
processus ARMA(p,q) admet une écriture
AR(∞) définie par

−1
X
at = θ(B)
| {z
φ(B)} Xt = πi Xt−i .
π(B) i≥0

109
2) Fonction d’autocorrélation

U
• Pour k ≥ q + 1,

O
ρ(k) − φ1ρ(k − 1) − · · · − φpρ(k − p) = 0 .

D
O U
• Les autocorrélations ρ(k) d’un processus
ARMA(p,q) se comportent comme celles

S
d’un AR(p).

S
A• Les autocorrélations partielles φkk d’un pro-
cessus ARMA(p,q) se comportent comme
celles d’un MA(q).

110
Exemple : Simuler 100 observations de :

• ARMA(1,1)

O U
D
Xt = 0.5 Xt−1 + at + 0.8 at−1.

U
• ARMA(3,2)

S O
A S
Xt = 0.2Xt−1 + 0.3 Xt−2 + 0.4 Xt−3

+ at + 0.5 at−1 + 0.6 at−2

.

Commenter les deux corrélogrammes.

111
V) PROCESSUS ARIMA

Définitions : Soit {Xt : t ∈ Z} un processus

non stationnaire.

le processus défini par

O U
• {Xt} est un processus intégré d’ordre d si

est stationnaire.
UD
Yt = (1 − B)d Xt

S O
S
Exemple

A• Le processus

Xt = a t + b + W t
où Wt est stationnaire, est un processus
intégré d’ordre 1.

112
• {Xt} est dit processus ARIMA(p, d, q), si le
processus

Yt = (1 − B)d Xt
O U
UD
est ARMA(p, q) SSL,

S O
A S φp(B)Yt = θ0 + θq (B)at,

avec φp(B) et θq (B) polynômes de degrés

respectifs p et q (sans racines communes).

113
Exemple :

• Le processus

O U
UD
Xt = Xt−1 + at
est un ARIMA(0,1,0).

S O
A S
• Le processus

Xt − 1.2 Xt−1 + 0.2 Xt−2 = at − 0.5 at−1

est un processus est un ARIMA(1,1,1).

114