MODELISATION DES PROCESSUS LINEAIRES

Dans un premier temps, nous ne considérons que des processus particuliers, supposés
notamment stationnaire. Ceci permet de présenter un certain nombre d'outils dans un cadre
relativement simple que nous intitulons la modélisation ARMA qui sera poursuivi par
l’étude de processus à variance conditionnelle non constante. Par la suite cette hypothèse
de stationarité sera levée, et l'étude des processus non stationnaires sera menée pour
l'essentiel autour de deux thèmes : processus intégrés en espérance d’une part, en variance
d’autre part.

PREMIERE PARTIE = LA MODELISATION ARMA

Faire référence à un processus stochastique lorsque l'on discute d'une variable

économique signifie d'une part qu'il existe un mécanisme générateur de la variable en
question ('processus'), et que d'autre part cette variable est aléatoire ('stochastique'). En
pratique, on dispose d'un ensemble de réalisations observées sur un espace de temps
lq
discrétisé1 noté xt , t = 1,..., T et il importe de comprendre que l'on ne connaît alors qu'une
réalisation particulière du processus sur la période de temps considérée (une trajectoire).
Ainsi, xt est la réalisation de la variable aléatoire ~
xt .
Par exemple, interpréter une série de taux de change, d'intérêt, de chômage, ... en
termes de processus stochastique sur les années 1980-1990 signifie que si l'on pouvait
remonter le temps jusqu'en 1980 et rétablir les conditions initiales existant alors, nous
obtiendrions une série de réalisations jusqu'en 1990 (et au-delà) différentes de celles que
l'on trouve aujourd'hui dans les annuaires statistiques mais tout aussi "raisonnables".

1 On ne traitera pas ici de la modélisation en temps continu

1
 Cette maîtrise du temps et de l'environnement nous échappant encore, et plus
généralement, l'expérimentation étant bien souvent impossible en économie, il est clair que
la caractérisation complète d'un processus stochastique particulier est a priori une tâche
impossible. Limitons-nous par exemple aux deux seuls premiers moments d'un processus
que l'on suppose de plus gaussien2. Il nous faudrait donc estimer :
- d'une part : E ~ b g b g
x1 , E ~
x2 ,..., E ~ b g
xT , soit T termes et,
- d'autre part :
LM b g
V ~x1 Cov ~ b g
x1 , ~
x2 Cov ~ b
x1 , ~
xTgOP
MM V ~
x b g Cov ~b
x2 , ~
x3 g Cov ~ b
x ,~ x gP
PP
2 2 T

MM PP
MN Vbx g Q
~
T
T (T +1)
soit termes.
2

Il est alors évident que cette tâche est impossible si l'on se souvient que l'on ne
dispose que d'une seule trajectoire et donc de T réalisations x1 , x2 , , xT . l q
Dans ces conditions il est nécessaire d'imposer des restrictions sur les propriétés des
processus si l'on veut avancer. C'est l'objet des hypothèses d'ergodicité et de stationnarité.

(i) - L'ergodicité : Elle consiste à admettre que la loi des grands nombres est vérifiée
même sur un ensemble de réalisations non indépendantes.

(ii) - La stationnarité : toute observation faite à un temps t, xt , est donc la réalisation

d'une variable aléatoire, ~ af
x , de densité de probabilité f . . Plus généralement, tout ensemble
t

l
de k observations xt +1 , xt + 2 , , xt + k q est la réalisation d'un vecteur aléatoire de densité de
probabilité liée f bx t +1 , xt + 2 , , xt + k g. L'hypothèse de stationnarité stricte signifie que la
densité jointe des k variables ne dépend pas du temps, soit :
b g d i
f xt +1 , xt + 2 , , xt + k = f xt' +1 , xt' + 2 , , xt' + k . On peut ainsi prendre n'importe quelle origine
de temps pour observer k réalisations successives du processus sans affecter la distribution
associée à ces k réalisations. Un processus sera dit stationnaire au sens faible si ses deux
premiers moments sont indépendants du temps. A l'évidence la stationnarité au sens strict
implique la stationnarité au sens faible, l'inverse n'étant pas vrai . Les deux définitions ne

2Avec cette dernière restriction, on s'assure que le connaissance des deux premiers moments définit
entièrement le processus. En règle générale, on sait que ceux-ci ne sont pas suffisants.
2
sont équivalentes que pour des processus gaussiens qui, précisément, sont entièrement
définis par leur deux premiers moments.

Dans ces conditions, un processus stochastique x stationnaire au sens faible (et a

fortiori au sens strict) possède :
- une moyenne µ x constante : µ x = z +∞
af
xf x dx ,

zb
−∞

- une variance σ 2x également constante : σ 2x =

+∞

−∞
x − µx g f a xfdx
2
,
- une structure d'autocovariances γ k,
b gb
γ k = Cov( xt , xt + k ) = E xt − µ x xt + k g
− µ x , ne dépendant que de k,
intervalle de temps séparant les deux observations considérées, et non
b g d
de l'instant t 3: Cov xt , xt + k = Cov xt' , xt' + k = γ k . i
Box et Jenkins [1970] ont proposé une procédure unifiée de traitement des processus
stochastiques stationnaires et ergodiques qui sert toujours de référence. Dans cette
approche, trois étapes sont considérées :

- Identification d'un ou de plusieurs filtres apparemment raisonnables,

- Estimation des paramètres du ou des filtres retenus précédemment,
- Tests d'adéquation du ou des filtres.

A l'issue de la troisième étape ( ou, éventuellement, à l'issue d'un cycle d'allers-

retours entre deuxième et troisième étapes) l'utilisateur dispose normalement d'un filtrage
considéré comme satisfaisant.

Dans cette problématique, deux outils et un théorème jouent un rôle essentiel :

fonctions d'autocorrélation et d'autocorrélation partielle d'une part, théorème de Wold
d'autre part.

1) Fonctions d'autocorrélation et d'autocorrélation partielle

3 En conséquence, la fonction d'autocovariance qui a k associe γ k est symétrique par rapport à zéro puisque :
γ k = Cov (xt , x t +k ) = Cov (xt + k , x t ) = Cov (xt , x t −k ) = γ −k
3
 Il s'agit d'apprécier les dépendances existant entre les observations constituant une
trajectoire du processus. L'emploi d'une coefficient de corrélation paraît alors naturellement
indiqué, d'où l'intérêt de la fonction d'autocorrélation. Cependant, la corrélation entre
xt et xt + k résulte en partie de celles existant éventuellement entre
xt et xt +1 , xt et xt + 2 , , xt et xt + k −1 , d'où l'intérêt de la fonction d'autocorrélation partielle.

1-a) La fonction d'autocorrélation

Elle donne en fonction de k, la valeur de la corrélation de xt et xt + k . Soit :

ρk =
Cov xt , xt + kb 1/ 2 =
γkg
V xt b g
1/ 2
V xt + k b g
γ0

On note déja que la symétrie de la fonction d'autocovariance entraîne celle de la

fonction d'autocorrélation : ρ k = ρ − k .

Les coefficients ρ k sont en règle générale non obervés. Les estimateurs employés
sont les coefficients de corrélation empirique usuels, rk , obtenus comme suit :
T −k

∑ bx t gb
− x xt + k − x g
rk = t =1

∑ bx g
T
2
t −x
t =1

Pour des processus gaussiens, Bartlett [1946] a dérivé les valeurs asymptotiques des
variances et covariances de ces estimateurs. Elles dépendent de façon complexe des termes
ρ k , k = −∞, ,+∞ :
1 +∞ 2
bg c h
V rk ≈ ∑ ρ j + ρ k + j ρ − k + j − 4 ρ k ρ j ρ − k + j + 2 ρ 2j ρ 2k
T j =−∞
et,
+∞
b
Cov rk , rk + s ≈g 1
T
∑ρ ρ
j =−∞
j j +s

1-b) La fonction d'autocorrélation partielle

4
 Il s'agit ici de mesurer la relation entre les observations distantes de k périodes une
fois prises en considération les liaisons entre observations distantes de 1,2,…,k-1 périodes.
La corrélation étant une mesure des associations linéaires, il semble naturel d'évaluer cette
corrélation partielle par le coefficient de xt − k dans la régression de xt sur xt −1 , xt − 2 , , xt − k .
Cette fonction associe donc aux valeurs de k, les coefficients φ kk des écritures4 :
xt = φ k1 xt −1 + φ k 2 xt − 2 + +φ kk xt − k + ut , pour k=1,2…,K.

Des estimateurs φ kk sont obtenus en appliquant la procédure des Moindres Carrés

Ordinaires à l'équation précédente et cela pour chacune des valeurs successives de k,
k=1,2,…,K.

Quenouille [1949] a montré que si le processus générateur de x est effectivement un

modèle autorégressif d'ordre p, alors les estimateurs des coefficients d'autocorrélation
partielle φ p +1, p +1 , φ p + 2, p + 2 , sont asymptotiquement indépendants . Par ailleurs, toujours
dans ce même cas, on vérifie :

1
V φ kk ≈ pour k > p.
T

On peut, en supposant que le processus est stationnaire, donner une représentation

matricielle intéressante des relations existant entre les autocorrélations partielles et les
autocorrélations totales, représentation connue sous le nom des équations de Yule-Walker :
En effet, de l’écriture précédente on déduit le terme général d’ordre i(i>0) de la
fonction d’autocovariance appréciée dans un modèle autorégressif d’ordre k (en posant
φ kn = 0 si n k )5:

γ i = E φ k1 xt −1 xt −i + φ k 2 xt − 2 xt −i + +φ kn xt − n xt − i + +ut xt − i
= φ k1γ i −1 + φ k 2γ i − 2 + +φ knγ i − n +

4 Dans ces écritures, le premier indice de φ donne l'ordre du modèle (le retard maximal considéré) et le
second, le décalage effectif de l'explicative à laquelle s'applique le coefficient. Ainsi, φ5,2 est le coefficient de
xt-2 dans la projection de xt sur xt-1,xt-2,…,xt-5.
On peut réfléchir à la différence entre corrélation totale et corrélation partielle en considérant les deux
modèles suivants :
- d'une part : xt = φ k xt − k + ut
- d'autre part : xt = φ k 1 xt −1 + φ k 2 xt − 2 + + φkk x t −k + ut .
5
[ ]
On admettra E ut x t−i = 0 . Ce point sera discuté de façon plus approfondie par la suite.

5
 Soit encore, celui de la fonction d’autocorrélation :

ρ i = φ k1ρ i −1 + φ k 2 ρ i − 2 + +φ kn ρ i − n +

On obtient, en faisant varier i=1,2,...,k, l’ensemble des équations de Yule-Walker :

ρ 1 = φ k1 + φ k 2 ρ 1 + +φ kn ρ n −1 +
ρ 2 = φ k1ρ 1 + φ k 2 + +φ kn ρ n − 2 +
ρ 3 = φ k1ρ 2 + φ k 2 ρ 1 + +φ kn ρ n −3 +

ρ k = φ k1ρ k −1 + φ k 2 ρ k − 2 + +φ kn ρ k − n +
Soit encore, sous forme matricielle :

LM ρ OP LM 1
1 ρ1 ρ2 OPLM
ρ k −1 φ k1 OP
MMρ PP = MM ρ
2 1 1 ρ1
PPMM
ρ k −2 φ k 2
PP
MNρ PQ MNρ
k k −1 ρ k −2 ρ k −3 1
PQMNφ kk
PQ

2) Le théorème de Wold

Nous allons dans un premier temps énoncer ce théorème, sans en donner la

démonstration. Dans un second temps nous discuterons de la construction de prévisions au
moyen de la représentation du processus que donne le théorème. Les caractéristiques des
prédicteurs construits sur la base des espérances conditionnelles et des erreurs de prévision
associées seront notamment précisées. Par la suite, nous reviendrons sur les conséquences
de l'hypothèse de stationarité pour les paramètres de la représentation de Wold.

1-a) L'énoncé du théorème de Wold

Wold [1938] montre que tout processus stochastique stationnaire au sens faible peut
s'écrire comme une somme pondérée de chocs aléatoires orthogonaux, centrés et de même
variance, somme éventuellement augmentée d'une composante déterministe.

6
 Soit X un processus stochastique stationnaire au sens faible, il vient :

∞
Xt = Dt + ∑ ψ i ut − i = Dt + ut + ψ 1ut −1 + ψ 2 ut − 2 +
i=0

où : Dt est la composante déterministe, et,

{u} un ensemble de variables aléatoires vérifiant :
E ut = 0, ∀t

E ut ut + s =
RSσ si s = 0
2
u

T 0 sinon
kψ p = lψ ,ψ ,ψ ,ψ ,
0 1 2 3 q un ensemble de coefficients réels
non aléatoires, avec ψ 0 = 1

La composante déterministe, parfaitement prévisible à partir de ces valeurs passées,

représente par exemple une moyenne constante, un trend sur le temps, ....Afin de simplifier
les écritures nous considérerons, sans perte de généralité, que les processus étudiés ne
possèdent pas de composante déterministe Dt . Ceci est toujours possible en posant
xt = Xt − Dt .
Les séquences de chocs aléatoires de type {u} sont appelées processus en bruits
blancs.

Ce théorème joue un rôle central dans la modélisation des processus stochastiques

linéaires. Pour en percevoir l'intérêt, il suffit de remarquer que6 :

Et −1 xt = Et −1
LM∑ψ u OP = ψ u
∞
+ ψ 2 ut − 2 +
N
i=0 Q
i t −i 1 t −1

et donc :
xt = ut + Et −1 xt .

Dans ces conditions, ut s'interprête comme l'innovation affectant xt . Cette dernière

est en effet formée de deux composantes : l'une parfaitement connue au temps t-1, c'est
l'espérance conditionnelle, l'autre, ut , d'espérance conditionnelle en t-1 nulle, peut être vue
comme étant la seule information nouvelle contenue dans la réalisation de x au temps t.

6On suppose pour l'instant que les paramètres ψ 1 , ψ 2 , ψ 3 , et que l'historique du bruit jusqu'au temps
considéré sont connus. Le problème de l'estimation n'est pas encore abordé.
7
 Il paraît alors raisonnable d'utiliser l'espérance conditionnelle pour construire une
prévision de la trajectoire future du processus à partir de la trajectoire observée. Ces
prédicteurs, fondés sur l'espérance conditionnée par le seul historique du processus
considéré, sont dans la littérature nommés "prédicteurs semi-rationnels"7.

1-b) Les prévisions semi-rationnelles issus de la représentation de Wold

Soit à construire à l'instant t, une prévision relative à xt + l , notée xt l , où l est donc af

l'horizon de la prévision ( l 0 ). Si l'on utilise pour ce faire l'espérance conditionnelle tirée
de la représentation de Wold, il vient :

af
xt l = Et xt + l = Et
LM∑ψ u OP = ∑ψ u
∞ ∞
=ψ l ut + ψ l +1ut −1 + ψ l + 2 ut − 2 +
Ni=0 Q i t +l −i
i=l
i t +l −i

Ce mode de construction de prévisions peut être justifié en montrant que les

prédicteurs en question sont des estimateurs de xt + l qui minimisent l'erreur quadratique
moyenne dans la classe des estimateurs linéaires en ut , ut −1 , ut − 2 , . Soit en effet xt l un af
autre prédicteur pris dans cette classe :

af
xt l = α l ut + α l +1ut −1 + α l + 2 ut − 2 +

L'erreur quadratique moyenne qui lui est associée est8 :

E xt + l
2 L
− x al f = E M ∑ ψ u
∞ ∞
− ∑ α i ut + l − i
OP 2

t
N i=0
i t +l −i
i=l Q ∞
= c1 + ψ + ψ 2
1
2
2 h
+ +ψ l2−1 σ u2 + ∑ ψ i − α i σ u2
i=l
b g 2

C'est une somme de deux termes positifs dont le premier ne dépend pas des choix
faits sur la séquence des coefficients α i et dont le second est minimum pour

7 Pour les distinguer des prédicteurs rationnels au sens de Muth qui conditionne par l'ensemble des
informations pertinentes prises en compte selon le modèle structurel générant le processus en question.
σ u2 si i = j
8
(
Il faut se souvenir que u est un bruit blanc et donc Cov ui , u j = σ i ,j =  )
 0 sinon
8
α i = ψ i , i = l, l + 1, l + 2, . En d'autres termes, c'est le prédicteur semi-rationnel xt l qui af
minimise l'erreur quadratique moyenne.

Ayant montré l'optimalité de ces prédicteurs au regard du critère "Mean Square

Error" (MSE), nous pouvons énoncer un certain nombre de propriétés afférentes aux
erreurs de prévision associées.

(i) - L'innovation ut est l'erreur de prévision correspondant à une prévision dont

af af
l'horizon est une période : et 1 = xt − xt −1 1 = xt − Et −1 xt = ut . Une implication de ce
résultat est que des prédicteurs à horizon d'une période générant des erreurs de prévision
corrélées ne peuvent être des prédicteurs optimaux au sens du critère MSE.

(ii) - L'erreur de prévision est, ex-ante, d'espérance nulle et cela pour tout horizon de
af
prévision. En effet : Et et l = Et xt + l − Et xt + l = 0 . En d'autres termes, les prédicteurs
semi-rationnels sont des estimateurs non biaisés des valeurs que l'on cherche à prévoir,
l'espérance du prédicteur étant conditionnée par l'ensemble des informations connues au
moment où on le formule (ici ut , ut −1 , ut − 2 , ). En ce sens, ces prédicteurs utilisent
efficacement toute l'information disponible.

af a f
(iii) - Les erreurs et l et et l + j commises sur la base de prévisions construites en t
pour des horizons différents (respectivement pour l et l + j périodes ) sont corrélées,
puisque, en admettant sans perte de généralité que j est positif, il vient :
af
et l = ut +l + ψ 1ut +l −1 + ψ 2 ut + l − 2 + +ψ l −1ut +1
et a f
et l + j = ut + l + j + ψ 1ut + l + j −1 + ψ 2 ut + l + j − 2 + +ψ j ut + l + +ψ l + j −1ut +1

l −1

∑ψ ψ i j +i
D'où : ρ b e a l f,e a l + j f g = i=0
t t
LM∑ψ
l −1
2
l + j −1

∑ψ 2 OP 1
2

N
i=0
i
i=0
i
Q
En pratique, cela signifie que si le prédicteur à horizon l périodes construit en t sous-
estime la réalisation observée ex-post en t + l alors, en moyenne et si ρ b e a l f,e a l + j fg est positif
t t

(respectivement négatif), le prédicteur à horizon l + j construit également en t va sous-

estimer (respectivement surestimer) la réalisation xt + l + j .

9
 Ayant donc montré l'intérêt théorique de connaître la représentation linéaire issue du
théorème de Wold, il reste à discuter de son intérêt pratique. De fait, ce dernier n'est pas
évident si l'on songe que pour construire des prévisions, il est apparemment nécessaire de
connaître notamment une infinité de coefficient ψ , ce qui, en anticipant sur le problème de
l'estimation peut poser une difficulté s'il s'agit d'estimer une infinité de paramètres avec des
échantillons de tailles finies. Fort heureusement le théorème ne postule pas que l'ensemble
des psi non nuls ait toujours un cardinal infini. Il convient de distinguer deux cas de figure :

- Soit le nombre, q, de coefficients psi non nul est tel que q<∞ (et reste
raisonnable au regard de la taille,T, de l'échantillon de travail ). On est alors en présence
d'un processus défini par une moyenne mobile d'ordre q fini, processus dénommés Moving-
Average d'ordre q ou encore9 MA(q).

- Soit le nombre, q, de coefficients psi non nuls est effectivement infini. Il

faudra alors supposer des évolutions particulière dans la séquence ψ 1 ,ψ 2 ,ψ 3 ,ψ 4 ,
permettant d'écrire chacun de ces coefficients à partir d'un nombre fini de paramètres qui,
eux, pourront être estimés. L'exemple le plus simple consiste à admettre une décroissance
géométrique des psi : ψ i = φψ i −1, soit encore10 : ψ i = φ i . La connaissance de la séquence
infinie des psi se résume ainsi à celle de l'unique paramètre phi. Il vient en effet :
∞
xt = ∑ φ i ut − i
i=0

Dans ce second cas, on trouvera des processus dits Autorégressifs , pour lesquels la
réalisation de l'instant t dépendra des p réalisations passées et de la réalisation d'un bruit
blanc [processus AutoRégressifs d'ordre p, ou encore AR(p)] ou bien encore des p
réalisations passées et de la réalisation d'un bruit lui-même guidé par un MA(q) [processus
AutoRégressifs d'ordre p et à moyenne mobile d'ordre q, ou encore ARMA(p,q)]

Avant d'analyser plus en détail l'ensemble de ces filtres, il est nécessaire de revenir
sur les implications de l'hypothèse de stationarité sur la séquence ψ 1 ,ψ 2 ,ψ 3 ,ψ 4 , . En
effet, le théorème de Wold assure que tout processus stationnaire peut s'écrire comme une
somme pondérée sur un bruit blanc mais, pour autant, il ne signifie pas que les coefficients
ψ 1 ,ψ 2 ,ψ 3 ,ψ 4 , puissent prendre n'importe quelles valeurs.

9 En toute rigueur, la référence à l'appellation MA(q) suppose que la composante déterministe du processus
est soit nulle, soit seulement une constante µ x non nulle (l'espérance du processus est alors µ x )
10 On rappelle que ψ 0 = 1.
10
1-c) Les implications de la stationarité sur la représentation de Wold

Selon le théorème de représentation de Wold, nous avons :

xt = ut + ψ 1ut −1 + ψ 2 ut − 2 + ψ 3ut − 3 +
xt −1 = ut −1 + ψ 1ut − 2 + ψ 2 ut − 3 + ψ 3ut − 4 +
xt − 2 = ut − 2 + ψ 1ut − 3 + ψ 2 ut − 4 + ψ 3ut − 5 +
et, plus généralement :
xt − k = ut − k + ψ 1ut − k −1 + ψ 2 ut − k − 2 + ψ 3ut − k −3 +

Alors les divers éléments de la fonction d'autocovariance sont donnés par :

∞
b g
γ 0 = Var xt = E xt2 = σ u2 ∑ ψ i2
i=0
∞
γ1 = Covb x , x g = E x , x
t t −1 t t −1 = σ u2 ∑ ψ iψ i +1
i=0
∞
γ2 = Covb x , x g = E x , x
t t −2 t t −2 =σ 2
u ∑ψ ψ i i+2
i=0

et, plus généralement :

∞
b g
γ k = Cov xt , xt − k = E xt , xt − k = σ u2 ∑ ψ iψ i + k
i=0

A l'évidence, si les coefficients psi sont constants, ces éléments s'ils existent seront
bien constants et donc indépendants du temps. Le problème est donc celui de leur
existence. Il importe donc que les diverses sommes infinies mises en jeu convergent. Pour
cela, il est suffisant de supposer que l’on est en présence de séries absolument sommables :
∞

∑ψ
i= 0
i ≺ ∞ 11.

Pour illustration, si l'on reprend la paramétrisation ψ i = φ i , alors cette condition

impose φ ≺ 1. En d'autres termes, dans cet exemple, si φ ≥ 1 alors la séquence des psi

∞ ∞ ∞ 2
11 En effet : ∑ ψ i ≺ ∞ ⇔ (∑ ψ i ) 2 ≺ ∞ ⇔ ∑ ψ i + ∑ ψ ψ i +1 + +∑ ψ ψ i+ k + ≺ ∞
i=0 i=0 i=0
i i

γ0 ∞
γ1 ∞
γk ∞

∑ ∑ ψ ψ ≺ ∞ et ∑ ψ ψ ≺ ∞ et
2
⇔ ≤ ψ ≺ ∞ et ≤ et ≤
σ u2 i=0 i σ u2 i = 0 i i +1 σ u2 i = 0 i i + k
11
générés ne peut correspondre aux coefficients d'une représentation de Wold d'un processus
stationnaire (précisément parce que les moments du processus résultant n'existent pas).

12