Processus AR(p) : Modèles et Caractéristiques
Processus AR(p) : Modèles et Caractéristiques
On admet ici :
Soit :
x t = X t − µ X = φ 1 x t −1 + φ 2 x t − 2 + +φ p x t − p + ut
ou encore :
af af c
φ B x t = ut , avec φ B = 1 − φ 1 B − φ 2 B 2 − −φ p B p h
et toujours,
E ut = 0, ∀t
E ut ut + s =
RSσ2
u si s = 0
T0 sinon
Notons encore que l’écriture ci-dessus suppose des réalisations centrées. Il est
naturellement possible de travailler directement sur la série X moyennant l’introduction
d’un terme constant dans le modèle. En effet :
22
x t = φ 1 x t −1 + φ 2 x t − 2 + +φ p x t − p + ut
@
bX − µ g = φ bX
t X 1 t −1 g b g c h
− µ X + φ 2 X t − 2 − µ X + +φ p X t − p − µ X + u t
@
c
X t = φ 1 X t −1 + φ 2 X t − 2 + +φ p X t − p + 1 − φ 1 − φ 2 − −φ p µ X + ut h
@
X t = φ 1 X t −1 + φ 2 X t − 2 + +φ p X t − p + c + ut
c
avec donc : E X t = µ X =
c1 − φ 1 − φ 2 − −φ p h
Par la suite, et uniquement pour simplifier les écritures, nous retiendrons les
écritures sur réalisations centrées.
Il s’écrit donc :
b
x t = φ 1 x t −1 + ut , ou encore : 1 - φ 1 B x t = ut g
La condition de stationarité vise à autoriser le passage à l’écriture MA :
∞
b
xt = 1 − φ 1 B g −1
ut , soit aussi : x t = ∑ φ 1i ut −i
i=0
vient 1:
γ 0 = φ 1γ 1 + σ u2
γ k = E x t x t − k = φ 1 E x t −1 x t − k = φ 1γ k −1 si k 0
ρ k = φ 1 ρ k −1 si k 0 , ou encore ρ k = φ 1k
σ u2 σ u2 σ u2
1 = φ 1ρ1 + ⇒ γ0 = =
γ0 1 − φ 1 ρ 1 1 − φ 12
Cette fonction est donc marquée par une décroissance exponentielle de termes
soit tous positifs si φ 1 0 , soit alternant en signe si φ 1 ≺ 0 . On notera enfin que la
fonction d’autocovariance et la fonction d’autocorrélation obéissent, au bruit blanc
près, à la même équation que le processus. En pratique, cela signifie par exemple que si
φ 1 est positif, alors les autocovariances et autocorrélations seront aussi positives et une
réalisation xt supérieure à zéro (ou Xt supérieure à µ X ) sera suivie de réalisations plus
fréquemment positives que négatives, et inversement. En revanche, si φ 1 est négatif,
alors autocovariances et autocorrélations alternent en signe et dans ce cas, la trajectoire
observée devrait assez souvent “transpercer” sa moyenne2.
x t = φ 11 x t −1 + ut
x t = φ 21 x t −1 + φ 22 x t − 2 + ut
x t = φ K 1 x t −1 + φ K 2 x t − 2 + +φ KK x t − K + ut
2 En effet, l’estimation de la covariance d’ordre k est égale à la moyenne des produits xtxt-k, et donc,
sauf en présence de valeurs extrêmes “tirant” à elles seules le signe de cette moyenne, une estimation
positive (respectivement négative) signifie que l’on observe plus fréquemment des valeurs de même
signe (resp. de signe opposé) pour xt et xt-k,
24
Dans les graphiques suivants, nous représentons les fonctions d’autocorrélation et
d’autocorrélation partielle caractéristiques d’un processus AR(1)
1 1
0,5 0,5
ρk 0 ρk 0
-0,5 -0,5
-1 -1
1 1
0,5 0,5
φ kk 0 φ kk 0
-0,5 -0,5
-1 -1
Il s’écrit :
c h
x t = φ 1 x t −1 + φ 2 x t − 2 + ut , ou encore : 1- φ 1 B - φ 2 B 2 x t = ut
R| φ + φ ≺ 1
1 2
S|−φ + φ ≺ 1
1 2
T −1 ≺ φ ≺ 1
2
25
La fonction d’autocovariance se calcule aisément. En effet :
x t = φ 1 x t −1 + φ 2 x t − 2 + ut ⇒ x t x t − k = φ 1 x t −1 x t − k + φ 2 x t − 2 x t − k + ut x t − k ,
comme :
E ut x t − k = 0 si k b
0 et E ut x t = E ut φ 1 x t −1 + φ 2 x t − 2 + ut g =σ , 2
u
on a finalement :
γ 0 = φ 1γ 1 + φ 2 γ 2 + σ u2
γ k = E x t x t − k = φ 1 E x t −1 x t − k + φ 2 E x t − 2 x t − k = φ 1γ k −1 + φ 2 γ k − 2 si k 0
ρ k = φ 1 ρ k −1 + φ 2 ρ k − 2 , k 0
Remarquons enfin que l’équation précédente permet de calculer toutes les valeurs
de ρ k , k ≥ 3, en fonction de ρ 1 et ρ 2 , et donc des paramètres autorégressifs, sachant
que :
φ1
pour k=1 : ρ 1 = φ 1 + φ 2 ρ 1 ⇒ ρ 1 =
1−φ2
φ 12
pour k=2 : ρ 2 = φ 1 ρ 1 + φ 2 ⇒ ρ 2 = +φ2
1−φ2
26
2) La fonction d’autocorrélation partielle d’un AR(2)
x t = φ 11 x t −1 + ut
x t = φ 21 x t −1 + φ 22 x t − 2 + ut
x t = φ K 1 x t −1 + φ K 2 x t − 2 + +φ KK x t − K + ut
- k= 1 : φ 11 = ρ 1
- k=2 :
FG ρ IJ = LM 1
1 OPFG IJ FG IJ LM
ρ 1 φ 21
⇒
φ 21
=
1 ρ1OP FG ρ IJ
−1
1
H ρ K Nρ
2 1 QH K H K N
1 φ 22 φ 22 ρ1 1 Q Hρ K 2
ρ 2 − ρ 12
⇒ φ 22 = = φ2
1 − ρ 12
- k≥3 : φ kk = 0
27
1 1
0,5 0,5
ρk 0 ρk 0
-0,5 -0,5
-1 -1
1 1
0,5 0,5
φ kk 0 φ kk 0
-0,5 -0,5
-1 -1
xt =.7xt −1 +.2xt −2 + ut
28
II-C : LE PROCESSUS AR(p)
x t = φ 1 x t −1 + φ 2 x t − 2 + +φ p x t − p + ut
ou encore :
af af c
φ B x t = ut , avec φ B = 1 − φ 1 B + φ 2 B 2 + +φ p B p h
af
La stationarité va exiger que les racines du polynôme φ B soient extérieures au
cercle unitaire complexe.
En prenant l’espérance du produit x t x t − k et en remplaçant x t par l’équation de
définition du processus, il est immédiat de montrer que :
- avec k=0 : γ 0 = φ 1γ 1 + φ 2 γ 2 + +φ p γ p + σ u2
σ u2
d’où , 1 = φ 1 ρ 1 + φ 2 ρ 2 + +φ p ρ p +
γ0
σ u2
⇒γ 0 =
1 − ρ 1φ 1 − ρ 2 φ 2 − − ρ pφ p
- avec k>0 : γ k = φ 1γ k −1 + φ 2 γ k − 2 + +φ pγ k − p
ρ k = φ 1 ρ k −1 + φ 2 ρ k − 2 + +φ p ρ k − p
L’équation liant les valeurs de cette fonction est donc la même que celle existant
entre les réalisations du processus aux divers instant t, t-1, t-2,..., t-p. Les conditions de
stationarité vont impliquer la convergence vers zéro de la suite des termes ρ k . Cette
décroissance étant dominée par des exponentielles ou des vagues sinusoïdales selon que
af
les racines du polynôme φ B sont réelles ou complexes.
x t = φ K 1 x t −1 + φ K 2 x t − 2 + +φ KK x t − K + ut , K>p+1
Dès lors que l’ordre p du modèle vrai est dépassé, il est clair que
φ K , p +1 = φ K , p + 2 = φ K , K = 0 puisqu’alors le modèle considéré se ramène au vrai modèle
précisément en imposant cet ensemble de restriction. Pour K=p, on a bien évidemment :
φ p,1 = φ 1 , φ p, 2 = φ 2 , et en particulier φ p, p = φ p . Lorsque K<p, on est dans le cas
classique d’omission de variables pertinentes avec corrélation non nulle entre les
variables présentes et les variables omises. Les coefficients des présentes seront donc
biaisés mais, plus important, ils seront généralement non nuls. En d’autres termes, cette
fonction est non nulle jusqu’à l’ordre p puis nulle ensuite.
Il est encore possible d’exprimer les différents coefficients φ kk en fonction des
autocorrélations ρ 1 , ρ 2 , , ρ p en résolvant le système de Yule-Walker pour des
valeurs successives de k. Ainsi :
- pour k= 1 : φ 11 = ρ 1
- pour k=2 :
FG φ IJ = LM 1
21 ρ1 OP FG ρ IJ
−1
1
H φ K Nρ
22 1 1 Q Hρ K 2
- pour k=3 :
F φ I LM 1 ρ ρ O Fρ I
−1
GGφ JJ = M ρ 1 ρ PP G ρ J
31 1 2 1
32
H φ K MNρ
1
ρ
G J
1
1 PQ H ρ K
2
33 2 1 3
- pour k=p :
Fφ I F φ I LM 1 ρ1 ρ p −1 OP −1
Fρ I
GGφ JJ GG φ JJ M ρ GG ρ JJ
p1 1 1
p2 2 1 1 ρ p−2
PP 2
GG JJ = GG JJ = MM PQ GG JJ
Hφ pp K H φ K Nρ
p p −1 ρ p−2 1 Hρ K
p
30
III- LES PROCESSUS ARMA(p,q)
On admet ici :
Soit :
x t = X t − µ X = φ 1 x t −1 + φ 2 x t − 2 + +φ p x t − p + vt
et : vt = ut − ϑ 1ut −1 − ϑ 1ut −1 − −ϑ q ut − q
ou encore :
af af af c
φ B x t = ϑ B ut , avec φ B = 1 − φ 1 B − φ 2 B 2 − −φ p B p h
et ϑ a Bf = c1 − ϑ B − ϑ 1 2 B 2 − −ϑ q B q h
et toujours,
E ut = 0, ∀t
E ut ut + s
Rσ
=S
2
u si s = 0
T0 sinon
On peut également travailler sur données non centrées. Dans ce cas, un calcul
simple montre qu’il est nécessaire d’introduire une constante c dans l’équation du filtre
de sorte que :
X t = φ 1 X t −1 + φ 2 X t − 2 + +φ p X t − p + c + ut − ϑ 1ut −1 − ϑ 2 ut − 2 − −ϑ q ut − q ,
c
avec : E X = µ X =
1 − φ 1 − φ 2 − −φ p
31
af af
aux deux polynômes ϑ B et φ B . Admettons, pour illustrer ce point, que les
af af
polynômes constitutifs d’un filtre ARMA, Φ B et Θ B , aient une racine commune
λ . Dans ces conditions, on aurait :
−1
af af
Φ B x t = Θ B ut
@
a1 − λBfφa Bfx = a1 − λBfϑ a Bfu
@
t t
φ a Bfx = ϑ a Bfu
t t
Il s’écrit :
b g b
x t = φ 1 x t −1 + ut - ϑ 1 u t-1 , ou encore : 1 - φ 1 B x t = 1 - ϑ 1 B ut g
La condition de stationarité vise à autoriser le passage à l’écriture MA :
∞ ∞
b
xt = 1 − φ 1 B g −1
i=0
b
vt , soit aussi : x t = ∑ φ 1i vt − i = 1 − ϑ 1 B g∑ φ u
i=0
i
1 t −i
ce qui exige φ 1 ≺ 1
ce qui exige ϑ 1 ≺ 1
Dans cette égalité, les coefficients afférents à une même puissance j de B doivent
être identiques. Il vient :
j=1 : −φ 1 + ψ 1 = −ϑ 1 ⇒ ψ 1 = φ 1 − ϑ 1
j=2 : −φ 1ψ 1 + ψ 2 = 0 ⇒ ψ 2 = φ 1 − ϑ 1 φ 1 b g
j=n : −φ 1ψ n −1 + ψ n = 0 ⇒ ψ n = φ 1 − ϑ 1 φ 1n −1 b g
af
π B x t = ut =
b1 − φ Bg x 1
b1 − ϑ Bg 1
t
ou encore :
b gaf b
1 − ϑ 1B π B = 1 − φ1B g
De sorte qu’en égalisant les coefficients de Bj, j=1,2,3,…, on obtient l’ensemble
d’égalités suivant :
j=1 : π 1 + ϑ 1 = φ 1 ⇒ π 1 = φ 1 − ϑ 1
j=2 : −π 2 + ϑ 1π 1 = 0 ⇒ π 2 = φ 1 − ϑ 1 ϑ 1 b g
j=n : −π n + ϑ 1π n −1 = 0 ⇒ π n = φ 1 − ϑ 1 ϑ 1n −1 b g
⇒γ 0 =
c1 + ϑ 2
1 − 2φ 1ϑ 1 hσ 2
1−φ 2 u
1
33
b
γ 1 = E x t x t −1 = E φ 1 x t −1 + ut − ϑ 1ut −1 x t −1 g
=Eφ x 2
1 t −1 + ut x t −1 − ϑ 1ut −1 x t −1
b
= φ 1γ 0 − ϑ 1 E ut −1 φ 1 x t − 2 + ut −1 − ϑ 1ut − 2 g
= φ 1γ 0 − ϑ 1 E u 2
t −1
= φ 1γ 0 − ϑ 1σ u2
b
γ k = E x t x t − k = E φ 1 x t −1 + ut − ϑ 1ut −1 x t − k g
= E φ 1 x t −1 x t − k + ut x t − k − ϑ 1ut −1 x t − k
= φ 1γ k −1
= φ 1k −1γ 1
γk
Des expressions précédentes, et en se rappelant que ρ k = , on déduit la
γ0
fonction d’autocorrélation du processus :
ρ1 = φ 1 −
c
ϑ 1 1 − φ 12 h
1 + ϑ − 2φ 1ϑ 1
2
1
et
ρ k = φ 1 ρ k −1 = φ 1k −1 ρ 1 pour k ≥ 2
34
caractérisant un MA(1). Leurs expressions en fonction de ρ 1, ρ 2, et donc, compte
tenu des précédents résultats, de φ 1 et ϑ 1 s’obtient de façon habituelle en résolvant
pour des valeurs successives de k les équations de Yule-Walker.
Dans les shémas qui suivent, nous avons représenté les fonctions
d’autocorrélation et d’autocorrélation partielle de trois processus ARMA(1,1). Les deux
premiers font bien ressortir la décroissance régulière (avec ou sans alternance des
signes) de ces fonctions. L’objectif du troisième est de faire ressortir qu’en pratique il
sera souvent difficile de révéler les caractéristiques propres aux ARMA : si l’une ou
l’autre des fonctions converge rapidement vers zéro, on pourra être tenté de retenir soit
un AR pur, soit un MA pur.
1 1
0,5 0,5
ρk 0 ρk 0
-0,5 -0,5
-1 -1
1 1
0,5 0,5
φ kk 0 φ kk 0
-0,5 -0,5
-1 -1
35
1
0,5
ρk 0
-0,5
-1
1
0,5
φ kk 0
-0,5
-1
af af
φ B x t = ϑ B ut , avec :
af c
φ B = 1 − φ 1 B − φ 2 B 2 − −φ p B p , h
φ a Bf = c1 − ϑ B − ϑ B −
1 2
2
−ϑ q B p
h
et {u} bruit blanc.
af
- Inversibilité : les racines de ϑ B sont extérieures au cercle unitaire.
36
Sa fonction d’autocovariance est obtenue en suivant la démarche habituelle :
c
γ 0 = E x t2 = E x t φ 1 x t −1 + +φ p x t − p + ut − ϑ 1ut −1 − −ϑ q ut − q h
= φ 1γ 1 + +φ p γ p + E x t ut − ϑ 1 E x t ut −1 − −ϑ q E x t ut − q
c
= φ 1γ 1 + +φ p γ p + 1 + ϑ 12 + +ϑ q σ u2 h
c h
γ 1 = E x t x t −1 = E φ 1 x t −1 + +φ p x t − p + ut − ϑ 1ut −1 − −ϑ q ut − q x t −1
= φ 1γ 0 + +φ p γ p −1 − ϑ 1 E ut −1 x t −1 − −ϑ q E ut − q x t −1
= φ 1γ 0 + +φ p γ p −1 c
− ϑ 1 + ϑ 1ϑ 2 + +ϑ q −1ϑ q σ u2 h
c h
γ q = E x t x t − q = E φ 1 x t −1 + +φ p x t − p + ut − ϑ 1ut −1 − −ϑ q ut − q x t − q
= φ 1γ q −1 + +φ p γ q − p − ϑ q E ut − q x t − q
= φ 1γ q −1 + +φ p γ q − p − ϑ q σ u2
γ k = φ 1γ k −1 + +φ p γ k − p
ρ k = φ 1 ρ k −1 + φ 2 ρ k − 2 + +φ p ρ k − p pour k>q
On retrouve donc des résultats déjà vu : une convergence vers zéro, liée à la
condition de stationarité, dominée par des exponantielles ou des sinusoïdales selon que
les racines du polynôme caractéristique de la composante AR sont ou non complexes.
37
2) La fonction d’autocorrélation partielle d’un ARMA(p,q)
3 Selon une formule quelquefois utilisée, un tel choix relève de l’Art et requiert, à tout le moins, une
bonne expérience en matière de modélisation des séries temporelles. On peut également se référer à
l’autorité de la chose dite.
38
Il est dès lors naturel que l’on trouve dans la littérature des méthodes de sélection de
processus complémentaires à la démarche Box-Jenkins. Nous reviendrons par la suite
sur ces développements. Il convient auparavant de poursuivre l’exposé de cette dernière
qui reste néanmoins utile, en traitant de l’identification aux moyen non plus des
autocorrélations totale et partielles théoriques, mais de leurs estimations respectives,
pour continuer avec les étapes d’estimation des paramètres du processus sélectionné
d’une part et de validation empirique de celui-ci d’autre part.
Le calcul des estimateurs rk ainsi que l’expression de leur variance, donnée par
l’expression de Bartlett, ayant déjà été présentés, il suffit de rappeler les évolutions
attendues de cette fonction dans les différents cas de figure :
40
+∞
bg
V rk ≈
1
T
∑ cρ
j =−∞
2
j + ρ k + j ρ − k + j − 4 ρ k ρ j ρ − k + j + 2 ρ 2j ρ 2k h
Dans le raisonnement qui suit, nous admettrons que les processus ne sont pas
“troués”. En d’autres termes aucun des q coefficients théta du MA(q) n’est nul. Dans
ces conditions, la question de la pertinence d’un MA(q) ne se pose que si l’on a
préalablement admis au moins la non nullité du coefficient d’autocorrélation d’ordre q-
1. Ceci conduit alors à la réalisation d’une succession de tests jusqu’à l’acceptation de
la première hypothèse nulle testée et en ce cas, l’ordre du processus MA est déterminé.
Les étapes sont les suivantes :
1
Un test asymptotiquement valide revient donc à comparer r1 à ±2 . Si r1 est à
T
l’intérieur de l’intervalle de confiance à 95 % construit autour de zéro, on ne rejette pas
à ce seuil l’hypothèse H0 et donc la représentation MA(0) n’est pas remise en cause. A
l’opposé, si r1 est à l’extérieur de cet intervalle on rejette l’hypothèse nulle, pour
admettre en conséquence être en présence au moins d’un MA(1) et le passage à la
seconde étape s’impose.
bg 1 k
T j =0
c
1
V rk ≈ ∑ ρ 2j = 1 + ρ 12 + + ρ 2k
T
h
Expresion encore inutilisable, et dans laquelle on opère à nouveau la substitution
bg 1 k
des estimateurs pour tirer V rk = ∑ rj2 .
T j=0
Si rk +1 est à l’intérieur de l’intervalle de confiance à 95 % construit autour de
zéro, on ne rejette pas à ce seuil l’hypothèse H0 et donc la représentation MA(k) est
acceptée. Dans le cas contraire, la démarche est poursuivie jusqu’à trouver une valeur
de k permettant l’acceptation de H0 et donc l’identification de l’ordre du processus.
Lorsque le processus est un AR(p), les travaux de Quenouille [1949] déjà signalés
fournissent les acquis suivants :
d i 1
d i
V φ kk ≈ et Cov φ kk , φ ll ≈ 0pour k, l > p
T
Dans ces conditions, un test asymptotiquement valide de nullité de φ jj revient à
comparer φ jj à deux fois son écart-type, soit 2 / T .
42