Mathématiques et Informatique de la Décision et des Organisations

Introduction aux séries temporelles

Master 1 Mathématiques Appliquées
Notes de cours
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page i/93.

Année 2017/2018

Quartier d’affaires de la Défense et bois de Boulogne

Vus du bureau B518-bis de l’Université Paris-Dauphine

MIDO
MATHEMATIQUES ET INFORMATIQUE
DE LA DECISION ET DES ORGANISATIONS

Version électronique composée avec LATEX le 22 novembre 2017

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page ii/93.

— Auteurs des notes :

— Chafaï, Djalil (enseignant, Paris-Dauphine, 2013–2017)
— Lévy-Leduc, Céline (enseignante, Paris-Dauphine, 2010-2012)
— Roche, Angelina (enseignante, Paris-Dauphine, 2017–, modifications mineures)
— Chasseurs de coquilles :
— Akrim, Anass (étudiant, Paris-Dauphine, 2016–2017)
— Azouzi, Youssef (enseignant, Tunis-Dauphine, 2015–2016)
— Benaych-Georges, Florent (enseignant, Paris-Descartes, 2014–2015)
— Bobo, Grégoire (étudiant, Paris-Dauphine, 2016-2017)
— Bonniau, Donatien (étudiant, Paris-Dauphine, 2016–2017)
— Eremeeva, Evgeniia (étudiante, Paris-Dauphine, 2014–2015)
— Georget, Maxime (étudiant, Paris-Dauphine, 2016-2017)
— Ivanoff, Stéphane (enseignant, Paris-Dauphine, 2013–2015)
— Lee, Chun-Hsien (étudiant, Paris-Dauphine, 2015–2016)
— Macchi, Emmanuel (étudiant, Paris-Dauphine, 2014–2015)
— Malouche, Dhafer (enseignant, Tunis-Dauphine, 2014–2015)
— Munier, Robin (étudiant, Paris-Dauphine, 2016–2017)
— Murcy, Pierre-Germain (étudiant, Paris-Dauphine, 2017–2018)
— Pagnard, Camille (enseignant, Paris-Dauphine, 2014–)
— Razafindrabary Iarivonjy, Bisous Mirenty Tsiky (étudiante Paris-Dauphine,
2017–2018)
— Stern, Mathilde (étudiante, Paris-Dauphine, 2016–2017)
— Tan, Xiaolu (enseignant, Paris-Dauphine, 2016–2017)

ii
 Avant-propos
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page iii/93.

Le cours de Master 1 d’introduction aux séries temporelles est découpé en 13 séances de

90 minutes. Le prérequis est un niveau de licence en mathématiques, notamment en analyse,
probabilités, et statistique. L’évaluation consiste en un examen partiel en novembre et un
examen final en janvier, avec pour formule max(f, 25 p + 35 f ). Pour réussir aux examens, il
faut d’abord comprendre les notes de cours puis s’entraîner sur les exercices de travaux
dirigés, les annales d’examens, et les démonstrations du cours. Ces notes de cours, librement
disponibles sur Internet, sont inspirées de celles de Céline Lévy-Leduc datant de l’année
universitaire 2011/2012. Le sujet des séries temporelles est plutôt plaisant. Lié au concret, il
pose de réelles questions sur les plans méthodologiques et philosophiques 1 . Lié à l’abstrait,
il donne l’occasion de mettre en œuvre quelques concepts de la théorie du signal, de
l’analyse harmonique, des probabilités et statistique, de l’algèbre linéaire, etc. En toile de
fond, utilitarisme, mythe du quantitatif, et «bigdata».
Notre Master 1 de mathématiques a pour but de former des ingénieurs, et dans
une moindre mesure des chercheurs, adaptés au monde d’aujourd’hui. Les ingénieurs et
les chercheurs ne cessent d’apprendre des concepts et des techniques, tout au long de
la vie professionnelle 2 . Ces notes de cours fournissent des bases incontournables de la
modélisation des séries temporelles, que tout ingénieur ou chercheur mathématicien devrait
connaîtreElles sont conçues pour être à la fois accessibles et exigeantes intellectuellement.
La formation initiale des ingénieurs et des chercheurs doit mettre l’accent sur les concepts
plutôt que sur les techniques. Ceux qui devront ensuite, dans leur vie professionnelle,
traiter des données, pourront apprendre les techniques appropriées le moment voulu, en
s’appuyant sur leurs connaissances conceptuelles. On trouvera par exemple dans [Ar, C]
deux très bons cours orientés vers des techniques concrètes de traitement des données 3 .

1. À ce sujet, on peut penser par exemple au phénomène du réchauffement climatique.

2. C’est mal connaître le monde de l’ingénieur que de le réduire à celui du technicien.
3. Le niveau en mathématiques des élèves de Master est variable d’un établissement à l’autre.
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page iv/93.
 Table des matières
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page v/93.

Table des matières v

1 Introduction (x2) 1
1.1 Tendance, saisonnalité, bruit, opérateur retard . . . . . . . . . . . . . . . . 1
1.2 Processus stationnaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Suites récurrentes aléatoires et processus ARMA . . . . . . . . . . . . . . . 16
1.4 Autocovariance et matrices de Toeplitz . . . . . . . . . . . . . . . . . . . . . 18
1.5 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2 Filtrage linéaire (x2.5) 25

2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Théorème de filtrage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Composition et convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

3 Processus ARMA (x1.5) 37

3.1 Processus MA et processus AR . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.2 Résolution de l’équation ARMA . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 ARMA causal et inversible . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.4 Autocovariance d’un ARMA . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

4 Analyse spectrale (x2) 53

4.1 Coefficients de Fourier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.2 Théorème de Herglotz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3 Mesure spectrale d’un processus stationnaire . . . . . . . . . . . . . . . . . 57
4.4 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

5 Prédiction linéaire (x3) 67

5.1 Prédicteur linéaire optimal . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.2 Équations de Yule-Walker . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.3 Algorithme de Cholesky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.4 Algorithme de Levinson-Durbin . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.5 Algorithme de Gram-Schmidt (ou des innovations) . . . . . . . . . . . . . . 79
5.6 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

v
 Table des matières

6 Estimation (x1) 83
6.1 Estimation de la moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.2 Estimation de l’autocovariance . . . . . . . . . . . . . . . . . . . . . . . . . 87
6.3 Application aux tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

A Rappels d’analyse et probabilités 89

A.1 Espaces de suites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
A.2 Espaces de fonctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
A.3 Covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
A.4 Vecteur moyenne et matrice de covariance . . . . . . . . . . . . . . . . . . . 91

Bibliographie 93
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page vi/93.

Plan du cours. Le chapitre 1 introduit le concept de série temporelle, sa modélisation

stochastique, les notions de tendance, de saisonnalité, de processus stationnaire, d’auto-
covariance et de bruit blanc. Le chapitre 2 est consacré au filtrage linéaire des processus
stationnaires, un concept fondamental pour résoudre les équations linéaires du type ARMA.
Le chapitre 3 est consacré à l’étude des processus ARMA, qui constituent la classe la plus
courante de processus stationnaires. Le chapitre 4 est consacré à l’analyse spectrale des
processus stationnaires, éclairant d’une lumière toute spectrale les notions d’autocovariance,
de filtrage, et de causalité des processus ARMA. Le chapitre 5 est consacré à la prédiction
linéaire pour les processus stationnaires, en utilisant l’autocovariance. Le chapitre 6 est
consacré à l’estimation de la moyenne et de l’autocovariance. L’annexe ?? propose des
exemples concrets, et l’annexe A des rappels d’analyse et de probabilités. Une bibliographie
et un index figurent en fin de document. Les nombres entre parenthèse à la fin de l’intitulé
des chapitres indiquent le nombre approximatif de séances de cours.

vi
 Chapitre 1
Introduction (x2)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 1/93.
Mots-clés : série temporelle ; modèle additif ; tendance ; saisonnalité ; stationnarité ;
autocovariance ; bruit blanc ; opérateur retard ; opérateur différence.

Une série temporelle ou série chronologique est une suite d’observations d’un phé-
nomène physique 1 faites au cours du temps : consommation d’électricité, cours du pétrole,
population française, rythme cardiaque, relevé d’un sismographe, trafic Internet, ventes de
téléphones mobiles, hauteurs des crues du nil, température des océans, concentration en
dioxyde de carbone de l’atmosphère, taux de glucose dans le sang, côte de popularité du
président, etc. Il s’agit d’une suite finie 2 de valeurs réelles 3 , indicées par un temps continu
ou discret régulier, typiquement d’un signal échantillonné à une fréquence fixe. Les figures
1.2 et 1.3 donnent des représentations graphiques de quelques séries temporelles, fabriquées
grâce au programme pour le logiciel GNU-R donné par la figure 1.1 4 .
L’étude des séries temporelles poursuit plusieurs buts pratiques :
— une meilleure compréhension du phénomène physique représenté par la série ;
— une représentation simplifiée par un modèle stochastique ;
— une prédiction du futur de la série à partir de la partie observée.

1.1 Tendance, saisonnalité, bruit, opérateur retard

Une idée serait de tracer le graphe de la série temporelle t 7→ yt , puis de déterminer
une famille de fonctions qui ont la même allure, puis enfin de déterminer la meilleure
fonction en minimisant un critère d’ajustement comme les moindres carrés par exemple,
avec pénalisation du critère optimisé par la complexité de la fonction utilisée. Dans cette
approche, la famille de fonctions choisie constitue un modèle. On dit à ce propos : tous
les modèles sont faux, certains sont utiles. L’incorporation de bruit dans cette approche
conduit aux modèles analysés dans ce cours. Plus précisément, on s’intéresse à des modèles
additifs stochastiques du type
xt = dt + zt
où t 7→ dt est une fonction déterministe et où zt est un bruit aléatoire. La fonction
déterministe dépend typiquement d’un nombre réduit de paramètres qu’on cherche à estimer,
1. Physique au sens large, englobant la nature, par opposition à Mathématique ou Informatique.
2. Les données réelles sont des suites finies. Les modèles mathématiques «vont jusqu’à l’infini».
3. Rien n’empêche d’imaginer des valeurs complexes voire même vectorielles bien entendu.
4. Sous Debian GNU/Linux : sudo apt-get install r-base. L’environnement de développement
RStudio est disponible pour Debian, cf. [Link] Plus
généralement, on pourra consulter [Link]

1
 1. Introduction (x2)

# Inspiré du livre "Séries temporelles avec R" de Yves Aragon.

# [Link]("datasets") # déjà installé en général !
require(datasets)
#
data(Nile)
[Link](Nile,xlab='année',ylab='Nil')
data(uspop)
[Link](uspop,xlab='année',ylab='USpop')
#
data("AirPassengers")
[Link](AirPassengers,xlab='temps (mensuel, de 1949 à 1961)',ylab='passagers',las=1)
polygon(c(1958,1960,1960,1958),c(200,200,600,600),lty=2)
deb=c(1958,1); fin=c(1960,12)
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 2/93.

[Link](window(AirPassengers,start=deb,end=fin),xlab='année',ylab='passagers',las=1)
#
[Link](diff(AirPassengers),xlab="temps (mensuel)",ylab="log(passagers)")
[Link](diff(log(AirPassengers)),xlab="temps (mensuel)",ylab="log(diff(passagers))")

Figure 1.1 – Code GNU-R pour générer les figures 1.2 et 1.3.
200
150
population
100
50
0

1800 1850 1900 1950

année
1400
1000
Nil
600

1880 1900 1920 1940 1960

année

Figure 1.2 – Population des États-Unis (haut) et débit du Nil à Assouan (bas).
Ce type de graphique avec le temps en abscisse et la série en ordonnée est appelé
chronogramme. Ici le temps explique bien l’allure des deux séries.

2
 1.1. Tendance, saisonnalité, bruit, opérateur retard

600
500
passagers

400
300
200
100
1950 1954 1958

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 3/93.
temps (mensuel, de 1949 à 1961)
300 400 500 600
passagers

1958.0 1959.0 1960.0 1961.0

année
log(diff(passagers))
0.2
0.0
−0.2

1950 1954 1958

temps (mensuel)
La série d’origine figure dans le graphique du haut. Elle comporte une saisonnalité marquée
avec une variabilité croissante au cours du temps. Le graphique du bas figure la même
série après une différentiation, puis une transformation logarithmique qui a pour effet d’en
réduire l’hétérogénéité de la variance (hétéroscédasticité). Le graphique du milieux est
un zoom sur la zone rectangulaire en pointillés du graphique du haut. Il suggère une
analyse de la saisonnalité de la série pour comparer les mois par exemple.
Figure 1.3 – Nombre de passagers aériens.

3
 1. Introduction (x2)

30 40 50 60
température

1920 1925 1930 1935 1940

temps
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 4/93.

60
température
50
40
30

J F M A M J J A S O N D

20 40 60 80 20 40 60 80
rev(nottem) rev(nottem) rev(nottem) rev(nottem)

rev(nottem) rev(nottem) rev(nottem) rev(nottem)

rev(nottem) rev(nottem) rev(nottem) rev(nottem)

30 50

lag 1 lag 2 lag 3 50

30

lag 4 lag 5 lag 6

30 50

lag 7 lag 8 lag 9

50
30

lag 10 lag 11 lag 12

20 40 60 80

Figure 1.4 – Températures mensuelles à Nottingham Castle.

Chronogramme (haut), «month plot» (milieu), et «lag plot» (bas) de la série, réalisés
avec le code GNU-R ci-dessous, ou comment révéler la saisonnalité de cette série.

# Inspiré du livre "Séries temporelles avec R" de Yves Aragon.

data(nottem)
[Link](nottem,xlab="temps",ylab="température")
[Link](rev(nottem),12,layout=c(4,3),[Link]=FALSE,[Link]="red",[Link]="blue")
monthplot(nottem,ylab="température",main="",[Link]=1)

4
 1.1. Tendance, saisonnalité, bruit, opérateur retard

tandis que le bruit est supposé être stationnaire, c’est-à-dire que ses caractéristiques
statistiques comme son espérance et sa covariance ne varient pas au cours du temps.
Dans cette approche stochastique, (xt )t∈T est modélisée par une trajectoire (ω fixé !) d’un
processus stochastique (Xt )t∈T .
Une idée naturelle est de rechercher d’abord, au vu des données, la meilleure fonction
déterministe dt telle que le résidu xt − dt soit raisonnablement stationnaire. On est parfois
conduit à transformer les données pour stabiliser la variance, ou encore à les découper en
plages temporelles en fonction de ruptures structurelles.
La stationnarité de la partie aléatoire est utile pour effectuer une prévision par transla-
tion. Si par exemple on observe Z1 , . . . , Zt alors on peut estimer la matrice de covariance
de ce vecteur aléatoire, c’est-à-dire la structure L2 du vecteur aléatoire, qui est aussi par
stationnarité une estimation de la structure de covariance de Z1+1 , . . . , Zt+1 , ce qui permet

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 5/93.
de prédire le futur Zt+1 en utilisant une projection par moindres carrés sur les observations
Z2 , . . . , Z t .
Les séries temporelles stationnaires sont rares. Dans la pratique, on tente de s’y ramener
en effectuant des transformations qui éliminent par exemple une composante structurelle
déterministe. Le modèle additif le plus simple est de la forme

Xt = mt + st + Zt
| {z } |{z}
partie déterministe partie aléatoire

où mt , st , et Zt jouent les rôles suivants :

1. Tendance. La fonction t 7→ mt est une fonction qui varie lentement, appelée
tendance. Exemple : tendance polynomiale mt = a0 + a1 t + · · · + ad td (linéaire si
d = 1). Concrètement, une analyse graphique suggère souvent une valeur de d, ce qui
permet ensuite d’estimer a par moindres carrés :
n
â = arg min
X
(xt − mt )2 .
a
t=1

Pour d = 2 par exemple, et des temps d’observations t1 , . . . , tn , on pose

1 t1 t21
   
x1
 
a0
X =  ...  , a = a1  , A =  ... ... .. 
.
   

xn a2 1 tn t2n

ce qui donne l’estimation par moindre carrés 5

 
â0
â = â1  = arg min kX − Aak22 = (A> A)−1 A> X,
a
â2

avec pour résidus d’estimation

x − Aâ = x − A(A> A)−1 A> X;

5. Revient à minimiser la fonction quadratique convexe ϕ(a) = kX − Aak22 . On a ϕ(a + h) − ϕ(a) =

2hAa, Ahi−2hX, Ahi+kAhk22 = h∇ϕ(a), hi+o(khk), d’où ∇ϕ(a) = 2A> Aa−2A> X. Or A> A est inversible
car A est de rang plein (ti 6= tj si i 6= j), d’où ∇ϕ(a) = 0 ssi a = (A> A)−1 A> X.

5
 1. Introduction (x2)

2. Saisonnalité. La fonction t 7→ st est une fonction périodique, appelée composante

saisonnière (journalière, hebdomadaire, mensuelle, annuelle, etc). Un exemple est
donné par une fonction trigonométrique de la forme
k
(aj cos(λj t) + bj sin(λj t))
X
s t = a0 +
j=1

où les aj et bj sont inconnus et où les λi et λj sont des multiples entiers connus de

2π/d. On devine d et les λi et λj puis on estime les ai , bj par moindres carrés. Par
exemple, pour k = 1 et λ1 = 2π/12 on utilise
1 cos(λ1 t1 ) sin(λ1 t1 )
   
â0
. .. ..
â1  = (A> A)−1 A> X avec A =   ..
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 6/93.

. . ;

b̂1 1 cos(λ1 tn ) sin(λ1 tn )
3. Bruit. Le processus (Zt )t∈Z est un bruit qu’on espère stationnaire.

Dans la pratique, voici les étapes qu’on peut tenter de suivre :

1. Tracer la série temporelle et rechercher graphiquement la présence d’une tendance et
d’une composante saisonnière (la nature des données peut aider) ;
2. Modéliser la tendance et la composante saisonnière (on peut s’aider des opérateurs
∆ et ∆d définis ci-après pour aller vite). Dans les moindres carrés, à valeur égale du
critère minimisé, on préfère le modèle le moins complexe ;
3. Modéliser les résidus (en utilisant l’autocovariance définie plus loin).
Ci-dessous, un opérateur est une application définie sur l’ensemble X des processus.

Définition 1.1 : Opérateurs retard et différence

L’opérateur retard B décale le processus d’un cran vers le passé :

∀t ∈ Z, (BX)t = Xt−1 .

L’opérateur différence ∆ est défini par a

∀t ∈ Z, (∆X)t = Xt − Xt−1 = (1 − B)Xt .

Pour tout entier d ≥ 1, l’opérateur différence saisonnier ∆d est défini par

∀t ∈ Z, (∆d X)t = Xt − Xt−d = ((1 − B d )X)t .

a. Ici 1 ou I désigne l’opérateur identité.

Notons que ∆ = ∆1 . L’opérateur différence ∆ agit comme une dérivation par rapport
au paramètre t. Il permet d’éliminer une tendance linéaire :
∆(a + bt + Zt ) = b + Zt − Zt−1 .
La partie constante a est éliminée, la partie linéaire bt est transformée en la constante
b, tandis que la partie aléatoire Zt subit une transformation linéaire (préserve l’éventuel
caractère stationnaire). Plus généralement, l’opérateur différence d’ordre n
n  
n−k n
X
n n
∆ =∆ | ·{z
· · ∆} = (1 − B) = (−1) B n−k ,
k
n-fois k=0

6
 1.2. Processus stationnaires

(avec la convention B 0 = 1) élimine les tendances polynomiales de degré < n, par exemple

∆2 (a + bt + ct2 + Zt ) = 2c + (Zt − 2Zt−1 + Zt−2 ).

Pour éliminer une composante saisonnière de période d, on utilise l’opérateur différence

saisonnier
∆d = (1 − B d ).
Si par exemple st est de période d alors ∆d (mt + st + Zt ) = mt − mt−d + Zt − Zt−d . Notons
que ∆d transforme une tendance linéaire at en une constante ad.
Des exemples concrets d’élimination de tendance et de saisonnalité par différentiation
sont donnés dans les figures 1.5, 1.6, 1.7.
De manière synthétique, l’approche revient à modéliser la série temporelle observée par

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 7/93.
un processus X solution du modèle implicite (ou problème inverse)

P (B)X = Y

où
— P (B) est un polynôme (estimable) de l’opérateur retard B ;
— Y est un processus stationnaire (covariance estimable).
On dit que X s’obtient en intégrant (inverse de la différentiation) Y . Si l’opérateur P (B)
ne fait intervenir que ∆ et si de plus Y est modélisé par un processus stationnaire ARMA
(Auto Regressive Moving Average, introduit par la suite), alors on dit que X est un
processus ARIMA (Auto Regressive Integrated Moving Average). Lorsque P (B) fait
également intervenir l’opérateur de différentiation saisonnière ∆d , alors on dit que X est
un processus SARIMA (Seasonal ARIMA).

La suite du cours est consacrée à la modélisation des processus stationnaires.

Sauf mention explicite du contraire, on considère un temps discret indicé par

T = Z.

Les variables aléatoires sont définies sur un même espace de probabilité

(Ω, A, P).

1.2 Processus stationnaires

Un processus stochastique ou processus est une famille (Xt )t∈Z de variables aléa-
toire à valeurs dans R. Le temps est en indice et l’aléa entre parenthèses :

Ω×Z → R
(ω, t) 7→ Xt (ω)

Pour tout t ∈ T , Xt est une variable aléatoire. Pour tout ω ∈ Ω, on dit que la fonction du
temps t 7→ Xt (ω) est une trajectoire du processus.

Définition 1.2 : Processus fortement stationnaire

Le processus (Xt )t∈Z est fortement stationnaire lorsque pour tout h ∈ Z et toute
suite finie t1 , . . . , tn ∈ Z de longueur n ≥ 1 quelconque, les vecteurs aléatoires

7
 1. Introduction (x2)

200
150
population
100
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 8/93.

50
0

1800 1850 1900 1950

année
25
20
dpop
15
10
5

1800 1850 1900 1950

année
10
5
ddpop
0
−5

1850 1900 1950

année

Figure 1.5 – Exemple d’élimination de tendance par différentiation.

La série d’origine (haut), après différentiation de degré 1 (milieu), et après différentiation
de degré 2 (bas), grâce au code GNU-R ci-dessous.

# Inspiré du livre "Séries temporelles avec R" de Yves Aragon.

[Link](uspop,xlab='année',ylab='population')
[Link](diff(uspop),xlab='année',ylab='dpop')
[Link](diff(uspop, differences = 2),xlab='année',ylab='ddpop')

8
 1.2. Processus stationnaires

600
500
400
passagers
300
200

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 9/93.
100

1950 1952 1954 1956 1958 1960

année
60
40
ds
20
0

1950 1952 1954 1956 1958 1960

année
40
20
dds
0
−20
−40

1950 1952 1954 1956 1958 1960

année

Figure 1.6 – Exemple d’élimination de saisonnalité et de tendance par différentiation.

La série d’origine (haut) est celle du nombre de passagers aériens, ce qui conduit à effectuer
une différentiation saisonnière ∆12 (milieu), puis une différentiation supplémentaire de
degré 1 pour éliminer la tendance (bas). Le code GNU-R est donné ci-dessous :

# Inspiré du livre "Séries temporelles avec R" de Yves Aragon.

[Link](AirPassengers,xlab='année',ylab='passagers')
[Link](diff(AirPassengers,lag=12),xlab='année',ylab='ds')
[Link](diff(diff(AirPassengers,lag=12)),xlab='année',ylab='dds')

9
 1. Introduction (x2)

500
data
300
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 10/93.

100

60
seasonal

20
−20
−60
500
400
trend
300
200

60
remainder

0 20
−40
1950 1952 1954 1956 1958 1960
time

Figure 1.7 – Estimation de la tendance et de la saisonnalité par moindre carrés.

Série : nombre de passagers aériens. Code GNU-R :

# Inspiré du livre "Séries temporelles avec R" de Yves Aragon.

# Plusieurs fonctions permettent un ajustement (entre autres choses) :
# lsfit : Find the Least Squares Fit
# lm : Fitting Linear Models
# arima : ARIMA Modelling of Time Series
# stl : Seasonal Decomposition of Time Series by "Loess"
# Les fonctions lsfit, lm, et arima nécessitent de se fixer un modèle.
# La fonction stl en revanche intègre un traitement automatique.
plot(stl(AirPassengers,[Link]="periodic"))

10
 1.2. Processus stationnaires

(Xt1 , . . . , Xtn ) et (Xt1 +h , . . . , Xtn +h ) ont même loi.

La stationnarité forte est une propriété d’invariance en loi du processus par translation
temporelle. Le concept n’est pas creux : si les variables aléatoires (Xt )t∈T sont i.i.d. alors
(Xt )t∈T est fortement stationnaire (la réciproque est fausse).

Définition 1.3 : Second ordre : moyenne et autocovariance

Le processus (Xt )t∈Z est un processus du second ordre lorsque E(|Xt |2 ) < ∞
pour tout t ∈ Z. Pour un tel processus, on définit la fonction moyenne µX : Z → R
et la fonction d’autocovariance γX : Z × Z → R par

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 11/93.
µX (t) = E(Xt ) et γX (s, t) = Cov(Xs , Xt ).

Rappelons que si Lp désigne l’espace de Lebesgue des variables aléatoires possédant un

moment d’ordre p fini, alors L2 ⊂ L1 . Pour tous s, t ∈ Z, Xt ∈ L2 ⊂ L1 et

γt (s, t) = Cov(Xs , Xt )
= E((Xs − E(Xs ))(Xt − E(Xt )))
= E(Xs Xt ) − E(Xs )E(Xt )
= E(Xs Xt ) − µX (s)µX (t).

Par analogie avec les vecteurs aléatoires finis usuels de Rn , le vecteur (infini) aléatoire
(Xt )t∈Z a pour vecteur (infini) moyenne µX et pour matrice (infinie) de covariance γX =
(γX (s, t))s,t∈Z . De ce point de vue, il n’est pas étonnant que γX soit symétrique à diagonale
réelle ≥ 0 (la diagonale donne les variances des composantes) :

γX (t, t) = Var(Xt ) = E(Xt2 ) − E(Xt )2 .

La dépendance à longue portée au sens L2 (corrélation) est mesurée par γX (t, t + h) quand
h est grand (ne dépend pas de t si le processus est stationnaire).

Définition 1.4 : Stationnarité

On dit qu’un processus du second ordre (Xt )t∈Z est faiblement stationnaire ou tout
simplement stationnaire lorsque pour tout h ∈ Z et toute suite finie t1 , . . . , tn ∈ Z
de longueur n ≥ 1 quelconque, les vecteurs aléatoires

(Xt1 , . . . , Xtn ) et (Xt1 +h , . . . , Xtn +h ).

ont même espérance et matrice de covariance. Cela revient à dire, de manière

équivalente, que µX est constante et γX est invariante par translation :

∀s, t, h ∈ Z, µX (t) = µX (t + h) et γX (s, t) = γX (s + h, t + h).

Si (Xt )t∈Z est stationnaire alors γX (s, t) = γX (0, t − s) pour tous s, t ∈ Z. Ainsi, la
covariance γX (s, t) = Cov(Xs , Xt ) ne dépend que de l’écart temporel t − s. Dans ce cas, la
fonction à deux variables (matrice infinie) γX peut être remplacée par une fonction à une
seule variable (vecteur infini), notée également γX :

11
 1. Introduction (x2)

Définition 1.5 : Autocovariance

Si (Xt )t∈Z est stationnaire, sa fonction d’autocovariance est définie par

Z → R
h 7→ γX (h) = γX (0, h) = Cov(Xt , Xt+h ) (∀t ∈ Z)

de sorte que γX (s, t) = γX (t − s) pour tous s, t ∈ Z.

Si (Xt )t∈Z est stationnaire, alors non seulement sa fonction moyenne t 7→ µX (t) est
constante, mais sa fonction variance t 7→ σt2 aussi car
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 12/93.

σt2 = Var(Xt ) = γX (t, t) = γX (0)

ne dépend plus de t. Idem pour t 7→ E(Xt2 ) = σt2 + µX (t)2 = γX (0)2 + µ2X .

Définition 1.6 : Fonction d’autocorrelation

Si (Xt )t∈Z est stationnaire, sa fonction d’autocorrélation est définie par

Z → [−1, 1]
γX (h) Cov(Xt , Xt+h )
h 7→ ρX (h) = =p (∀t ∈ Z).
γX (0) Var(Xt )Var(Xt+h )

Le termes sont bien choisis :

Théorème 1.7 : Stationnarité faible et forte

Un processus du second ordre fortement stationnaire est toujours stationnaire. La

réciproque est fausse : il existe des processus stationnaires qui ne sont pas fortement
stationnaire.

Démonstration. Si (Xt )t∈Z est un processus du second ordre fortement stationnaire alors
pour tous s, t, h ∈ Z, les vecteurs aléatoires (Xs , Xt ) et (Xs+h , Xt+h ) ont la même loi, et
donc la même moyenne et la même matrice de covariance, ce qui entraîne la constante de
µX et l’invariance par translation de γX , d’où la stationnarité de X.
Construisons un contre-exemple pour la réciproque. Soit (Xt )t∈Z des v.a.r. indépen-
dantes avec Xt de loi L si t est pair, et de loi L0 6= L si t est impair, avec L et L0 de même
moyenne et variance, par exemple L = Exp(1) et L0 = N (1, 1). On a alors γX (s, t) = 0 si
s 6= t par indépendance tandis que γX (s, s) = 1, ce qui fait que le processus est stationnaire,
mais pas fortement stationnaire car les Xt n’ont pas même loi !
1→2
La moyenne et l’autocovariance constituent les deux premiers moments du processus,
et les deux premiers moments ne suffisent pas à caractériser pas la loi. Au delà de la
stationnarité, si X et Y sont deux processus du second ordre tels que µX = µY et γX = γY
alors X et Y ne sont pas forcément de même loi (sauf pour les processus gaussiens !).

12
 1.2. Processus stationnaires

Définition 1.8 : Processus gaussiens

On dit que (Xt )t∈Z est un processus gaussien lorsque (Xt1 , . . . , Xtn ) est un vecteur
gaussien pour toute suite finie t1 , . . . , tn dans Z de longueur n ≥ 1 quelconque. Un
processus gaussien est toujours du second ordre.

Pour un processus gaussien, la stationnarité forte est équivalente à la stationnarité

(faible) car la loi d’un vecteur gaussien est caractérisée par sa moyenne et sa covariance.

Définition 1.9 : Bruit blanc

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 13/93.
Un processus stationnaire (Zt )t∈Z de moyenne µ et d’autocovariance γZ est un…
— bruit blanc faible ou bruit blanc si Cov(Zs , Zt ) = 0 pour tous s 6= t ;
— bruit blanc moyennement fort si Zs et Zt sont indépendantes pour tous
s 6= t, c’est-à-dire que (Zt )t∈Z sont deux à deux indépendantes ;
— bruit blanc fort lorsque les variables (Zt )t∈Z sont indépendantes ;
— bruit blanc très fort lorsque les variables (Zt )t∈Z
sont i.i.d.
Dans tous les cas γZ (h) = σ 1h=0 et on note BB µ, σ . Dans ces notes de cours,
2 2

lorsque la moyenne du BB n’est pas précisée, elle vaut zéro par convention.

Le terme «bruit blanc» tire son sens de l’analyse spectrale abordée plus loin.

Exemple 1.10 : Bruit blanc gaussien

Si X = (Xt )t∈Z sont i.i.d. de loi N (m, σ 2 ) alors X est un BB m, σ 2 fort gaussien.

La figure 1.8 propose une simulation d’un bruit blanc gaussien.

Exemple 1.11 : Élémentaire ?

L’exemple le plus élémentaire de processus stationnaire est donné par Xt = A pour

tout t ∈ Z, où A est une v.a.r. de carré intégrable. Les trajectoires du processus sont
des constantes. On a µX (t) = E(A) et γX (s, t) = Var(A) pour tous s, t ∈ Z.

Exemple 1.12 : Processus harmonique

Soient A, B deux v.a.r. non corrélées de moyenne 0 et de variance σ 2 , et θ ∈ [−π, π]

une constante. On considère le processus harmonique défini par

∀t ∈ Z, Xt = A cos(θt) + B sin(θt).

13
 1. Introduction (x2)

0 1 2 3
valeur
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 14/93.

−2

1950 1952 1954 1956 1958 1960 1962

temps
0.0 0.5 1.0
valeur
−1.0

1950 1952 1954 1956 1958 1960 1962

temps
0 2 4
valeur
−4
−8

1950 1952 1954 1956 1958 1960 1962

temps

Figure 1.8 – Simulation d’un BB(0, 1) (loi de Gauss, Rademacher, Student).

Code GNU-R utilisé pour la simulation :

# Création d'une série mensuelle, à partir de janvier 1950

bbg = ts(rnorm(150,0,1),start=c(1950,1),frequency=12) # Gauss
[Link](bbg,xlab='temps',ylab='valeur')
bbb = ts(2*rbinom(150,1,1/2)-1,start=c(1950,1),frequency=12) # Rademacher
[Link](bbb,xlab='temps',ylab='valeur')
n = 2.1;
bbt = ts(rt(150,n,0)*sqrt(1-2/n),start=c(1950,1),frequency=12) # Student
[Link](bbt,xlab='temps',ylab='valeur')

14
 1.2. Processus stationnaires

Xt

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 15/93.
(A, B) = (1, 5)
(A, B) = (2, 2)

(A, B) = (5, 1)

Figure 1.9 – Trois trajectoires d’un processus harmonique de fréquence θ = 1.

Le processus est centré : E(Xt ) = cos(θt)E(A) + sin(θt)E(B) = 0. D’autre part

E(Xt Xt+h ) = cos(θt) cos(θ(t + h))E(A2 ) + sin(θt) sin(θ(t + h))E(B 2 )

+ (· · · ) E(AB)
| {z }
=0
= σ Re(e e
2 iθt −iθ(t+h)
) = σ 2 Re(e−iθh ) = σ 2 cos(θh),

qui ne dépend pas de t, donc X est stationnaire, d’autocovariance γX (h) = σ 2 cos(θh).

Pourtant, les trajectoires du processus sont régulières, et ne ressemblent pas à l’idée
qu’on se fait d’un processus stationnaire. Cela vient de la manière de rendre aléatoires
les trajectoires, via les amplitudes A et B seulement. Une trajectoire de processus
harmonique a la même allure qu’une saisonnalité pure, cf. figure 1.9. Un processus
harmonique est une saisonnalité à amplitude aléatoire en quelque sorte. L’exemple
1.20 révèle une propriété déterministe très naturelle du processus harmonique.

Tout processus est une variable aléatoire à valeurs trajectoires. Observer une seule
trajectoire du processus revient à observer une seule réalisation de cette variable aléatoire.

Remarque 1.13 : Comment reconnaître une suite stationnaire

Une suite doublement infinie de variables aléatoires est stationnaire quand la moyenne
est constante et l’autocovariance est invariante par translation, en particulier la
variance est constante. Sauf à se restreindre à un modèle particulier comme les suites
récurrentes aléatoires, l’observation d’une seule trajectoire d’un processus ne nous
renseigne pas beaucoup sur la structure de son aléa : c’est un échantillon de taille
1 de la loi des trajectoires ! Or la stationnarité est liée à la structure de l’aléa, et

15
 1. Introduction (x2)

ceci explique pourquoi elle est difficile à appréhender visuellement, comme l’illustre
l’exemple 1.12 du processus harmonique, pour lequel les trajectoires sont régulières. Il
est malgré tout possible de tester la stationnarité en précisant un modèle. Le test de
Kwiatkowski-Phillips-Schmidt-Shin (KPSS) de la commande GNU-R [Link] par
exemple permet de tester la stationnarité dans le cadre d’un modèle additif simple.

Dans la pratique, la stationnarité des séries temporelles peut s’avérer être une hy-
pothèse raisonnable sur une plage observée, mais restera toujours hypothétique lors
d’une prédiction, qui va par définition au delà des plages observées. Concepts reliés :
ruptures, catastrophes, «cygnes noirs» (black swans), etc.
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 16/93.

1.3 Suites récurrentes aléatoires et processus ARMA

Les suites récurrentes aléatoires constituent le modèle de processus le plus répandu.

Définition 1.14 : Suites récurrentes aléatoires d’ordre fini – ARMA(p, q)

Soit p, q ∈ N et T ∈ {N, Z}. On dit qu’un processus (Xt )t∈T est une suite récurrente
aléatoire d’ordre (p, q) lorsque pour tout t > p, la variable aléatoire Xt est une
fonction du passé Xt−1 , . . . , Xt−p et de bruits Zt , Zt−1 , . . . , Zt−q où (Zt )t∈Z est un BB.
C’est le cas par exemple si pour une fonction f fixée on a

∀t > p, Xt = f (Xt−1 , . . . , Xt−p , Zt , Zt−1 , . . . , Zt−q ).

— On dit que le processus est markovien lorsque (p, q) = (1, 0) ;

— On dit que le processus a une mémoire longue lorsque p = ∞ ;
— On dit que le processus est un ARMA(p, q) lorsque T = Z et f est linéaire ;
le cas q = 0 correspond aux processus AR(p) (Auto Regressive) tandis que le
cas p = 0 correspond aux processus MA(q) (Moving Average).

Considérons une équation de récurrence aléatoire d’ordre (p, q) en X = (Xt )t∈T . Si

T = N alors X est bien défini par récurrence à partir des valeurs initiales X0 , . . . , Xp−1
et de Z grâce à l’équation de récurrence. Si en revanche T = Z, alors l’existence d’un
tel X n’est pas claire. Le but du cours est d’aborder les questions suivantes :
— Sous quelles conditions les processus ARMA(p, q) existent-ils ?
— Sont-ils stationnaires ? Quelles sont leurs propriétés ?
— Comment les ajuster au mieux aux observations ?
— Comment s’en servir pour effectuer des prévisions ?

Examinons tout d’abord quelques cas particuliers simples.

Exemple 1.15 : Processus à moyenne mobile (MA)

Un processus (Xt )t∈Z est à moyenne mobile (MA : Moving Average) lorsque

∀t ∈ Z, Xt = Zt + θZt−1

16
 1.3. Suites récurrentes aléatoires et processus ARMA

où Z = (Zt )t∈Z est un BB 0, σ 2 . On a µ(t) = E(Zt ) + θE(Zt−1 ) = 0 et

si |s − t| > 1 ;

0

γ(s, t) = E(Xs Xt ) = θσ 2 si |s − t| = 1 ;
si s = t.

(1 + θ2 )σ 2


En effet, comme µZ = 0 et γZ (h) = σ 2 1h=0 , il vient, pour tous t, h ∈ Z,

E(Xt Xt+h ) = E((Zt + θZt−1 )(Zt+h + θZt+h−1 ))

= E(Zt Zt+h ) + θ2 E(Zt−1 Zt+h−1 ) + θE(Zt−1 Zt+h ) + θE(Zt Zt+h−1 )
= γZ (h) + θ2 γZ (h) + θγZ (h + 1) + θγZ (h − 1)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 17/93.
= (1 + θ2 )σ 2 1h=0 + θσ 2 1h=±1 .

Ce processus du second ordre est donc stationnaire. Si Z est un BB fortement

stationnaire, alors X est aussi fortement stationnaire car

(Xt1 , . . . , Xtn ) = (Zt1 , . . . , Ztn ) + θ(Zt1 −1 , . . . , Ztn −1 )

= F (Zt1 , . . . , Ztn , Zt1 −1 , . . . , Ztn −1 )
loi
= F (Zt1 +h , . . . , Ztn +h , Zt1 +h−1 , . . . , Ztn +h−1 )
= (Xt1 +h , . . . , Xtn +h ).

Plus généralement, pour h et θ0 , . . . , θq fixés, on peut considérer le processus MA(q)

Xt = θ0 Zt + θ1 Zt−1 + · · · + θh Zt−q .

Proposition 1.16 : Stationnarité et auto-covariance d’un MA(q)

Soit
Xt = θ0 Zt + θ1 Zt−1 + · · · + θh Zt−q
un processus MA(q). Alors (Xt )t∈Z est stationnaire et γX (h) = 0, ∀|h| > q.

Des résultats plus généraux concernant les processus ARMA(p, q) seront présentés au
Chapitre 3.

Démonstration. Nous avons bien

q
X
µX (t) = θj E[Zt−j ] = 0
j=0

17
 1. Introduction (x2)

constant. Calculons maintenant l’auto-covariance :

 
q q
γX (t, t + h) = Cov(Xt , Xt+h ) = Cov 
X X
θj Zt−j , θk Zt+h−k 
j=0 k=0
q X
q
θj θk Cov (Zt−j , Zt+h−k )
X
=
j=0 k=0
q X q q X
q
θj θk 1k−j=h ,
X X
2
= θj θk γZ (h − k + j) = σ
j=0 k=0 j=0 k=0

qui ne dépend pas de t. Cela implique que (Xt )t∈Z est stationnaire, de fonction d’auto-
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 18/93.

covariance
q X
q
θj θk 1k−j=h .
X
2
γX (h) = σ
j=0 k=0

En particulier, si j, k ∈ {0, ..., q}, nous avons −q ≤ k −j ≤ q, ce qui implique que γX (h) = 0
dès que h < −q ou h > q.

Exemple 1.17 : Marche aléatoire

On peut étudier les séries temporelles avec une origine des temps, ce qui revient à
indexer le temps par l’ensemble N au lieu de l’ensemble Z. Considérons par exemple
la marche aléatoire X = (Xt )t∈N définie par X0 = 0 et l’équation de récurrence
linéaire d’ordre 1 ou AR(1) suivante :

Xt+1 = Xt + Zt+1 = Z1 + · · · + Zt+1

où (Zn )n≥1 sont des variables aléatoires indépendantes et identiquement distribuées

de moyenne 0 et de variance σ 2 . La moyenne vaut µ(t) = E(Xt ) = 0. Le processus X
n’est pas stationnaire car comme pour tous t, h ∈ N,

Xt = Z1 + · · · + Zt et Xt+h − Xt = Zt+1 + · · · + Zt+h

sont indépendantes et centrées, on a Cov(Xt , Xt+h − Xt ) = 0, d’où

γ(t, t + h) = Cov(Xt , Xt+h − Xt + Xt )

= Cov(Xt , Xt+h − Xt ) + Var(Xt )
= Var(Xt )
= tσ 2

qui dépend de t. La marche aléatoire est un processus AR(1) non stationnaire.

1.4 Autocovariance et matrices de Toeplitz

Si (Xt )t∈Z est stationnaire alors pour toute suite finie t1 , . . . , tn dans Z, la matrice de
covariance Γ du vecteur aléatoire (Xt1 , . . . , Xtn ) vérifie

Γj,k = Cov(Xtj , Xtk ) = γ(tk − tj ).

18
 1.4. Autocovariance et matrices de Toeplitz

De plus, si les t1 , . . . , tn sont régulièrement espacés alors les coefficients de Γ sont constants le
long de chaque diagonale : on dit qu’il s’agit d’une matrice de Toeplitz. Plus généralement,
le vecteur (infini) aléatoire (Xt )t∈Z a pour matrice (infinie) de covariance (γX (t − s))s,t∈Z ,
dont les coefficients sont constants le long des diagonales.

Dans toute la suite, on réservera la lettre i au nombre complexe (0, 1) et on utilisera

plutôt les lettres j, k, h pour indexer les sommes.

 
γ(0) γ(1) γ(2) γ(p − 1)
... ...
.. ..
. .

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 19/93.
 
 γ(1) γ(0) γ(1) 
.. .. .. .
..
 
. . .
 
 γ(2) γ(1) 
(γ(j − k))1≤j,k≤p = .. . . ..
.
. .

. . . .

 γ(1) γ(2) 
.. ..
 
. . γ(1) γ(0)
 
 γ(1) 
γ(p − 1) . . . . . . γ(2) γ(1) γ(0)

Théorème 1.18 : Autocovariance

Si γ : Z → R est la fonction d’autocovariance d’un processus stationnaire alors elle

est symétrique de type positif, c’est-à-dire qu’elle vérifie les propriétés suivantes :
1. γ(h) = γ(−h) pour tout h ∈ Z ;
2. pour tout n ≥ 1, et tout t ∈ Zn , la matrice Γ = (γ(tj − tk ))1≤j,k≤n vérifie :
n X
X n
n
∀v ∈ R , hv, Γvi = vj γ(tj − tk )vk ≥ 0.
j=1 k=1

De plus Γ1,1 = · · · = Γn,n = γ(0) ≥ 0 et |γ(h)| ≤ γ(0) pour tout h ∈ Z. Récipro-

quement, si γ : Z → R est symétrique et de type positif, alors c’est la fonction
d’autocovariance d’un processus (fortement) stationnaire gaussien.

Note : la seconde condition signifie que le spectre de la matrice symétrique Γ est ≥ 0.

Note : on ne perd rien à prendre t = (1, . . . , n), quitte à extraire une sous-matrice.

Preuve (en partie facultative). Le vecteur aléatoire (Xt1 , . . . , Xtn ) de Rn a pour matrice
de covariance Γ = (γ(tj − tk ))1≤j,k≤n . En posant

V = (Xt1 − E(Xt1 ), . . . , Xtn − E(Xtn )),

on a, en utilisant la linéarité de l’espérance et le fait que v > V est une v.a.r. centrée,
n X
n
vj Γj,k vk = v > E(V V > ) v = E(|v > V |2 ) = Var(v > V ) ≥ 0.
X
| {z }
j=1 k=1
matrice !

Enfin, on a γ(0) = Var(Xt ) ≥ 0 pour tout t ∈ Z, et pour tout h ∈ Z,

γ(h) = Cov(Xt , Xt+h ) = Cov(Xt+h , Xt ) = γ(−h),

19
 1. Introduction (x2)

tandis que par l’inégalité de Cauchy–Schwarz dans L2 ,

|γ(h)| = |E((Xt − E(Xt ))(Xt+h − E(Xt+h )))| ≤ Var(Xt ) Var(Xt+h ) = γ(0).

p p

Cette partie de la preuve est facultative. Il nous reste à constuire un processus à

fonction d’autocovariance prescrite γ (symétrique de type positif). Munissons RZ de la
topologie produit, qui est la topologie la moins fine rendant les projections (applications
coordonnées) continues, et de la tribu borélienne associée, qui coincide avec la tribu produit
engendrée par les cylindres. Nous allons construire une loi gaussienne sur RZ (i.e. les lois
marginales de dimension finie sont gaussiennes), invariante par translation, centrée, et de
fonction de covariance γ. On considère tout d’abord une suite de v.a.r. i.i.d. (Zk )k∈Z de loi
gaussienne centrée réduite. La loi de cette suite est une loi gaussienne produit sur RZ . Pour
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 20/93.

tout entier n ≥ 0, on construit, par exemple grâce à la décomposition de Cholesky.

(théorème 5.6), une matrice L ∈ M2n+1,2n+1 (R) telle que

LL> = (γ(j − k))−n≤j,k≤n ,

de sorte que Y = L(Zk )−n≤k≤n soit un vecteur gaussien de matrice de covariance LL> .
On pose alors Xk = Yk si −n ≤ k ≤ n et Xk = Zk sinon. On peut alors montrer que X
converge en loi quand n → ∞ (fonctions test d’un nombre fini de variables).
2→3

1.5 Compléments
Soit X = (Xt )t∈Z un processus du second ordre. Pour tout t ∈ Z, on note

Ht−1 := vect{Xt−1 , Xt−2 , . . .}

l’adhérence dans L2 du sous-espace vectoriel vect{Xt−1 , Xt−2 , . . .}, c’est-à-dire l’ensemble

des combinaisons linéaires ∞ t−k convergentes dans L . On note également
2
P
k=1 ϕ k X

Xt∗ := proj(Xt , Ht−1 ) = arg min kXt − Y k2 ∈ Ht−1

Y ∈Ht−1

la projection orthogonale dans L2 de Xt ∈ L2 sur le sous-espace vectoriel fermé Ht−1 ⊂ L2 .

Ces notions hilbertiennes sont centrales dans le chapitre 5 sur la prédiction linéaire. Xt∗
est la prévision optimale de Xt .
On note également
εt = Xt − Xt∗ ,
εt est appelé innovation.

Définition 1.19 : Processus déterministe

Un processus du second ordre (Xt )t∈Z est déterministe lorsque pour tout t ∈ Z,

Xt ∈ Ht−1 := vect{Xt−1 , Xt−2 , . . .}.

Autrement dit Xt = proj(Xt , Ht−1 ) dans L2 pour tout t ∈ Z.

Note : si X est gaussien alors proj(Xt , Ht−1 ) = proj(Xt , L2 (Ft−1 )) = E(Xt | Ft−1 ) où
Ft−1 est la tribu engendrée par Xt−1 , Xt−2 , ...

20
 1.5. Compléments

Exemple 1.20 : Le processus harmonique stationnaire est déterministe

Montrons que le processus harmonique de l’exemple 1.12 est déterministe. Pour

tout t ∈ Z, les formules trigonométriques 2 cos(a) cos(b) = cos(a + b) + cos(a − b) et
2 cos(a) sin(b) = sin(a + b) + sin(b − a) donnent, pour tout t ∈ Z,

Xt = 2 cos(θ)Xt−1 − Xt−2 ∈ Ht−1 , d’où Xt = proj(Xt , Ht−1 ).

Ceci n’est pas étonnant car les trajectoires du processus harmonique sont des sinusoïdes
dont la seule source d’aléa est l’amplitude, ce qui fait qu’à chaque instant, il est
parfaitement possible de prédire le futur de la trajectoire à partir de son passé.

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 21/93.
Lemme 1.21 : Processus stationnaire non déterministe

Soit X = (Xt )t∈Z un processus stationnaire. Alors t ∈ Z 7→ E((Xt − proj(Xt , Ht−1 ))2 )
est constante. Si σ 2 est sa valeur, alors X est déterministe si et seulement si σ 2 = 0.

Un bruit blanc à variance non nulle est un exemple de processus non déterministe. En
effet, si Z ∼ BB 0, σ 2 avec σ 2 > 0 alors Zt ⊥ Ht−1 := vect{Zt−1 , Zt−2 , . . .} pour tout

t ∈ Z d’où proj(Zt , Ht−1 ) = 0 et kZt − proj(Zt , Ht−1 )k22 = kZt k22 = σ 2 > 0.
Démonstration du lemme 1.21. Pour tout t ∈ Z, le sous espace vectoriel Ht−1 est formé
par l’ensemble des séries de la forme
∞
X
ϕk Xt−k
k=1

qui convergent dans L2 . Montrons que l’ensemble Φ des coefficients (ϕk )k≥1 qui garantit la
convergence dans L2 ne dépend pas de t. Pour tous s ≥ r ≥ 1 on a
r
X r
X r
X
k ϕk Xt−k k22 = ϕj ϕk E[Xt−k Xt−j ] = ϕj ϕk (γX (j − k) + µ2X ),
k=s j,k=s j,k=s

quantité qui ne dépend pas de t. Ainsi le critère de Cauchy ne dépend

P∞ pas de t, ce qui
signifie que Φ ne dépend pas de t. À présent on a proj(Xt , Ht−1 ) = k=1 ϕk Xt−k avec
∞
(ϕk )k≥1 = arg inf
X
ϕj ϕk (γX (j − k) + µ2X )
ϕ∈Φ
j,k=0

où on a posé Y = et ϕ0 := −1. Il en découle que

P∞
k=1 ϕk Xt−k
∞
proj(Xt , Ht−1 )k22 inf = inf
X
kXt − = kXt − Y k22 ϕj ϕk γX (j − k),
Y ∈Ht−1 ϕ∈Φ
j,k=0

quantité qui ne dépend pas de t. Enfin E((Xt − proj(Xt , Ht−1 ))2 ) = 0 si et seulement si
Xt = proj(Xt , Ht−1 ) dans L2 .
La décomposition de Wold motive l’étude de processus de la forme k∈Z αk Yt−k ,
P
au moins dans le cas agréable où α ∈ `1 (Z). C’est précisément l’objet du chapitre suivant.

21
 1. Introduction (x2)

Théorème 1.22 : Décomposition ou représentation de Wold

Si (Xt )t∈Z est un processus stationnaire non déterministe alors pour tout t ∈ Z,

(1.1)
X
Xt = Dt + αk εt−k ,
k∈Z

dans L2 , où (Dt )t∈Z , (αk )k∈Z , et (Zt )t∈Z vérifient les propriétés suivantes :
1. α ∈ `2 (Z) avec α0 = 1 et αk = 0 si k < 0 ;
2. (εt )t∈Z ∼ BB 0, σ 2 avec σ 2 > 0

3. εt ∈ Ht pour tout t ∈ Z ;
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 22/93.

4. Cov(εs , Dt ) = 0 pour tous s, t ∈ Z ;

5. (Dt )t∈Z est un processus déterministe ;
6. Dt ∈ Hs pour tous s, t ∈ Z.
De plus cette décomposition est unique. Enfin, lorsque α ∈ `1 (Z), alors la série dans
le membre de droite de (1.1) converge dans L1 et E(Xt ) = E(Dt ) pour tout t ∈ Z.

Note : `1 (Z) * `2 (Z) !

Démonstration (facultative en première lecture). Le lemme 1.21 appliqué au pro-

cessus stationnaire non déterministe X donne, pour tout t ∈ Z,

σ 2 := E((Xt − proj(Xt , Ht−1 ))2 ) = E(ε2t ) > 0.

Preuve de 2 et 3. Il vient que E(εt ) = 0. De plus par définition εt ∈ Ht et εt ∈ Ht−1 ⊥ ,

donc εt ∈ Ht−1 ⊂ Ht−2 ⊂ · · · , d’où Cov(εs , εt ) = E(εs εt ) = 0 pour
tous s, t ∈ Z avec s < t.
⊥ ⊥

Enfin Var(εt ) = E(ε2t ) = σ 2 . Nous avons donc (εt )t∈Z ∼ BB 0, σ 2 .

Preuve de (1.1). Pour tout t ∈ Z, on a

Xt − εt = Xt∗ ∈ vect{εt−1 , εt−2 , . . .}

et
proj(Xt , vect{εt , εt−1 , . . .}) =
X
αk εt−k
k∈Z

où
si k < 0,
(
0
αk := 1
σ2
hXt , Zt−k i si k ≥ 0.
Preuve de 1. Les coefficients (αk )k∈Z sont indépendants de t par stationnarité et

1 1 1
α0 = 2
hXt , Zt i = 2 hXt , Xt − proj(Xt , Ht−1 )i = 2 kXt − proj(Xt , Ht−1 )k22 = 1.
σ σ σ
Preuve de 4. Pour tout t ∈ Z, posons
X X
Dt := Xt − αk Zt−k = Xt − αk Zt−k .
k∈Z k∈N

On a hDt , Zs i = 0 pour tous s, t ∈ Z avec s ≤ t, tandis que d’autre part si s > t alors
⊥ ⊂ H ⊥ et comme D ∈ H il vient hD , Z i = 0 pour tous s < t.
Zs ∈ Hs−1 t t t t s

22
 1.5. Compléments

Preuve de 5 et 6. Comme Dt ∈ Ht = Ht−1 ⊕ vect{Zt } et comme hDt , Zt i = 0, il vient

Dt ∈ Ht−1 = Ht−2 ⊕ vect{Zt−1 }, etc, d’où Dt ∈ ∩k∈N Ht−k , ce qui donne

vect{Dt , Dt−1 , . . .} ⊂ ∩k∈N Ht−k .

Par définition de Dt , Ht = vect{Zt , Zt−1 , . . .} ⊕ vect{Dt , Dt−1 , . . .}. Si Y ∈ ∩k∈N Ht−k alors
Y ∈ Hs−1 pour tout s ∈ N, d’où hY, Zs i = 0 pour tout s ∈ N, d’où Y ∈ vect{Dt , Dt−1 , . . .}.
Ceci signifie que ∩k∈N Ht−k ⊂ vect{Dt , Dt−1 , . . .} d’où

∩k∈N Ht−k = vect{Dt , Dt−1 , . . .}.

Comme cela est valable pour tout t ∈ Z et que le membre de gauche ne dépend pas de t,

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 23/93.
on en déduit que (Dt )t∈Z est déterministe. De plus Dt ∈ Hs pour tout s ∈ Z.
Preuve de l’unicité de la décomposition. Il est possible (exercice !) de déduire de (1.1)
que les ingrédients Z, α, et D vérifient les formules indiquées, et il n’y a donc pas le choix.
Cas intégrable. Si α ∈ `1 (Z), alors pour tout K ⊂ Z fini,
X X X X
kαk Zt−k k1 = |αk |kZt−k k1 ≤ |αk |kZt−k k2 = σ |αk |,
k∈K k∈K k∈K k∈K

et il en découle que la série dans (1.1) vérifie le critère de Cauchy dans l’espace de Banach
L1 . Alternativement la convergence absolue ou normale dans L1 de la série
X X X X
kαk Zt−k k1 = |αk |kZt−k k1 ≤ |αk |kZt−k k2 = σ |αk | = σkαk1 < ∞
k∈Z k∈Z k∈Z k∈Z

implique automatiquement la convergence de la série dans l’espace de Banach L1 .

La décomposition de Wold est un cas spécial d’une décomposition plus générale en

théorie des opérateurs de von Neumann : la décomposition de Wold et von Neumann
affirme que toute isométrie linéaire sur un espace de Hilbert est somme directe d’opérateurs
de décalages (shift) unilatéraux et d’opérateurs unitaires.

23
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 24/93.
 Chapitre 2
Filtrage linéaire (x2.5)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 25/93.
Mots-clés : filtrage ; processus linéaire ; causalité ; inversibilité ; convolution.

2.1 Motivation
Considérons l’équation autorégressive AR(1) :

∀t ∈ Z : Xt = Zt + ϕXt−1 ,

où Z = (Zt )t∈Z est un bruit blanc et où ϕ est un paramètre réel déterministe (faire un
dessin de trajectoire). Pour résoudre cette équation en X, on itère l’équation n fois :
n
X
Xt = Zt + ϕ(Zt−1 + ϕXt−2 ) = · · · = ϕk Zt−k + ϕn+1 Xt−(n+1) .
k=0

À présent, si |ϕ| < 1 et si une solution X stationnaire existait alors

2 2
ϕn+1 Xt−(n+1) 2
= |ϕ|2(n+1) Xt−(n+1) 2
= |ϕ|2(n+1) (γX (0) + µ2X ) −→ 0,
n→∞

c’est-à-dire que limn→∞ ϕn+1 Xt−(n+1) = 0 dans L2 , ce qui entraînerait que la série aléatoire
k=0 ϕ Zt−k converge dans L vers la solution stationnaire Xt . Quand est-ce que de telles
P∞ k 2

séries aléatoires sont convergentes ? En quel sens ? Ce chapitre a précisément pour objectif
d’étudier de telles séries aléatoires, qui apparaissent naturellement dans la résolution
d’équation de type AR ou plus généralement ARMA.
Si (Xt )t∈Z est un processus, et si (αk )k∈Z est une suite déterministe à valeurs dans R,
et à support fini : card{k ∈ Z : αk 6= 0} < ∞, alors pour tout t ∈ Z, la variable aléatoire
X
Yt = αk Xt−k
k∈Z

a un sens car la somme est finie. Cette moyenne mobile pondérée constitue une forme de
lissage par convolution 1 (dessin) appelé filtrage linéaire, analogue discret de
Z
y(t) = α(s)x(t − s)ds = (α ∗ x)(t).
R

Le théorème de filtrage ci-après assure que quitte à imposer quelques contraintes de

sommabilité, on peut donner un sens à Yt même si (αk )k∈Z n’est pas à support fini.
1. La valeur Xt au temps t est remplacée par la moyenne pondérée · · ·+α1 Xt−1 +α0 Xt +α−1 Xt+1 +· · · .

25
 2. Filtrage linéaire (x2.5)

2.2 Théorème de filtrage

On ditPqu’une suite (xk )k∈Z indicée par Z et P P R est sommable ssi
à valeurs dans
supm,n≥0 nk=−m |xk | < ∞. Dans ce cas, les séries k≥0 xk et k≤0 xk sont absolument
convergentes, ce qui permet de définir la somme k∈Z xk . On note `1 (Z) l’espacePvectoriel
P
des suites sommables à valeurs dans R et indicées par Z. La formule kxk1 = k∈Z |xk |
définit une norme sur `1 (Z) qui en fait un espace de Banach.

Théorème 2.1 : Filtrage linéaire des processus bornés

Soit α = (αk )k∈Z ∈ `1 (Z) et soit X = (Xt )t∈Z un processus, borné dans Lp avec p ≥ 1,
c’est-à-dire que supt∈Z E(|Xt |p ) < ∞. Posons
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 26/93.

n
X
∀t ∈ Z, ∀m, n ∈ N, Yt,m,n = αk Xt−k .
k=−m

Alors pour tout t ∈ Z la famille (Yt,m,n )m,n≥1 converge presque-sûrement et dans Lp

lorsque m, n → ∞ vers une variable aléatoire Yt ∈ Lp :
p.s.
Yt,m,n −→ Yt ∈ Lp et lim E(|Yt,m,n − Yt |p ) = 0.
m,n→∞ m,n→∞

De plus, le processus (Yt )t∈Z est bien défini p.s. et est borné dans Lp .

Note : la bornitude dans Lp implique la bornitude dans L1 (inégalité de Hölder).

Démonstration. Pour simplifier les notations, on se contente du cas m = n. Comme Lp est

un espace de Banach 2 , le théorème de Riesz–Fischer affirme que toute série absolument
convergente est convergente (preuve par critère de Cauchy). Or pour tout t ∈ Z,
n n
sup kαh Xt−h kp = sup |αh |kXt−h kp ≤ sup kXt kp
X X X
|αh | < ∞
n≥1 n≥1 t∈Z
h=−n h=−n h∈Z

et donc (Yt,n,n )n≥1 = ( h=−n αh Xt−h )n≥1 converge dans Lp quand n → ∞.

Pn
Il ne reste plus qu’à établir que la convergence a lieu presque sûrement lorsque p = 1, et
que les deux limites coïncident presque sûrement. Pour cela, si (Xt )t∈Z est bornée dans L1 ,
alors le théorème de convergence monotone (ou de Fubini–Tonelli) donne, dans [0, +∞],

E(|αk ||Xt−k |) ≤ sup E(|Xs |) |αk | = sup E(|Xs |)kαk1 < ∞.

X
X X
E |αk ||Xt−k | =
k∈Z k∈Z s∈Z k∈Z s∈Z

Donc S := t−k | à valeurs dans [0, ∞] vérifie E(S) < ∞, d’où S < ∞ p.s.
P
k∈Z |αk ||X
c’est-à-dire que la série k∈Z αk Xt−k converge (absolument) p.s. Sa somme est notée Yt .
P
La limite p.s. est identique à la limite dans L1 car les deux types de convergence
entraînent la convergence en probabilité. Alternativement, on peut observer que

sup |Yt,n,n | ≤ |αk ||Xt−k | ∈ L1 ,

X
n
k∈Z

et comme on sait déjà que Yt,n,n → Yt p.s., le théorème de convergence dominée implique
que la limite Yt est dans L1 et que la convergence Yt,n,n → Yt a lieu dans L1 .
2. Espace vectoriel normé complet : toute suite de Cauchy est convergente.

26
 2.2. Théorème de filtrage

Enfin, si At est l’événement presque sûr sur le quel a lieu la convergence presque
sûrement pour t, alors l’événement ∩t∈Z At est également presque sûr ce qui assure que
Y = (Yt )t∈Z est bien défini presque sûrement. Ce processus est borné dans Lp car grâce à
la continuité et à l’inégalité triangulaire,

kYt kp = lim Yt,n,n p = lim kYt,n,n kp ≤ |αk |kXt−k kp ≤ kαk1 sup kXkp
X
n→∞ n→∞ t∈Z
k∈Z

et cette dernière quantité est finie et indépendante de t.

Théorème 2.2 : Filtrage de processus stationnaires

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 27/93.
Soit α ∈ `1 (Z) et soit (Xt )t∈Z un processus stationnaire de moyenne µX = E(Xt ) et
d’autocovariance γX (h). Alors le processus Y := Fα (X) défini par
X
∀t ∈ Z, (Fα X)t = αk Xt−k
k∈Z

est un processus du second ordre et stationnaire, de moyenne et d’autocovariance

αk et γY (h) =
X XX
µY = µX αj αk γX (h + j − k).
k∈Z j∈Z k∈Z

Note : ne pas confondre k∈Z αk avec k∈Z |αk | = kαk1 .

P P
Note : la parité de γY provient de celle de γX car pour tout h ∈ Z,
X
γY (−h) = αj αk γX (−h + j − k)
j,k∈Z
X
= αj αk γX (h − j + k)
j,k∈Z
X
= αk αj γX (h + k − j)
j,k∈Z

= γY (h).

Ceci montre au passage qu’on peut remplacer j − k par k − j dans la formule.

Démonstration. Comme X est stationnaire, il est du second ordre, donc borné dans L2 car

sup kXt k22 = sup E(|Xt |2 ) = γX (0)2 + µ2X < ∞.

t∈Z t∈Z

Ceci permet d’utiliser le théorème 2.1 avec p = 2, qui garantit que le processus Fα X est
bien défini presque-sûrement et dans L2 . Il s’agit donc d’un processus du second ordre
dont nous allons calculer la moyenne et l’autocovariance. Rappelons que le produit scalaire
de L2 est continu : si limn→∞ Un = U et limn→∞ Vn = V dans L2 alors

lim hUn , Vn i = h lim Un , lim Vn i = hU, V i.

n→∞ n→∞ n→∞

Par conséquent, on a
X
E((Fα X)t ) = h1, αk Xt−k i
k∈Z

27
 2. Filtrage linéaire (x2.5)

= h1, lim
X
αk Xt−k i
n→∞
k∈[−n,n]

= lim h1,
X
αk Xt−k i
n→∞
k∈[−n,n]

= lim E
X

αk Xt−k
n→∞
k∈[−n,n]

= lim
X
αk E(Xt−k )
n→∞
k∈[−n,n]

= lim µX
X
αk
n→∞
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 28/93.

k∈[−n,n]
X
= µX αk ,
k∈Z

qui ne dépend pas de t. De même, pour l’autocovariance, on a

X X
E((Fα X)s (Fα X)t ) = αj Xs−j , αk Xt−k
j∈Z k∈Z

= lim αj Xs−j , lim

X X
αk Xt−k
n→∞ n→∞
j∈[−n,n] k∈[−n,n]

= lim
X X
αj Xs−j , αk Xt−k
n→∞
j∈[−n,n] k∈[−n,n]

= lim
X X
αj αk E(Xs−j Xt−k )
n→∞
j∈[−n,n] k∈[−n,n]

= lim
X X
αj αk γX (s − j, t − k) + (µX )2


n→∞
j∈[−n,n] k∈[−n,n]
XX X
2
= αj αk γX (t − s + j − k)+ µX αk ,
j∈Z k∈Z k∈Z

qui nePdépend que de t − s. Il en découle que Fα X est stationnaire. Notons que la double
série j,k∈Z αj αk γX (h + j − k) est absolument convergente car
X X
|αj αk γX (h + j − k)| ≤ γX (0) |αj ||αk | = γX (0)kαk21 < ∞,
j,k∈Z j,k∈Z

où on a utilisé le fait que |γX (h)| ≤ γX (0) pour tout h ∈ Z tiré du théorème 1.18.

Exemple 2.3 : Processus linéaires : filtrage d’un BB

Si (Zt )t∈Z est un BB 0, σ 2 , µ ∈ R, et α ∈ `1 (Z), alors le théorème 2.2 dit que

X = µ + Fα Z est un processus stationnaire de moyenne µ et d’autocovariance

X
γX (h) = σ 2 αj αj+h .
j∈Z

C’est l’image d’un BB par une application linéaire : on parle de processus linéaire.
3→4

28
 2.3. Composition et convolution

Remarque 2.4 : Notation avec opérateur retard

Si α ∈ `1 (Z) alors la fonction X

f (z) = αk z k
k∈Z

est bien définie pour tout z ∈ C tel que |z| = 1 car

X X X X
αk z k ≤ |αk ||z|k = |αk | −→ |αk |
n→∞
−n≤k≤n −n≤k≤n −n≤k≤n k∈Z

L’opérateur Fα s’écrit aussi f (B) où B est l’opérateur retard :

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 29/93.
X X
f (B)Xt = αk B k Xt = αk Xt−k .
k∈Z k∈Z

Si α est à support fini : card{k ∈ Z : αk 6= 0} < ∞, alors f (z) est bien définie pour
tout z 6= 0, et prend des valeurs réelles si z et α sont réels. De plus f est un polynôme
ssi {k ∈ Z : αk 6= 0} est une partie finie de N, et dans ce cas f (z) est bien définie
pour tout z ∈ C. Réciproquement, si une fonction P f : D ⊂ C → C est développable
en série de puissances de z sous la forme f (z) = k∈Z αk z k alors cette série converge
absolument lorsque |z| = 1 ssi α ∈ `1 (Z), et la notation Fα = f (B) fait sens.

Définition 2.5 : Causalité et inversibilité

Si Z est stationnaire, on dit que le filtre X = µ + Fα Z de Z est un processus…

— causal lorsque αk = 0 pour tout k < 0 (Xt ne dépend pas du futur de Zt ).
C’est le cas par exemple des processus MA(q), q ≥ 1, qui vérifient

∀t ∈ Z, Xt = Zt + θ1 Zt−1 + · · · + θq Zt−q .

Plus généralement, les processus linéaires causaux (Z BB) avec α0 = 1 sont

les processus MA(∞) (un processus MA(q) est un MA(q 0 ) pour tout q 0 ≥ q) ;
— inversible lorsque Z est un processus causal de X, c’est-à-dire qu’il existe un
β ∈ `1 (Z) tel que Z = Fβ (X) avec βk = 0 pour tout k < 0. C’est le cas par
exemple des processus AR(p), p ≥ 1, qui vérifient Z = F (X) car

∀t ∈ Z, Xt − ϕ1 Xt−1 − · · · − ϕp Xt−p = Zt .

Plus généralement, les processus linéaires inversible (Z BB) avec α0 = 1 sont

les processus AR(∞) (un AR(p) est un AR(p0 ) pour tout p0 ≥ p).

2.3 Composition et convolution

Théorème 2.6 : Composition des opérateurs

29
 2. Filtrage linéaire (x2.5)

Avec les notations du théorème 2.2, si α, β ∈ `1 (Z) et si X est stationnaire, alors

Fα (Fβ X) = Fα∗β X où (α ∗ β)k =

X
αj βk−j .
j∈Z

La quantité (α ∗ β)k fait sens pour tout k ∈ Z car

X X X
αj βk−j ≤ |αj ||βk−j | ≤ kβk1 |αj | = kαk1 kβk1 < ∞.
j∈Z j∈Z j∈Z

On dit que α ∗ β est le produit de convolution de α et β. Le même argument montre

que α ∗ β existe dans `1 (Z) dès que α ∈ `1 (Z) et β ∈ `∞ (Z), mais cela n’est pas exploité
dans ce cours. Le produit de convolution vérifie les propriétés suivantes :
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 30/93.

1. Le produit de convolution est commutatif et associatif :

∀α, β, γ ∈ `1 (Z), α∗β =β∗α et (α ∗ β) ∗ γ = α ∗ (β ∗ γ);

2. Le produit de convolution possède un élément neutre e = 10 :

∀α ∈ `1 (Z), α ∗ e = α;

3. Le produit de convolution est distributif :

∀α, β, γ ∈ `1 (Z), ∀λ ∈ R, (λα + β) ∗ γ = (λα) ∗ γ + β ∗ γ = λ(α ∗ γ) + β ∗ γ;

4. Le produit de convoltion vérifie, pour tous α, β ∈ `1 (Z),

X XX X X
kα ∗ βk1 = |(α ∗ β)k | ≤ |αj ||βk−j | = |αj | |βk−j | = kαk1 kβk1 .
k∈Z k∈Z j∈Z j∈Z k∈Z

On dit que le produit de convolution ∗ fait de `1 (Z) une algèbre de Banach.

Preuve du théorème 2.6. Lorsque α et β sont à support fini, la propriété est évidente car
X
(Fα (Fβ X))t = αj (Fβ X)t−j
j∈Z
X X
= αj βk Xt−j−k
j∈Z k∈Z
k0 =j+k X X

= αj βk0 −j Xt−k0
k0 ∈Z j∈Z

= (Fα∗β X)t .
Lorsque α et β sont à support infini, la commutation des sommes est licite grâce au
théorème de Fubini–Tonelli (les séries sont presque sûrement absolument convergentes).
Alternativement, lorsque α et β sont à support infini, on peut adopter une approche L2 :
on procède par troncature et on exploite l’hypothèse de sommabilité sur α et β.

Il est à présent naturel de se poser la question suivante :

— Peut-on défiltrer en utilisant à nouveau un filtre ? Autrement dit, à quelle
condition sur α ∈ `1 (Z) existe-t-il β ∈ `1 (Z) tel que α ∗ β = e où e = 10 est
l’élément neutre de la convolution ?
Il est bien connu en algèbre que si un tel élément β existe, alors il est unique a . Il
s’agit de l’inverse de α pour le produit de convolution ∗ et on le note β = α−1 . Nous

30
 2.3. Composition et convolution

allons voir que le calcul de l’inverse est lié à la série de puissances associée à α.
a. Si α ∗ β = e = α ∗ β 0 alors β = β ∗ e = β ∗ (α ∗ β 0 ) = (β ∗ α) ∗ β 0 = e ∗ β 0 = β 0 .

Lemme 2.7 : Convolution et séries de puissances

Soit (F, +, ×) l’algèbre usuelle des fonctions continues définies sur le cercle unité
{z ∈ C : |z| = 1} et à valeurs dans C. Les propriétés suivantes sont vérifiées :
1. Pour tout α ∈ `1 (Z) et z ∈ C tel que |z| = 1, on a (αk z k )k∈Z ∈ `1C (Z), c’est-à-dire
que la série suivante converge absolument sur le cercle unité :

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 31/93.
X
Pα (z) = αk z k ;
k∈Z

2. L’application α ∈ `1 (Z) 7→ Pα ∈ F est un homomorphisme d’algèbres :

∀α, β, γ ∈ `1 (Z), ∀λ ∈ C, Pα∗β+λγ (z) = Pα (z)Pβ (z) + λPγ (z)

pour tout z ∈ C tel que les séries de puissances Pα (z), Pβ (z), et Pγ (z) convergent
absolument. En particulier, le produit de convolution dans `1 (Z) est transformé
en produit standard de fonctions dans F par l’application α 7→ Pα :

∀α, β ∈ `1 (Z), Pα∗β = Pα Pβ .

3. L’application α ∈ `1 (Z) 7→ Pα ∈ F est injective :

∀α, β ∈ `1 (Z), Pα = Pβ ⇒ α = β;

Note : en français, la formule Pα∗β (z) = Pα (z)Pβ (z) dit que les coefficients du produit
de Cauchy de deux séries de puissances sont donnés par le produit de convolution des
coefficients des deux séries. Cette liaison entre suites et fonctions est utile.
Note : l’élément neutre est envoyé sur l’élément neutre : Pe (z) = 1.
Éléments de preuve. La première propriété est évidente. La seconde propriété n’offre pas
non plus de difficulté. Pour λ = 0 la seconde propriété découle d’un produit de Cauchy de
séries de puissances absolument convergentes :
! !
k0
X X
k
Pα (z)Pβ (z) = αk z βk 0 z
k∈Z k0 ∈Z
0
X
= αk βk0 z k+k
k,k0 ∈Z
!
h=k+k0
X X
= αk βh−k z h
h∈Z k∈Z
X
= (α ∗ β)h z h
h∈Z
= Pα∗β (z).

Établissons la troisième propriété (injectivité). Si Pα = Pβ pour α, β ∈ `1 (Z) alors d’après

la seconde propriété on a Pα−β = 0, c’est-à-dire que pour tout z ∈ C avec |z| = 1, on

31
 2. Filtrage linéaire (x2.5)

a k∈Z γk z k = 0, où γk = αk − βk . À présent, on note que les éléments de F sont des

P
fonctions continues et bornées sur le cercle unité, et sont dans l’espace L2 des fonctions de
carré intégrable sur le cercle unité. On rappelle que l’application
Z 2π
1
(f, g) ∈ L × L 7→ hf, gi :=
2 2
f (θ)g(θ)dθ
2π 0

est un produit scalaire, qu’elle fait de L2 un espace de Hilbert, et que les fonctions
trigonométriques θ ∈ [0, 2π] 7→ eiθk ∈ C, k ∈ Z, constituent une base hilbertienne. Le
caractère orthonormé provient du fait que pour car pour tous k, h ∈ Z,
Z 2π
1
θ 7→ e , θ 7→ e
iθk iθh
eiθ(h−k) dθ = 1h=k .
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 32/93.

=
2π 0

Aussi, pour tout h ∈ Z fixé, en posant z = eiθ , il vient, grâce au théorème de Fubini–Tonelli,
X D E X
γk eiθk , θ 7→ eiθh = γk θ 7→ eiθk , θ 7→ eiθh = γk 1h=k = γh .
X
0 = θ 7→
k∈Z k∈Z k∈Z

La condition d’appartenance au cercle unité vient du fait que la série Pα (z) où

α ∈ `1 (Z) peut comporter des puissances positives ou négatives arbitrairement
grandes de z. La série Pα (z) est un polynôme ssi le support {k ∈ Z : αk 6= 0} de α
est une partie finie de N, et dans ce cas la série est une somme finie, qui a un sens
pour tout z ∈ C. Si le support de α contient une infinité de valeurs positives, alors la
convergence de Pα (z) n’est pas garantie pour |z| > 1. Si le support de α contient des
valeurs négatives, alors la convergence de Pα (z) est impossible en z = 0. Si le support
de α contient une infinité de valeurs négatives alors la convergence de Pα (z) n’est pas
garantie pour |z| < 1. Seul le cas |z| = 1 subsiste quelque soit le support de α, et la
convergence (absolue) est alors garantie par α ∈ `1 (Z).

Le théorème suivant fait le lien entre propriétés d’algèbre et d’analyse.

Théorème 2.8 : Inversibilité pour la convolution et séries de puissances

Soit α ∈ `1 (Z) tel que Pα (z) = k∈Z αk z k est un polynôme, c’est-à-dire que α est à
P
support fini et ≥ 0. Les trois propriétés suivantes sont équivalentes :
1. α est inversible pour le produit de convolution dans `1 (Z) ;
2. Pα n’a pas de racine de module 1 ;
3. z 7→ 1/Pα (z) est développable en série de puissances de z, absolument conver-
gente dans une couronne de C contenant le cercle unité :
1 X
= βk z k , β ∈ `1 (Z).
Pα (z)
k∈Z

Lorsque ces propriétés ont lieu, alors α−1 = β. De plus, si Pα n’a pas de racine de
module < 1 alors le support de α−1 est ≥ 0, c’est-à-dire que {k ∈ Z : αk−1 6= 0} ⊂ N.
4→5

32
 2.3. Composition et convolution

0 r 1 R
•
•

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 33/93.
•

Figure 2.1 – Si le polynôme Pα n’a pas de racines de module 1, alors ses racines sont à
l’extérieur d’une couronne qui contient le cercle unité.

Démonstration. Montrons que 2 ⇒ 3. Supposons que Pα n’a pas de racine de module 1.

Soit z1 , . . . , zd les racines distinctes de Pα dans C, de multiplicités respectives m1 , . . . , md ,
de sorte que Pα (z) = c(z − z1 )m1 · · · (z − zd )md avec c ∈ C. Si

r := max{|z| ∈ C : Pα (z) = 0, |z| < 1} = max{|z| : z ∈ {z1 , . . . , zd } ∩ {z ∈ C : |z| < 1}}

et

R := min{|z| ∈ C : Pα (z) = 0, |z| > 1} = min{|z| : z ∈ {z1 , . . . , zd } ∩ {z ∈ C : |z| > 1}},

alors r < 1 < R et les racines z1 , . . . , zd de Pα sont à l’extérieur de la couronne (figure 2.3)

D(r, R) := {z ∈ C : r < |z| < R},

qui contient le cercle unité {z ∈ C : |z| = 1}. Afin de développer la fraction rationnelle
z 7→ 1/Pα (z) en série, on considère sa décomposition en éléments simples

d mj
1 X X cj,k
= ,
Pα (z) (z − zj )k
j=1 k=1

où cj,k ∈ C sont des constantes, pour tout z 6∈ {z1 , . . . , zd }. Or pour tout α ∈ R et w ∈ C

tel que |w| < 1, une formule de Taylor donne (convergence absolue)
∞    
α n α α(α − 1) · · · (α − n + 1)
où
X
α
(1 + w) = w = .
n n n!
n=0

(il s’agit d’une généralisation de la formule du binôme aux puissances quelconques). Donc
si |zj | < 1 et |z| > |zj | alors en posant w = zj /z, on a (convergence absolue)
∞  
cj,k cj,k 1 cj,k X −k X
k
= k k
= k (−zj /z)n = βj,k,h z h
(z − zj ) z (1 − zj /z) z n
n=0 h∈Z

33
 2. Filtrage linéaire (x2.5)

tandis que si |zj | > 1 et |z| < |zj | en posant w = z/zj , on a (convergence absolue)
∞ 
cj,k (−1)k cj,k (−1)k X −k

cj,k 1 n
X
= = (−z/z j ) = βj,k,h z h .
(z − zj )k zjk (1 − z/zj )k zjk n
n=0 h∈Z

En combinant tout, on obtient enfin le développement en série de 1/Pα (z) :

 
d Xmj mj
d X
1 X X X X X
∀z ∈ D(r, R), = βj,k,h z h =  βj,k,h z h = βh z h ,
Pα (z)
j=1 k=1 h∈Z h∈Z j=1 k=1 h∈Z

et la convergence est absolue, car une somme finie de séries de puissances absolument
convergentes est une série de puissance absolument convergente. À présent, en prenant
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 34/93.

z = 1 ∈ D(r, R) on a β ∈ `1C (Z). Enfin, pour établir que β est réel, on observe que comme
α est réel, le polynôme Pα est à coefficients réels, donc l’ensemble de ses racines est stable
par conjugaison, donc les coefficients cj,k , βj,k,h , βh sont en fait tous réels, ce qui assure
finalement que β est bien à valeurs réelles : β ∈ `1 (Z).
Montrons que 3 ⇒ 1. Pour tout z ∈ D(r, R), par produit de Cauchy (lemme 2.7),
1
Pe (z) = 1 = Pα (z) = Pα (z)Pβ (z) = Pα∗β (z),
Pα (z)
ce qui donne e = α ∗ β grâce au lemme 2.7. Donc α est inversible d’inverse α−1 = β.
Montrons que 1 ⇒ 2. Comme α−1 ∈ `1 (Z), le lemme 2.7 donne
Pα−1 (z)Pα (z) = Pα−1 ∗α (z) = Pe (z) = 1
pour tout z ∈ C tel que |z| = 1, et cela interdit à Pα d’avoir une racine de module 1.
Enfin, on observe que seules les racines de Pα de module inférieur à 1 contribuent à la
partie de α−1 indicée par des indices négatifs. Par conséquent, si Pα n’a pas de racine de
module ≤ 1 alors α−1 est porté par N.

Exemple 2.9 : Séries géométriques

Examinons trois exemples liés à une série géométrique.

— Cas où α0 = 2, α1 = −1, et αk = 0 si k 6∈ {0, 1}. On a alors Pα (z) = 2 − z,
dont la seule racine 2 est de module > 1. Le théorème 2.8 s’applique, et pour
tout z ∈ C tel que |z| < 2,
 
1 1/2 1 z  z 2
= = 1+ + + ··· .
Pα (z) 1 − z/2 2 2 2

Cela donne (α−1 )k = 2−(k+1) 1k≥0 , et on a bien α−1 ∈ `1 (Z).

— Cas où α0 = 1, α1 = 2, et αk = 0 si k 6∈ {0, 1}. On alors Pα (z) = 1 − 2z, dont
la seule racine 1/2 est de module < 1. Le théorème 2.8 s’applique, et pour tout
z ∈ C tel que |z| > 1/2 (autrement dit |2z| > 1),
∞ ∞
1 1 1 1 1 X −k
X
= =− =− (2z) = 2−k z −k .
Pα (z) 1 − 2z 2z 1 − 1/(2z) 2z
k=0 k=1

Cela donne (α−1 )k = 2k 1k<0 , et on a bien α−1 ∈ `1 (Z).

— Cas où α0 = 1 et α1 = −1 et αk = 0 si k 6∈ {0, 1}. On a alors Pα (z) = 1 − z
dont la seule racine est 1, qui est de module 1. Le théorème 2.8 ne s’applique

34
 2.3. Composition et convolution

pas. Cependant, le développement en série géométrique

1 1
= = 1 + z + z2 + · · ·
Pα (z) 1−z

est valable pour tout z ∈ C tel que |z| < 1, et suggère que α−1 = 1N . Cette
suite n’appartient pas à `1 (Z). Cela suggère au passage que l’inverse d’un
élément de `1 (Z) peut exister dans `∞ (Z).

Remarque 2.10 : Calcul pratique de l’inverse

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 35/93.
L’équation α ∗ β = e en β est un système infini d’équations linéaires. La preuve du
théorème 2.8 montre qu’on peut déterminer β en déterminant les racines de Pα puis en
effectuant des développements en série. Mais cela peut s’avérer laborieux en pratique.
Dans le cas où Pα n’a pas de racine de module ≤ 1, on sait que β est porté par N, ce
qui rend le système d’équations α ∗ β = e triangulaire, et donc facile à résoudre par
récurrence. En effet, si d est le degré du polynôme Pα alors on obtient une identité
entre séries de puissances de z absolument convergentes sur le cercle unité :

(α0 + α1 z + · · · + αd z d )(β0 + β1 z + · · · ) = 1.

En développant le membre de droite (produit de Cauchy) et en identifiant les coeffi-

cients pour chaque puissance grâce au lemme 2.7, on obtient le système triangulaire
suivant qu’on peut résoudre de haut en bas :

= 1 (d’où on tire β0 )


 α0 β0
= 0 (d’où on tire β1 )

α0 β1 + α1 β0


α0 β2 + α1 β1 + α2 β0 = 0 (d’où on tire β2 )
..



.↓



Théorème 2.11 : Identifiabilité

On note S2 l’ensemble des processus stationnaires.

1. Si Z est BB 0, σ 2 alors α ∈ `1 (Z) 7→ Fα Z est injective :

∀α, β ∈ `1 (Z), Fα Z = Fβ Z ⇒ α = β;

2. Si α ∈ `1 (Z) est inversible pour ∗ alors X ∈ S2 7→ Fα X est injective :

∀X, Y ∈ S2 , Fα X = Fα Y ⇒ X = Y.

Démonstration.
1. Si Fα Z = Fβ Z alors pour tous s, t ∈ Z, k∈Z Zs αk Zt−k = k∈Z Zs βk Zt−k . En
P P
prenant l’espérance et en utilisant le fait que γZ (h) = σ 1h=0 (car Z est un BB), il
2

vient αt−s = βt−s , et comme s, t sont quelconques, on a enfin α = β. Note : on peut

invoquer le fait que le produit scalaire dans L2 est continu pour justifier l’interversion

35
 2. Filtrage linéaire (x2.5)

entre E et Σ. Note : ce raisonnement n’est plus valable si on sait seulement que

Fα Z = Fβ Z où «=» désigne l’égalité en loi, mais le redevient si (Z, Fα Z) = (Z, Fβ Z) ;
d d d

2. Si Fα X = Fα Y avec α ∈ `1 (Z) et X, Y ∈ S2 , alors, grâce aux théorèmes 2.6 et 2.8,

X = Fα−1 ∗α X = Fα−1 (Fα X) = Fα−1 (Fα Y ) = Fα−1 ∗α Y = Y.

2.4 Compléments

Remarque 2.12 : Filtrage faible d’un BB

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 36/93.

Soit (Zt )t∈Z un BB 0, σ 2 et α ∈ `2 (Z) c’est-à-dire que k∈Z |αk |2 < ∞. Alors pour

P
tout K ⊂ Z fini, le théorème de Pythagore dans l’espace de Hilbert L2 donne
X X X
E(| αk Zt−k |2 ) = αj αk γZ (j − k) = σ 2 |αk |2 .
k∈K j,k∈K k∈K

Comme α ∈ `2 (Z) le critère de Cauchy dans l’espace complet L2 indique que la série
k∈Z αk Zt−k converge dans L . On note (Fα Z)t ∈ L sa somme, en cohérence avec
2 2
P
les filtres habituels.
P D’autre part, P la série est absolument convergente dans L2 ssi
α ∈ ` (Z) car k∈Z kαk Zt−k k2 = k∈Z |αk |, et dans ce cas la convergence a lieu
1

p.s. d’après le théorème de filtrage ! Rappelons à ce sujet que `1 (Z) $ `2 (Z), et que
l’inclusion est inversée pour les espaces Lp au sens où L2 ⊂ L1 (stricte en général).

Remarque 2.13 : Analyse de Fourier

Le théorème 2.6 est lié à l’associativité du produit de convolution car

Fα (Fβ X) = α ∗ (β ∗ X) = (α ∗ β) ∗ X = Fα∗β X

pour presque tout ω ∈ Ω. Le terme filtrage vient de la théorie du signal : comme la

transformée de Fourier transforme produit de convolution en produit, on a α [∗x=α bxb
qui n’est rien d’autre qu’un filtre spectral a . L’analyse de Fourier ω par ω des séries
temporelles mène au théorème de Wiener-Khinchine-Kolmogorov, qui dépasse
le cadre de ces notes. Nous feront appel à l’analyse de Fourier dans le chapitre 4 pour
étudier la fonction d’autocovariance des processus stationnaires (elle est déterministe).
a. C’est un filtre passe-bande quand α
b est l’indicatrice d’un intervalle compact.

Remarque 2.14 : Analyse complexe

Il est possible d’étendre le théorème 2.8 d’inversibilité des filtres au delà des suites à
support fini en introduisant de la technologie (analyse complexe) comme le développe-
ment en série de Laurent des fonctions méromorphes. Bien qu’amusant, cela n’est pas
nécessaire pour l’étude, menée plus loin, des processus ARMA(p, q) avec p, q < ∞.

36
 Chapitre 3
Processus ARMA (x1.5)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 37/93.
Mots-clés : processus AR/MA/ARMA ; causalité ; inversibilité.

Les processus ARMA(p, q) (Auto Regressive Moving Average) forment une classe
de processus stationnaires paramétrés incluant à la fois un mécanisme d’autoregression
linéaire (AR) d’ordre p, et de moyenne mobile ou ajustée (MA) d’ordre q.

Définition 3.1 : AR, MA, ARMA

Soient p, q ∈ N, ϕ ∈ Rp et θ ∈ Rq des coefficients fixés, et (Zt )t∈Z ∼ BB 0, σ 2 . On

dit que (Xt )t∈Z est un processus ARMA(p, q), ou ARMA d’ordre (p, q), lorsqu’il
est stationnaire et vérifie l’équation de récurrence linéaire suivante a :
p
X q
X
∀t ∈ Z, Xt = ϕk Xt−k + Zt + θk Zt−k .
k=1 k=1

De plus :
— si θ ≡ 0 ou q = 0 alors on dit qu’il s’agit d’un processus AR(p) ;
— si ϕ ≡ 0 ou p = 0 alors on dit qu’il s’agit d’un processus MA(q).
a. Avec la convention = 0 utile quand p = 0 ou q = 0.
P−1 P
k=0 = ∅

Les processus MA(q) existent toujours : ce sont les processus linéaires causaux à support
fini. En revanche, l’existence des processus AR(p) n’est pas évidente, car le temps est indexé
par Z, ce qui rend délicate l’exploitation de la récurrence. Une idée naturelle consiste à
utiliser récursivement l’équation pour produire une suite récurrente aléatoire. Bien qu’il n’y
a pas de notion de condition initiale car le temps est indicé par Z, cette approche conduit
à la solution de AR(1) comme nous allons le voir plus loin. L’équation ARMA(p, q) peut
aussi être vue comme un système triangulaire doublement infini d’équations indicées par Z.
Nous allons le résoudre dans ce chapitre, en reformulant ARMA(p, q) en terme de filtrage !
L’équation de récurrence ARMA(p, q) s’écrit également

∀t ∈ Z, Xt − (ϕ1 Xt−1 + · · · + ϕp Xt−p ) = Zt + θ1 Zt−1 + · · · + θq Zt−q ,

ou encore
Φ(B)X = Θ(B)Z

37
 3. Processus ARMA (x1.5)

où B est l’opérateur retard et où Φ et Θ désignent les polynômes

Φ(z) = 1 − (ϕ1 z + · · · + ϕp z p ) et Θ(z) = 1 + θ1 z + · · · + θq z q .

L’écriture avec une fraction rationnelle suggère même la solution :

? Θ(B) 1 + θ1 B + · · · + θ q B q ?
X
X= Z= Z = βk B k Z = Fβ (Z).
Φ(B) 1 − ϕ1 B − · · · − ϕp B p
k∈Z

L’équation de récurrence ARMA(p, q) s’écrit aussi avec des filtres

Fαϕ X = Fαθ Z,
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 38/93.

où (αϕ )k∈Z et (αθ )k∈Z sont les suites à support fini définies par

si h = 0 1 si h = 0
 
1
 
(αϕ )h = −ϕh si 1 ≤ h ≤ p et (αθ )h = θh si 1 ≤ h ≤ q
sinon 0 sinon.
 
0
 

Cette écriture avec des filtres suggère aussi la solution :

?
X = Fα−1
ϕ
Fαθ Z = Fα−1
ϕ ∗αθ
Z.

Notons que pour tout z ∈ C, on a les identités suivantes (les sommes sont finies !)

(αϕ )h z h et Θ(z) = Pαθ (z) =

X X
Φ(z) = Pαϕ (z) = (αθ )h z h .
h∈Z h∈Z

3.1 Processus MA et processus AR

Rappelons la définition des processus à moyenne mobile (Moving Average).

Définition 3.2 : Processus MA

Un processus (Xt )t∈Z est MA(q) pour un entier q ≥ 0 lorsqu’il est du second ordre,
stationnaire, et solution de l’équation de récurrence
q
X
Xt = Zt + θk Zt−k = (Fαθ Z)t = (Θ(B)Z)t
k=1

où (Zt )t∈Z est un BB 0, σ et où θ ∈ Rq est un vecteur fixe. On dit que q est l’ordre
2

du processus et que (θ, σ 2 ) sont ses paramètres.

5→6
Le théorème 2.2 affirme que si (Xt )t∈Zest MA(q) alors (Xt )t∈Z est de moyenne nulle et
de fonction d’autocovariance γX (h) = σ 2 1h=0 + θ|h| 11≤|h|≤q + 11≤|h|<q k=1 θk θk+|h| .
Pq−|h|

Rappelons la définition des processus autoregressifs (Auto Regressive).

Définition 3.3 : Processus AR

Un processus (Xt )t∈Z est AR(p) pour un entier p ≥ 0 lorsqu’il est du second ordre,

38
 3.1. Processus MA et processus AR

stationnaire, et solution de l’équation de récurrence

p
X
Xt = Zt + ϕk Xt−k
k=1

en d’autres termes
Zt = (Fαϕ X)t = (Φ(B)X)t
où (Zt )t∈Z est un BB 0, σ et où ϕ ∈ Rp est un vecteur fixe. On dit que p est l’ordre
2

du processus et (ϕ, σ 2 ) ses paramètres.

Contrairement aux processus MA, l’existence des processus AR n’est pas évidente, car

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 39/93.
le temps étant indexé par Z, il n’y a pas d’origine des temps qui permettrait d’exploiter
facilement la récurrence. Le théorème suivant assure l’existence de processus AR(1).

Théorème 3.4 : Existence des processus AR(1)

— Si |ϕ1 | = 1 alors l’équation des AR(1) n’a pas de solution stationnaire ;

— Si |ϕ1 | < 1 alors la solution est donnée par le processus linéaire causal
∞
X
Xt = ϕk1 Zt−k ,
k=0

de moyenne 0 et d’autocovariance γX (h) = σ 2 ϕ1 /(1 − ϕ21 ) pour tout h ∈ Z.

|h|

C’est un MA(∞). C’est de plus l’unique solution stationnaire ;

— Si |ϕ1 | > 1 alors la solution est donnée par le processus linéaire non-causal
∞
X
Xt = − ϕ−k
1 Zt+k ,
k=1

de moyenne 0 et d’autocovariance γX (h) = σ 2 ϕ1 /(ϕ21 − 1) pour tout h ∈ Z.

−|h|

C’est là encore l’unique solution stationnaire.

Remarque 3.5 : Infinité de solutions non stationnaires

Si X est solution de AR(1) Xt = ϕ1 Xt−1 + Zt , on peut rechercher un processus Y tel

que la somme X + Y soit également solution. On a Xt + Yt = ϕ1 (Xt−1 + Yt−1 ) + Zt
et comme Xt = ϕ1 Xt−1 + Zt , on obtient alors Yt = ϕ1 Yt−1 . Ainsi, Yt = ϕt1 Y0 pour
tout t ∈ Z, avec Y0 quelconque. Cela donne une infinité non dénombrable de solutions,
mais ces solutions ne sont pas stationnaires en général (exercice !).

Démonstration. L’équation de récurrence s’écrit Xt = Zt + ϕ1 Xt−1 et donne par P∞récurrence

Xt = rk=0 ϕk1 Zt−k + ϕr+1 pour tout Lorsque alors k
P
1 X t−(r+1) r ≥ 0. |ϕ 1 | < 1 k=0 |ϕ1 | <
∞, c’est-à-dire
P∞ que αϕ ∈ `1 (Z), et par le théorème 2.2, k=0 ϕk1 Zt−k converge p.s. et dans
r
P
L vers k=0 ϕ1 Zt−k , un processus du second ordre stationnaire, qui est un processus
2 k

linéaire (exemple 2.3), dont on vérifie qu’il est solution de l’équation de récurrence :
∞
X ∞
X ∞
X
ϕ1 Xt−1 = ϕ1 ϕk1 Z(t−1)−k = ϕk+1
1 Zt−(k+1) = ϕk1 Zt−k = Xt − Zt .
k=0 k=0 k=1

39
 3. Processus ARMA (x1.5)

Par ailleurs, si (Xt )t∈Z est solution du second ordre stationnaire alors ϕr+1 1 Xt−(r+1) → 0
dans L quand r → ∞ car |ϕ1 | < 1, et on retrouve le processus linéaire X = Fα Z avec
2

αk = ϕk1 1k≥0 . L’autocovariance s’obtient en spécialisant celle des filtres du théorème 2.2 et
plus précisément celle des processus linaires de l’exemple 2.3 : pour tout h ∈ Z avec h ≥ 0,
∞
σ2
ϕj1 ϕh+j
X X X
γX (h) = αj αk γZ (h + j − k) = σ 2 αj αh+j = σ 2 1 = .
j,k∈Z j∈Z j=0
1 − ϕh1

Lorsque |ϕ1 | > 1 on procède de la même manière en utilisant la récurrence renversée

1 Zt+1 + ϕ1 Xt+1 en exploitant le fait que ϕ1
Xt = −ϕ−1 < 1, ce qui conduit à la solution
−1 −1

X = FαPZ avec αk = ϕ1 1k≤−1 . Ici aussi, on peut vérifier directement que ce processus
k

Xt = − ∞ k=1 ϕ1 Zt+k est solution de l’équation de récurrence :

−k
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 40/93.

∞ ∞ ∞
−(k−1)
X X X
ϕ1 Xt−1 = −ϕ1 ϕ−k
1 Z(t−1)+k =− ϕ1 Zt+(k−1) =− ϕ−k
1 Zt+k = Xt − Zt .
k=1 k=1 k=0

De même l’autocovariance s’obtient comme précédemment : pour tout h ∈ Z avec h ≤ 0,

∞ −|h|
−|h|−j σ2ϕ
ϕj1 ϕh+j ϕ−j
X X X
2 2 2
γX (h) = σ αj αh+j = σ 1 =σ 1 ϕ1 = 2 1 .
j≤−1 j=1
ϕ1 − 1
j∈Z

Lorsque |ϕ1 | = 1, alors s’il existait une solution stationnaire (Xt )t∈Z alors
r
2
 X 2
E( Xt − ϕr+1
1 Xt−(r+1) ) = E ϕ k
Z
1 t−k
k=0
r
X
= |ϕ1 |2k E(|Zt−k |2 )
k=0
= (r + 1)σ 2

et d’autre part
2
E( Xt − ϕr+1
1 Xt−(r+1) ) = γX (0) + γX (0) − 2γX (t − (r + 1) − t)
= 2(γX (0) − γX (r + 1))
≤ 4γX (0),

ce qui n’est pas possible simultanément pour r assez grand.

3.2 Résolution de l’équation ARMA

Le théorème suivant généralise considérablement l’étude précédente des AR(1).

Théorème 3.6 : Existence des processus ARMA

Soient Φ et Θ les polynômes associés à l’équation ARMA(p, q).

1. Si Φ n’a pas de racine de module 1 alors ARMA(p, q) possède une unique
solution stationnaire, donnée par le processus linéaire Fα Z où α = αθ ∗ αϕ
−1 où

αϕ est l’inverse de αϕ pour ∗ (existe : théorème 2.8) ;

−1

2. Si ARMA(p, q) admet un processus linéaire Fα Z avec α ∈ `1 (Z) comme solution

40
 3.2. Résolution de l’équation ARMA

alors toute racine de module 1 de Φ est également racine de Θ.

Preuve du théorème 3.6.

1. L’équation ARMA(p, q) s’écrit Fαϕ X = Fαθ Z. Supposons que Φ n’a pas de racine de
module 1. Alors le théorème 2.8 assure l’existence de αϕ
−1 ∈ `1 (Z). Donc F
α−1
ϕ ∗αθ
Z
est solution de ARMA(p, q) car le théorème 2.6 donne

Fαϕ (Fα−1
ϕ ∗αθ
Z) = Fαϕ ∗(α−1
ϕ ∗αθ )
Z = F(αϕ ∗α−1
ϕ )∗αθ
Z = Fαθ Z.

Le produit de convolution est commutatif, donc α = αϕ

−1 ∗ α = α ∗ α−1 . Récipro-
θ θ ϕ
quement, si X est solution de ARMA(p, q) alors, comme αϕ−1 existe,

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 41/93.
X = Fα−1
ϕ ∗αϕ
X = Fα−1
ϕ
Fαϕ X = Fα−1
ϕ
Fαθ Z = Fα−1
ϕ ∗αθ
Z

par le théorème 2.6. On peut aussi utiliser le théorème 2.11 d’identifiabilité.

2. Supposons qu’un processus linéaire Fα Z avec α ∈ `1 (Z) soit solution de ARMA(p, q).
Alors par théorème 2.6 de composition des filtres,

Fαθ Z = Fαϕ (Fα Z) = Fα∗αϕ Z,

puis par le théorème 2.11 d’identifiabilité, α ∗ αϕ = αθ . Comme α ∈ `1 (Z), par le

lemme 2.7, pour tout z ∈ C tel que |z| = 1,

Pα (z)Φ(z) = Pα (z)Pαϕ (z) = Pα∗αϕ (z) = Pαθ (z) = Θ(z).

Donc toute racine de Φ de module 1 est également racine de Θ.

Remarque 3.7 : Fraction rationnelle d’un ARMA

La suite α = αθ ∗ αϕ−1 de la solution F Z de ARMA(p, q) est liée au développement

α
en série de la fraction rationnelle Θ/Φ. En effet, si Φ n’a pas de racine de module
1, alors la preuve du théorème 2.8 dit qu’il existe une couronne D(r, R) = {z ∈ C :
r < |z| < R} contenant le cercle unité, ne contenant aucune racine de Φ, telle que
1 1 X
−1
∀z ∈ D(r, R), = = (αϕ )k z k ,
Φ(z) Pαϕ (z)
k∈Z

et ce développement en série de puissances est absolument convergent. Par conséquent,

41
 3. Processus ARMA (x1.5)

en effectuant un produit de Cauchy, on obtient, pour tout z ∈ D(r, R),

! !
Θ(z) Pαθ (z) X X
−1 0
= = (αθ )k z k (αϕ )k0 z k
Φ(z) Pαϕ (z) 0
k∈Z k ∈Z
0
X X
−1
= (αθ )k (αϕ )k0 z k+k
k,k0 ∈Z k∈Z
!
h=k+k0
X X
−1
= (αθ )k (αϕ )h−k z h
h∈Z k∈Z
X
−1
= (αθ ∗ αϕ )h z h
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 42/93.

h∈Z
X
= αh z h .
h∈Z

Cela revient à exploiter la décomposition en éléments simples de Θ/Φ. Deux équations

ARMA(p, q) qui admettent une solution stationnaire et qui ont la même fraction
rationnelle ont la même solution. Cela permet d’éliminer les racines communes de
Θ et Φ par simplification, et conduit à une équation ARMA irréductible.

Remarque 3.8 : Présence de racines de module 1

Si Φ = Pαϕ possède des racines de module 1, alors l’équation ARMA(p, q) ne possède

pas en général de solution stationnaire, comme le montre un AR(1) avec |ϕ1 | = 1.

3.3 ARMA causal et inversible

D’après la définition 2.5, un filtre X = Fα Z de Z est qualifié de causal ssi αk = 0 pour
tout k < 0. Il est qualifié d’inversible ssi Z est un filtre causal de X, c’est-à-dire ssi il
existe β ∈ `1 (Z) tel que Z = Fβ X avec βk = 0 pour tout k < 0.

Théorème 3.9 : Causalité et inversibilité des ARMA

Considérons une équation ARMA(p, q) Fαϕ X = Fαθ Z et ses polynômes Φ = Pαϕ et

Θ = Pαθ . On suppose que Φ n’a pas de racines de module 1, ce qui assure l’existence
d’une solution stationnaire unique X = Fα−1
ϕ ∗αθ
Z (théorème 3.6). Alors
— la solution X est causale si Φ n’a pas de racine de module ≤ 1 ;
— la solution X est inversible si Θ n’a pas de racine de module ≤ 1.

Note : comment se souvenir de la condition qui assure la causalité ? La méthode la plus

efficace est de refaire la preuve, qui est courte et simple !

Remarque 3.10 : Causalité, inversibilité, et fraction rationnelle

La condition suffisante de causalité donnée par le théorème 3.9 ne constitue pas une
condition nécessaire. En effet, comme l’unique solution stationnaire de l’équation

42
 3.3. ARMA causal et inversible

1.0
AR(2)
0.0

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 43/93.
−1.0

0 20 40 60 80 100
temps
0.0 0.5
MA(2)
−1.0

0 20 40 60 80 100
temps
−0.5 0.0 0.5
ARMA(2,2)

0 20 40 60 80 100
temps

Figure 3.1 – Simulation de trajectoires de processus AR(2), MA(2), et ARMA(2, 2).

Trajectoires simulées de processus AR, MA, ARMA, avec le code GNU-R ci-dessous.

require("stats") # en général déjà installé

serie = [Link](n=100,list(ar = c(0.8, -0.4), ma = c(-0.2, 0.2)), sd = 0.3)
[Link](serie,xlab="temps",ylab="ARMA(2,2)")
serie = [Link](n=100,list(ar = c(0.8, -0.4)), sd = 0.3)
[Link](serie,xlab="temps",ylab="AR(2)")
serie = [Link](n=100,list(ma = c(-0.2, 0.2)), sd = 0.3)
[Link](serie,xlab="temps",ylab="MA(2)")

43
 3. Processus ARMA (x1.5)

ARMA ne dépend que de la fraction rationnelle Θ/Φ autour du cercle unité, c’est la
forme irréductible Θ̃/Φ̃ qui importe, obtenue après simplification des racines communes
à Θ et Φ (attentions aux multiplicités). Ainsi si Φ̃ (respectivement Θ̃) ne s’annule pas
sur le disque unité alors la solution est causale (respectivement inversible).

Démonstration. Le processus X est causal ssi αϕ −1 ∗ α est porté par N. Si Φ n’a pas de
θ
racine de module ≤ 1, alors, d’après le théorème 2.8, αϕ −1 est porté par N, et comme α
θ
est porté par N (Θ est un polynôme), on en déduit que αϕ −1 ∗ α est porté par N.
θ
Le processus X est inversible ssi αθ est inversible pour ∗ dans `1 (Z) et αθ−1 ∗ αϕ est
porté par N. Si Θ n’a pas de racine de module ≤ 1, alors, d’après le théorème 2.8, αθ−1
existe et est porté par N, et comme αϕ est porté par N (Φ est un polynôme), on en déduit
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 44/93.

que αθ−1 ∗ αϕ est porté par N.

Remarque 3.11 : Résolution pratique des ARMA inversibles

La résolution pratique des ARMA(p, q) inversible peut être menée grâce à la remarque
2.10. En effet, on résout en ξ le système
!
X
ξk z (1 − ϕ1 z − · · · − ϕp z p ) = 1 + θ1 z + · · · + θq z q
k

k∈Z

en identifiant les coefficients, ce qui donne dans le cas causal le système triangulaire

ξ0 = θ0 = 1
−ξ0 ϕ1 + ξ1 = θ1
−ξ0 ϕ2 − ξ1 ϕ1 + ξ2 = θ2
..
.

Note : si Pαϕ divise Pαθ (c’est-à-dire que si zj est racine de Pαϕ de multiplicité mj
alors elle est aussi racine de Pαθ de multiplicité ≥ mj ) alors Pξ est un polynôme.
Dans le cas contraire, Pξ n’est pas un polynôme et contient des puissances de z de
degré arbitrairement grand.
P Exemple : lak solution de ARMA(1, 1) quand |ϕ1 | < 1 est
donnée par Pξ (z) = 1 + ∞ k=1 (ϕ 1 + θ 1 )ϕ 1 z k , qui vérifie bien (1 − ϕ z)P (z) = 1 + θ z.
1 ξ 1
Ici, Pαϕ divise Pαθ ssi −1/θ1 = 1/ϕ1 , c’est-à-dire ssi Pξ (z) = 1 (et on a Pαϕ = Pαθ ).

Exemple 3.12 : Tiré de l’examen final de janvier 2014

On considère un BB 0, σ 2 Z et l’équation ARMA(1, 1)

Xt = Zt + 2Zt−1 + (1/2)Xt−1 .

— Solution stationnaire, causalité, invertibilité. Comme Φ(z) = 1 − (1/2)z

a une seule racine, 2, de module > 1. L’équation admet donc une unique
solution stationnaire, causale, de la forme X = Fα Z (processus linéaire) avec
α ∈ `1 (Z) et αk = 0 si k < 0. D’autre part, Θ(z) = 1 + 2z admet une unique
racine, −1/2, de module < 1, mais cela ne signifie pas que la solution n’est

44
 3.3. ARMA causal et inversible

pas inversible. Pour calculer α, comme αk = 0 pour tout k < 0, il suffit de

résoudre le système triangulaire

(1 − (1/2)z)(α0 + α1 z + · · · ) = 1 + 2z,

c’est-à-dire α0 = 1, α1 − (1/2)α0 = 2, αk − (1/2)αk−1 = 0 pour tout k ≥ 2, ce

qui donne α0 = 1, α1 = 2 + 1/2 = 5/2, αk = 5(1/2)k pour tout k ≥ 1.
Alternativement, on peut développer la fraction rationnelle de l’équation :
comme |(1/2)z| = 1/2 < 1 pour |z| = 1, on obtient

Θ(z) 1 + 2z
=
Φ(z) 1 − (1/2)z

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 45/93.
∞
X
= (1 + 2z) (1/2)k z k
k=0
∞
X
=1+ ((1/2)k + 2(1/2)k−1 )z k
k=1
∞
X
=1+ 5(1/2)k z k ;
k=1

Il est agréable de vérifier qu’on a bien α ∈ `1 (Z) (série géométrique convergente).

Il est aussi judicieux de vérifier la formule pour z = 1, ce qui donne 6 = 6 ;
— Autocovariance. Si α est tel que X = Fα Z, alors, d’après le théorème de
filtrage des processus stationnaires, pour h ≥ 0,
X
γX (h) = αj αk γZ (h + j − k)
j,k∈Z
∞
X
2
=σ αj αh+j
j=0
∞
X
= σ 2 (αh + 25(1/2)2j+h )
j=1

= σ (1h=0 + 5(1/2)|h| 1|h|6=0 + (25/3)(1/2)|h| ).

2

Ainsi, γX (h) → 0 exponentiellement vite quand |h| = |t − s| → ∞.

Exemple 3.13 : Inspiré des examens de septembre et novembre 2015

Cet exemple contient l’exemple 3.12. Soit l’équation ARMA(1,1)

Xt − ϕXt−1 = Zt + θZt−1

où ϕ et θ sont des réels. Sa fraction rationnelle est

Θ(z) 1 + θz
R(z) := = .
ϕ(z) 1 − ϕz

45
 3. Processus ARMA (x1.5)

Le polynôme ϕ(z) = 1 − ϕz a une unique racine 1/ϕ de module 1/|ϕ|. Le polynôme

Θ(z) = 1 + θz a une unique racine −1/θ de module 1/|θ|.
— Condition suffisante d’existence de solution stationnaire. D’après le
théorème 3.6, si ϕ ne s’annule pas sur le cercle unité (c’est-à-dire que |ϕ| 6= 1)
alors il existe une unique solution stationnaire X qui est un filtre de Z, donné
par Fψ Z où ψ est le développement en série de puissances de z sur le cercle
unité de la fraction rationnelle z 7→ R(z).
— Calcul de laPsolution quand |ϕ| < 1. Si |z| = 1 alors |ϕz| < 1 et
1/(1 − ϕz) = ∞ k=0 ϕ z , d’où
k k

∞ ∞ ∞
1 + θz X X X
= ϕk z k + θz ϕk z k = 1 + ϕk−1 (ϕ + θ)z k
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 46/93.

1 − ϕz
k=0 k=0 k=1

d’où
ψk = 1k=0 + ϕk−1 (ϕ + θ)1k>0 .
— Calcul de la solution quand |ϕ| > 1. Si |z| = 1 alors |(ϕz)−1 | < 1 et
∞ ∞
1 1 1 1 X −k −k X
=− =− ϕ z =− ϕ−k z −k .
1 − ϕz ϕz 1 − (ϕz)−1 ϕz
k=0 k=1

et donc
∞ ∞ ∞
1 + θz X X X
=− ϕ−k z −k − θz ϕ−k z −k = −θϕ−1 + ϕ−k−1 (ϕ + θ)z −k
1 − ϕz
k=1 k=1 k=1

d’où
ψk = −θϕ−1 1k=0 + ϕk−1 (ϕ + θ)1k<0 .
Dans les deux cas, Fϕ−1 ◦ Fθ = Fψ , pour tout t ∈ Z,
X
Xt = ψk Zt−k
k∈Z

(note : X = Z si ϕ + θ = 0), et l’autocovariance vaut, pour tout h ∈ Z,

X X
γX (h) = γFψ Z (h) = ψj ψk γZ (h + j − k) = σ 2 ψj ψh+j .
j,k∈Z j∈Z

Enfin, le processus X est causal lorsque Φ ne s’annule pas sur le disque unité
(c’est-à-dire que |ϕ| < 1). Lorsque Θ ne s’annule pas sur le disque unité
(c’est-à-dire que |θ| < 1) alors X est inversible.
— Étude du cas dégénéré |ϕ| = 1. Le théorème 3.6 ne s’applique pas. On pro-
cède comme lors de l’étude de l’équation AR(1). Pour tous ϕ et θ, l’utilisation

46
 3.4. Autocovariance d’un ARMA

récursive de Xt = ϕXt−1 + Zt + θZt−1 donne, pour tout t ∈ Z et tout n ∈ N,

Xt = ϕXt−1 + Zt + θZt−1
= ϕ(ϕXt−2 + Zt−1 + θZt−2 ) + Xt−1 + Zt + θZt−1
= ϕ2 Xt−2 + Zt + (ϕ + θ)Zt−1 + ϕθZt−2
..
.
n−1
X
n
= ϕ Xt−n + Zt + ϕk−1 (ϕ + θ)Zt−k + ϕn−1 θZt−n .
k=1

On retrouve l’expression de la solution stationnaire quand |ϕ| < 1 (une récur-

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 47/93.
rence inversée conduit à la solution du cas |ϕ| > 1). D’autre part, si X est
solution stationnaire, le calcul de la variance des deux membres de l’équation
n−1
X
n
Xt − ϕ Xt−n = Zt + (ϕ + θ) ϕk−1 Zt−k + ϕn−1 θZt−n
k=1

donne
n−1
X
(1 + ϕ2n )γX (0) − 2ϕn γX (n) = σ 2 + σ 2 (ϕ + θ)2 ϕ2(k−1) + σ 2 ϕ2(n−1) θ2 .
k=1

Or si |ϕ| = 1 et ϕ + θ 6= 0 alors on obtient une contradiction lorsque n → ∞ :

le membre de gauche reste borné tandis que le membre de droite tend vers
l’infini. Il n’y a donc pas de solution stationnaire lorqu’à la fois |ϕ| = 1 et
ϕ + θ 6= 0. D’un autre côté si ϕ + θ = 0 alors X = Z est solution stationnaire.

3.4 Autocovariance d’un ARMA

D’après le résultat suivant, la fonction d’autocovariance d’un processus ARMA décroît
exponentiellement : ces processus ne sont donc pas de bons modèles pour les séries
temporelles à mémoire longue, dont l’autocovariance n’a pas ce comportement.

Théorème 3.14 : Autocovariance des ARMA

Si X est la solution stationnaire causale de ARMA(p, q) fournie par le théorème

3.6 avec Φ = Pαϕ sans racines de module ≤ 1, alors l’autocovariance de X décroît
exponentiellement : il existe des constantes 0 ≤ ρ < 1 et C > 0 telles que

∀h ∈ Z, |γX (h)| ≤ Cρ|h| .

Démonstration. On a X = Fα Z avec α = αϕ −1 ∗ α . Comme P

θ αϕ n’a pas de racines de
module ≤ 1, les coefficients de αϕ proviennent de la superposition d’un nombre fini de
−1

séries de puissances géométriques portées par N. Il existe donc des constantes C > 0 et
0 ≤ ρ < 1 telles que |αk | ≤ Cρk pour tout k ≥ 0, tandis que αk = 0 si k < 0 (car le
processus est causal). À présent, l’exemple 2.3 donne, pour tout h ≥ 0,
X X ∞
X
2 2
γX (h) = αj αk γZ (h + j − k) = σ αj αj+h = σ αj αj+h .
j,k∈Z j∈Z j=0

47
 3. Processus ARMA (x1.5)

Il en découle que pour tout h ∈ Z,

∞
X σ 2 C 2 ρ|h|
|γX (h)| ≤ σ 2
C 2 ρ2j+|h| = = O(ρ|h| ).
1 − ρ2
j=0

6→7

3.5 Compléments

Remarque 3.15 : Linéarité des équations ARMA

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 48/93.

Considérons l’équation ARMA(p, q) Fαϕ X = Fαθ Z en X = (Xt )t∈Z , où Z = (Zt )t∈Z

est un BB(0, σ 2 ). Il est possible de concevoir X et Z comme deux variables aléatoires à
valeurs dans RZ , c’est-à-dire comme des vecteurs aléatoires infinis dont les composantes
sont indicées par l’ensemble Z. L’équation ARMA s’écrit alors matriciellement

M (ϕ) X = M (θ) Z

où M (ϕ) = (Mt,k ) et M (θ) = (Mt,k ) sont des matrices infinies, triangulaires

(ϕ) (θ)
t,k∈Z t,k∈Z
inférieures, bande-diagonales (de largeur de bande p + 1 et q + 1), de Toeplitz :

si k = t

1

Mt,k = −ϕk si k ∈ {t − 1, . . . , t − p}
(ϕ)

sinon

0


et
si k = t

1

si k ∈ {t − 1, . . . , t − q}
(θ)
Mt,k = θk
sinon

0


(elles seraient inversibles si elles étaient finies !). Autrement dit, pour tout t ∈ Z,
X (ϕ) X (θ)
Mt,k Xk = Mt,k Zk .
k∈Z j∈Z

On veut résoudre cette équation dans l’espace vectoriel S2 des processus stationnaires.
La linéarité de l’équation fait que si X et X 0 sont deux solutions alors X − X 0 est
solution de l’équation sans second membre M (ϕ) X = 0. En général cette équation
sans second membre n’a, dans S2 , qu’une seule solution qui est identiquement nulle,
d’où l’unicité (si existence), dans S2 , de la solution de l’équation avec second membre.

Remarque 3.16 : Filtrage exponentiel et AR(∞)

Soit λ ∈ R tel que 0 < |λ| < 1 et soit ϕk = −λk pour tout k ∈ N. Soit Z un BB 0, σ 2 .

48
 3.5. Compléments

Recherchons un processus linéaire solution de l’équation AR(∞) suivante

∞
X ∞
X
Xt = Zt + ϕk Xt−k = Zt − λk Xt−k .
k=1 k=1

Ici Θ(z) = 1 mais Φ(z) = 1 + k=0 λk z k = 1/(1 − λz) (pour |λz| < 1) n’est
P∞
pas un polynôme. L’équation Φ(z) = 0 en z n’a pas de solution. De plus, on a la
formule Θ(z)/Φ(z) = 1 − λz ce qui suggère la solution Xt = Zt − λZt−1 . On vérifie
immédiatement que ce processus MA(1) est bien solution de notre équation AR(∞) :
∞
X ∞
X ∞
X
k k
Zt − λ Xt−k = Zt − λ Zt−k + λk+1 Zt−1−k = Zt − λZt−1 = Xt .

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 49/93.
k=1 k=1 k=1

Nous savions qu’un AR(1) causal est un MA(∞). Nous avons le cas dual ici : un
AR(∞) causal est un MA(1). Plus généralement, l’analyse des ARMA(∞, ∞) peut
être menée en étudiant les suites sommables à support infini au moyen de concepts et
d’outils d’analyse complexe comme les fonctions méromorphes et les séries de Laurent.

49
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 50/93.
 3.5. Compléments

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 51/93.
Il n’y a aucune différence entre d’une part un théorème démontré du cours et d’autre
part un exercice corrigé des travaux dirigés. Ici comme ailleurs, il est conseillé de
chercher à comprendre plutôt que d’apprendre par cœur.

51
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 52/93.
 Chapitre 4
Analyse spectrale (x2)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 53/93.
Mots-clés : mesure spectrale ; densité spectrale ; représentation isospectrale.

Nous savons (théorème 1.18) que les fonctions d’autocovariance des processus station-
naires sont les fonctions symétriques de type positif, et cela provient de la structure
Toeplitz de la covariance, elle même conséquence de la stationnarité. Le théorème de
Herglotz (théorème 4.6), au centre de ce chapitre, affirme que les fonctions d’autocova-
riance sont les coefficients de Fourier des mesures positives finies paires. Cette bijection
apporte un nouveau point de vue très utile sur les processus stationnaires.
Dans ce chapitre, nous effectuons l’analyse spectrale d’un signal, et ce signal est la
fonction d’autocovariance, et non pas le processus stationnaire lui-même. Cela permet au
passage de comprendre enfin le sens exact des termes «filtrage» et «bruit blanc». Mais
nous allons voir que cela permet surtout de construire pour presque tout processus ARMA
un processus ARMA causal et inversible de même autocovariance ! (théorème 4.15).

4.1 Coefficients de Fourier

Les mesures positives finies sont une généralisation des fonctions positives intégrables.
De même, les mesures signées finies sont une généralisation des fonctions intégrables. Plus
précisément, si ν1 et ν2 sont deux mesures positives finies sur [−π, π], on dit que leur
différence ν = ν1 − ν2 est une Rmesure Rsignée finie. Pour toute fonction «test» mesurable
bornée ϕ : [−π, π] → R, on a ϕdν = ϕdν1 − ϕdν2 . On a L1 (ν) = L1 (ν1 ) ∩ L1 (ν2 ).
R

Pour tout h ∈ Z, on note ϕh : u ∈ [−π, π] 7→ eiuh ∈ C, où i := (0, 1). Comme |ϕh | = 1,

pour toute mesure signée finie ν sur [−π, π], on a ϕh ∈ L1C ([−π, π], dν). Dans ce chapitre,
on utilise plusieurs fois le fait trigonométrique suivant : pour tous j, k ∈ Z,
Z Z
eiju e−iku du = ei(j−k)u du = 2π1j=k .
[−π,π] [−π,π]

Définition 4.1 : Coefficients de Fourier

Si ν est une mesure signée finie sur [−π, π] alors la suite (b

ν (h))h∈Z ∈ CZ de ses
coefficients de Fourier est définie par
Z Z
∀h ∈ Z, νb(h) = e ν(du) = ϕh dν.
ihu
[−π,π]

53
 4. Analyse spectrale (x2)

Si f ∈ L1 ([−π, π], du) et si ν est la mesure signée finie sur R[−π, π] de densité f ,
c’est-à-dire que dν(u) = f (u)du, alors on note fb(h) := νb(h) = [−π,π] eihu f (u)du.

Chaque coefficient de Fourier «teste» ν sur une fonction trigonométrique. Le paramètre

h est la «fréquence» de la fonction u 7→ ϕh (u) = eiuh = cos(hu) + i sin(hu). Lorsque ν est
positive, alors νb(0) = ν([−π, π]) ≥ 0, ν est une probabilité ssi νb(0) = 1, et

∀h ∈ Z, |b
ν (h)| ≤ νb(0) = ν([−π, π]).

Exemple 4.2 : Localisation et principe d’incertitude

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 54/93.

— si ν = δ0 (localisé) alors ∀h ∈ Z, νb(h) = 1 (délocalisé) ;

— si ν = Unif([−π, π]) (délocalisé), alors ∀h ∈ Z, νb(h) = 1h=0 (localisé).
On voit sur ces deux exemples extrêmes que si ν est localisée dans l’espace alors νb ne
l’est pas, et réciproquement. Plus généralement, au delà de ces deux exemples, on peut
établir qu’il est impossible de localiser à la fois ν et νb au delà d’un certain seuil absolu,
phénomène connu sous le nom de principe d’incertitude en analyse harmonique a .
a. En mécanique quantique, la position et l’impulsion sont liées à des opérateurs associés par une
transformation de Fourier, ce qui conduit au principe d’incertitude de Heisenberg.

Le théorème suivant affirme que les coefficients de Fourier caractérisent la mesure.

Théorème 4.3 : Injectivité de la suite des coefficients de Fourier

Si ν1 et ν2 sont deux mesures signées finies sur [−π, π] vérifiant νb1 = νb2 alors ν1 = ν2 .

Démonstration. L’intervalle K = [−π, π] est compact. Soit CC (K) l’espace de Banach des
fonctions continues f : K → C muni de la norme uniforme kf k∞ = supt∈[−π,π] |f (t)|. Le
théorème de densité de Stone-Weierstrass affirme que A ⊂ CC (K) est dense lorsque
— A est une algèbre (stable par combinaisons linéaires finies et multiplication) ;
— A est stable par conjugaison, et contient les constantes ;
— A sépare les points : ∀x 6= y ∈ K, ∃f ∈ A : f (x) 6= f (y).
L’algèbre engendrée par les fonctions trigonométriques {u ∈ [−π, π] 7→ eiuh : h ∈ Z}, dont
les éléments sont appelés polynômes trigonométriques, vérifie ces conditions. Donc si
νb1 = νb2 alors ν1 et ν2 coïncident sur A en tant que formes linéaires continues et donc sur
CC (K) par densité. En effet, pour tout f ∈ CC (K) et tout ε > 0, la densité nous dit qu’il
existe fε ∈ A tel que kf − fε k∞ ≤ ε :
Z Z Z
f d(ν1 − ν2 ) = (f − fε )d(ν1 − ν2 ) + fε d(ν1 − ν2 ),
| {z } | {z }
O(ε) =0 car νb1 = νb2
Z Z Z
où gd(ν1 −ν2 ) := gdν1 − gdν2 . Comme ε est arbitrairement petit, le tour est joué.

Intuitivement, on s’attend à un lien entre la régularité de ν et le comportement à l’infini

de νb (hautes fréquences). Dans cet esprit, le théorème suivant affirme qu’une mesure à
coefficients de Fourier sommables possède toujours une densité.

54
 4.1. Coefficients de Fourier

Théorème 4.4 : Critère de densité et formule d’inversion

Si ν est une mesure signée finie sur [−π, π] telle que νb ∈ `1C (Z) alors ν admet une
densité f = dudν
∈ L1 ([−π, π], du) continue donnée pour presque tout u ∈ [−π, π] par
la série absolument convergente suivante (appelée formule d’inversion) :
1 X −iuh
f (u) = e νb(h).
2π
h∈Z

De plus f ≥ 0 ssi ν est une mesure positive.

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 55/93.
Note : exemple de non sommabilité : si ν = δ0 alors νb = 1 6∈ `1 (Z).

Démonstration. Comme νb ∈ `1C (Z), la série définissant f (u) est absolument convergente,
uniformément bornée par kν̂k1 , et f ∈ L1 ([−π, π], du). La fonction f définit une mesure
signée f (u)du finie sur [−π, π]. Notons que f est réelle car νb est hermitienne :

∀h ∈ Z, νb(h) = νb(−h).

De plus la mesure ν est paire si et seulement si sa densité f est paire, et alors la transformée
de Fourier νb = fb est paire et réelle. Enfin, le théorème de Fubini–Tonelli donne
Z π Z π
1 1 X
e e eiu(h−k) du = νb(h).
X
iuh −iuk
∀h ∈ Z, f (h) =
b νb(k)du = νb(k)
2π −π 2π −π
k∈Z k∈Z | {z }
2π1h=k

Donc fb = νb, et donc f (u)du = dν(u) par le théorème 4.3 d’injectivité. La somme de la série
définissant f est la limite uniforme de fonctions continues sur [−π, π] (série de fonctions
normalement convergente), c’est donc une fonction continue sur [−π, π]. Enfin, la fonction
f est ≥ 0 presque partout en tant que densité, et donc partout par continuité.

Théorème 4.5 : Paul Lévy – Critère de convergence

Si (νn )n≥1 est une suite de mesures de probabilité sur [−π, π] telles que

∀h ∈ Z, lim νc
n (h) = ϕ(h) ∈ C,
n→∞

alors il existe une mesure de probabilité ν sur [−π, π] telle que

ϕ = νb,

et limn→∞ νn = ν étroitement : pour toute g : [−π, π] → R continue et bornée,

Z Z
lim gdνn = gdν.
n→∞

Preuve (facultative). On prolonge chaque νn en une mesure de probabilité sur R. Comme

[−π, π] est compact et contient supp(νn ) pour tout n ≥ 1, la suite (νn )n≥1 est tendue :
pour tout ε > 0, il existe un compact K tel que supn νn (K c ) ≤ ε. Il en découle grâce
au théorème de Prohorov que (νn )n≥1 est relativement compacte pour la topologie de la

55
 4. Analyse spectrale (x2)

convergence étroite (qui est métrisable). Ainsi, (νn )n≥1 converge étroitement ssi elle admet
une unique valeur d’adhérence pour la convergence étroite (qui est nécessairement une
mesure de probabilité portée par [−π, π]). Or cette unicité découle de l’hypothèse faite sur
les transformées de Fourier grâce au théorème 4.3 d’injectivité : les limites des sous-suites
de (νn )n≥1 qui convergent étroitement ont toutes la même transformée de Fourier ϕ.

4.2 Théorème de Herglotz

Théorème 4.6 : Herglotz – Mesure spectrale et densité spectrale

Pour tout γ : Z → R les deux propriétés suivantes sont équivalentes :

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 56/93.

1. γ est symétrique de type positif :

n X
n
et ∀n ≥ 1, ∀v ∈ Rn ,
X
∀h ∈ Z, γ(−h) = γ(h) vj vk γ(j − k) ≥ 0;
j=1 k=1

2. (γ(h))h∈Z sont les coefficient de Fourier d’une mesure positive finie ν sur
[−π, π]. En particulier ν est paire et γ(0) = ν([−π, π]) car
Z
∀h ∈ Z, γ(h) = eihu ν(du) ∈ R.
[−π,π]

Lorsque ces propriétés ont lieu, la mesure ν est unique, et est appelée mesure
spectrale (sa densité f = dν/du, si elle existe, est appelée densité spectrale).
Lorsque ces propriétés ont lieu, et si de plus γ ∈ `1 (Z), alors la densité spectrale
f = dν/du existe et est donnée par la série (uniformément convergente en u)
1 X
∀u ∈ [−π, π], f (u) = γ(h)e−ihu ,
2π
h∈Z

et cette fonction est paire et continue.

Note : la parité de ν fait écho à la nature réelle symétrique de γ

Note : comme f est paire on peut remplacer e−ihu par eihu dans la formule.
Note : la somme qui définit f est réelle car comme γ est hermitienne (car réelle
symétrique), on en déduit que pour tout u ∈ [−π, π],
X X X
γ(h)e−ihu = γ(−h)eihu = γ(h)e−ihu .
h∈Z h∈Z h∈Z

Exemple 4.7 : Densité spectrale d’un MA(1)

Si Xt = Zt + θZt−1 est un MA(1) avec Z ∼ BB 0, σ 2 , alors son autocovariance est

donnée par γX = σ 2 (1 + θ2 )10 + σ 2 θ1±1 ∈ `1 (Z), et sa densité spectrale est donnée

par f (u) = 2π
1 P
h∈{0,±1} γX (h)e
−ihu = σ 2 (1 + θ 2 + 2θ cos(u)) pour tout u ∈ [−π, π].
2π

Démonstration du théorème 4.6. Montrons que 2 ⇒ 1. Supposons que γ = νb pour une

mesure positive finie ν sur [−π, π]. Comme νb est hermitienne, dire que νb est réelle est

56
 4.3. Mesure spectrale d’un processus stationnaire

équivalent à dire que νb est symétrique. Or comme la fonction γ est par définition réelle et
νb = γ, on en déduit que γ est symétrique (ce qui implique que ν est paire). Pour établir
que γ est de type positif, on observe que pour tous n ≥ 1 et v ∈ Rn ,
n X n n X
Z πX n n
Z π X
2
vj eiju vk e−iku ν(du) = vj eiju ν(du) ≥ 0.
X
vj vk γ(j − k) =
j=1 k=1 −π j=1 k=1 −π j=1

Montrons que 1 ⇒ 2. Soit γ : Z → R symétrique de type positif. Dans la définition de 7→8

positivité, on peut remplacer v ∈ Rn par v ∈ Cn et vj vk par vj vk , car si v, v 0 ∈ Rn ,
n
X n
X n
X
(vj +ivj0 )(vk + ivk0 )γ(j −k) = (vj vk + vj0 vk0 )γ(j − k) +i (vj0 vk − vj vk0 )γ(j − k) .
j,k=1 j,k=1 j,k=1

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 57/93.
| {z } | {z }
≥0 =0

Recherchons la mesure positive finie ν. On ne peut pas utiliser le théorème 4.4 car la
condition γ ∈ `1C (Z) n’est pas forcément vérifiée. On peut malgré tout s’inspirer du théorème
4.4 : pour tout n ≥ 1 et u ∈ [−π, π], soit,
n n
1 X −iju 1 X iku 1 1 −i(j−k)u
e e γ(j − k) = e
X
fn (u) = γ(j − k).
2π n 2π n
j=1 k=1 1≤j,k≤n

Comme γ est de type positif, on a fn (u) ≥ 0 (prendre vj = e−iju ). Comme la quantité sous
le signe somme ne dépend que de ` = j − k, on a (dessin !)

card{(j, k) : j − k = `} −i`u
n−1 n−1
1 1 n − |`| −i`u
e e
X X
fn (u) = γ(`) = γ(`).
2π n 2π n
`=−n+1 `=−n+1

Soit νn la mesure positive de densité fn = dνdu . On a, pour tout h ∈ Z avec |h| ≤ n,

n

Z π
νc
n (h) = eihu fn (u)du
−π
n−1   Z π
1 |`|
eihu e−i`u du
X
= 1− γ(`)
2π n
`=−n+1 | −π {z }
=2π1h=`
 
|h|
= 1− γ(h).
n
En posant νc n (h) = 0 si |h| > n, on a limn→∞ ν n = γ ponctuellement sur Z. Notons que
c
νn ([−π, π]) = νcn (0) = γ(0). Si γ(0) = 0 alors γ = 0 et on peut prendre ν = 0. Si γ(0) > 0,
alors on se ramène par dilatation au cas où γ(0) = 1 et on obtient par le théorème 4.5 de
Paul Lévy qu’il existe une mesure de probabilité ν telle que γ = νb et νn → ν étroitement.
L’unicité de ν découle du théorème 4.3, et la densité du théorème 4.4.

4.3 Mesure spectrale d’un processus stationnaire

Définition 4.8 : Mesure/densité spectrale d’un processus stationnaire

Si X = (Xt )t∈Z est un processus stationnaire d’autocovariance γX alors la mesure

spectrale de X, notée νX , est la mesure positive de transformée de Fourier γX fournie
par le théorème 4.6 de Herglotz. De même, si γX ∈ `1 (Z), alors la densité spectrale

57
 4. Analyse spectrale (x2)

de X, notée fX , est la densité de νX fournie par le théorème 4.6 de Herglotz.

Théorème 4.9 : Condition pratique pour être autocovariance

Si γ : Z → R est une fonction vérifiant les deux propriétés

— (symétrie) ∀h ∈ Z : γ(−h) = γ(h) ; P
— (sommabilité) γ ∈ `1 (Z) c’est-à-dire h∈Z |γ(h)| < ∞ ;
alors γ est la fonction d’autocovariance d’un processus stationnaire ssi
1 X
∀u ∈ [−π, π], f (u) = γ(h)e−ihu ≥ 0
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 58/93.

2π
h∈Z

De plus, dans ce cas, le processus admet pour densité spectrale f .

Note : comme f est paire on peut remplacer e−ihu par eihu dans la formule.

Démonstration. Si γ ∈ `1 (Z) est l’autocovariance d’un processus stationnaire, alors la

seconde partie du théorème 4.6 de Herglotz assure que γ possède une densité spectrale,
donnée par f (u) = 2π h∈Z e−iuhP
1 P
γ(h) pour tout u ∈ [−π, π], et f ≥ 0.
Réciproquement, si f (u) = 2π1
h∈Z e
−iuh γ(h) ≥ 0 pour tout u ∈ [−π, π], alors 0 ≤ f ∈

L ([−π, π]) car γ ∈ ` (Z) et f est donc la densité d’une mesure positive finie sur [−π, π].
1 1

De plus, pour tout h ∈ Z, on a

Z π
1 X π ihu ih0 u
Z
f (h) =
b e f (u)du =
ihu
e e γ(h0 )du = γ(h).
−π 2π 0 −π
h ∈Z

Donc par le théorème 4.6 de Herglotz, γ est symmétrique de type positif, et par le théorème
1.18, γ est l’autocovariance d’un processus stationnaire de densité spectrale f .

Exemple 4.10 : Processus harmonique

Considérons à nouveau le processus harmonique de l’exemple 1.12, défini par

la formule Xt = A cos(θt) + B sin(θt) où A et B sont des variables aléatoires non
corrélées de moyenne 0 et de variance σ 2 , et où θ ∈ [−π, π] est une constante. Nous
avions calculé que γX (h) = σ 2 cos(θh). En ce qui concerne la mesure spectrale, on a

σ 2 −iθh
Z
γX (h) = σ cos(θh) =
2
(e +e )=
iθh
eiuh µ(du)
2 [−π,π]

pour µ = σ2 (δ−θ + δθ ) (mesure de Bernoulli). La présence d’atomes fait que la densité

2

spectrale n’existe pas. Donc γX 6∈ `1 (Z)

P car sinon cela contredirait le théorème de
Herglotz. Notons d’ailleurs que la série h∈Z |γX (h)| diverge car | cos(θh)| 6→ 0 (facile
à voir quand θ ∈ Qπ) et donc γX 6∈ `1 (Z).

Remarque 4.11 : Localisation spectrale et mémoire

58
 4.3. Mesure spectrale d’un processus stationnaire

Si νX = δ0 alors γX = 1 et donc X est à mémoire longue, tandis que si νX = du alors

γX = 2π10 et donc X est à mémoire courte (cf. ci-dessous l’exemple du bruit blanc).

Le théorème suivant montre en particulier que le filtrage a pour effet de modifier les
poids affectés aux différentes fréquences, ce qui explique son nom.

Théorème 4.12 : Spectre et filtrage

Si X est stationnaire de mesure spectrale νX alors pour tout α ∈ `1 (Z), la mesure

spectrale νFα X du processus filtré stationnaire Fα X est absolument continue par
rapport à νX , de densité u ∈ [−π, π] 7→ Pα (e−iu ) où
2

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 59/93.
X
Pα (z) = αj z j .
j∈Z

En particulier, si X possède une densité spectrale fX alors Y = Fα X aussi et

2
∀u ∈ [−π, π], fY (u) = Pα (e−iu ) fX (u).

Note : comme les densités spectrales sont paires on peut remplacer e−iu par eiu .
Note : comme α est réel on a |Pα (eiu )| = |Pα (eiu )| = |Pα (eiu )| = |Pα (e−iu )|.
Note : Pα est un polynôme ssi le support {k ∈ Z : αk 6= 0} est une partie finie de N.

Démonstration. Par le théorème 2.2, γFα X (h) = j∈Z k∈Z αj αk γX (h + k − j), d’où
P P

Z
eiu(h+k−j) νX (du)
XX
γFα X (h) = αj αk
j∈Z k∈Z [−π,π]
Z
αj αk eiu(h+k−j) νX (du)
XX
=
[−π,π] k∈Z j∈Z
2
Z
e αj e
X
iuh −iuj
= νX (du) .
[−π,π] j∈Z
| {z }
Pα (e−iu )
| {z }
νFα X (du)

Note : si on avait utilisé h + j − k (et pas h + k − j) alors on aurait eu eiu (et pas e−iu ).
Note : si γ, α ∈ `1 (Z) alors h 7→ j,k∈Z αj αk γ(h + j − k) ∈ `1 (Z) car
P

X X
∀h ∈ Z, αj αk γ(h + j − k) = αj (α ∗ γ)h+j = (α−· ∗ α ∗ γ )(h).
| {z }
j,k∈Z j∈Z
∈`1 (Z)

Exemple 4.13 : Bruits blancs et processus linéaires

Si Z = (Zt )t∈Z est un BB 0, σ 2 alors γZ (h) = σ 2 1h=0 et donc Z admet pour densité

59
 4. Analyse spectrale (x2)

spectrale la fonction constante

σ2
u ∈ [−π, π] 7→ fZ (u) = .
2π
En voyant chaque fréquence entre −π et π comme une couleur, on a un poids uniforme
sur toutes les couleurs, ce qui explique le terme bruit blanc. Si α = (αk )k∈Z ∈ `1 (Z)
alors d’après le théorème 4.12 le processus linéaire Fα Z a pour densité spectrale

σ2 2
u ∈ [−π, π] 7→ Pα (e−iu ) .
2π
Par conséquent, si la mesure spectrale n’admet pas de densité (présence d’une partie
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 60/93.

étrangère à la mesure de Lebesgue, comme des masses de Dirac par exemple), alors il
ne peut pas s’agir d’un processus linéaire, obtenu en filtrant un bruit blanc. D’un autre
côté, en combinant les théorèmes 1.18 et 4.6 on obtient que toute mesure positive
finie est la mesure spectrale d’un processus gaussien fortement stationnaire.

Exemple 4.14 : Densité spectrale d’un ARMA

Si X = (Xt )t∈Z est un processus ARMA(p, q) solution de l’équation

Φ(B)X = Θ(B)Z où Z = (Zt )t∈Z ∼ BB 0, σ 2

et si Φ(z) = 1 − (ϕ1 z + · · · + ϕp z p ) et Θ(z) = 1 + θ1 z + · · · + θq z q n’ont

P pas de racine
commune de module 1, alors X = Fα Z où α ∈ `1 (Z) et Θ(z)/Φ(z) = k∈Z αk z k pour
tout z ∈ C tel que |z| = 1, et donc X, en combinant l’exemple 4.13 avec le théorème
3.6, on obtient que X a pour densité spectrale
2
σ 2 Θ(e−iu )
∀u ∈ [−π, π], fX (u) = .
2π |Φ(e−iu )|2

Cette quantité est plus facile a manier que l’autocovariance pour les ARMA. Autrement
dit, la densité spectrale d’un ARMA est proportionnelle au carré du module de
sa fraction rationnelle sur le cercle unité. En particulier, un MA(1) d’équation
Xt = Zt + θZt−1 a pour densité spectrale

σ2 σ2
(1 + 2θ cos(u) + θ2 ),
2
u ∈ [−π, π] 7→ 1 + θe−iu =
2π 2π
tandis qu’un AR(1) d’équation Xt − ϕXt−1 = Zt a pour densité spectrale

σ2 1 σ2 1
u ∈ [−π, π] 7→ = .
2π |1 − ϕe−iu |2 2π 1 − 2ϕ cos(u) + ϕ2

Pour un processus stationnaire ARMA(p, q) donné, peut-on construire un processus

stationnaire ARMA(p, q), causal et inversible, de même fonction d’autocovariance ? Le
théorème suivant affirme que oui, quite à changer la variance du bruit blanc. D’après
le théorème 4.6 de Herglotz, deux processus stationnaires centrés ont la même fonction
d’autocovariance ssi ils ont la même mesure spectrale. La fonction d’autocovariance
d’un processus stationnaire ARMA ne dépend que du module de sa fraction

60
 4.3. Mesure spectrale d’un processus stationnaire

rationnelle sur le cercle unité. L’idée est donc de construire une fraction rationnelle
dont le module coïncide avec celle du processus d’origine sur le cercle unité, et dont les
racines du numérateur et du dénominateur (pôles) sont de module > 1.

Théorème 4.15 : ARMA : représentation isospectrale causale inversible

Soit X le processus linéaire solution de ARMA(p, q) Φ(B)X = Θ(B)Z où Z est

un BB 0, σ , et où Φ et Θ n’ont pas de racines de module 1. Soient a1 , . . . , ap et
2

b1 , . . . , bq les racines de Φ et Θ, avec

|a1 | ≤ · · · ≤ |ar | < 1 < |ar+1 | ≤ · · · ≤ |ap |

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 61/93.
et
|b1 | ≤ · · · ≤ |bs | < 1 < |bs+1 | ≤ · · · ≤ |bq |
où 0 ≤ r ≤ p et 0 ≤ s ≤ q, de sorte que pour tout z ∈ C,
p q
et Θ(z) =
Y Y
Φ(z) = (1 − a−1
j z) (1 − b−1
j z).
j=1 j=1

Soient Φ∗ et Θ∗ les polynômes définis par

r p s q

j z) et
Y Y Y Y
Φ∗ (z) = (1 − aj z) (1 − a−1 Θ∗ (z) = (1 − bj z) (1 − b−1
j z).
j=1 j=r+1 j=1 j=s+1

Soit à présent Z∗ un BB 0, σ∗2 où (avec la convention ∅ = 1)

Q

Qr 2
j=1 |aj |
σ∗2 2
= σ Qs 2.
j=1 |bj |

Alors Θ∗ et Φ∗ n’ont pas de racines de module ≤ 1 et le processus linéaire X∗ solution

de ARMA(p, q) Φ∗ (B)X∗ = Θ∗ (B)Z∗ est causal et inversible, et possède la même
densité spectrale (donc la même autocovariance) que le processus d’origine X.

Note : on a Φ∗ (0) = Θ∗ (0) = 1 grâce à la manière de prendre en compte les racines.

Démonstration (facultative). Les polynômes Φ∗ et Θ∗ ont pour racines respectives

1 1 1 1
, . . . , , ar+1 , . . . , ap et , . . . , , bs+1 , . . . , bq ,
a1 ar b1 bs
qui sont toutes de module > 1 car l’application z 7→ 1/z conserve l’argument et inverse le
module. Par définition, on a
p p q q
(z − aj ) et
X Y X Y
j j
Φ(z) = 1 − ϕj z = −ϕp Θ(z) = 1 + θj z = θ q (z − bj ).
j=1 j=1 j=1 j=1

Comme Φ(0) = Θ(0) = 1, on a |a1 · · · ap ϕp | = |b1 · · · bq θq | = 1, et

p p q q
z − aj z − bj
et
Y Y Y Y
|Φ(z)| = = 1 − a−1
j z |Θ(z)| = = 1 − b−1
j z .
aj bj
j=1 j=1 j=1 j=1

61
 4. Analyse spectrale (x2)

D’après l’exemple 4.14, on a, pour tout u ∈ [−π, π],

2
j e
Qq
σ2 Θ(e−iu )
2
σ2 j=1 1 − b−1 −iu
σ 2 Θ∗ (e−iu )
2
fX (u) = = = ∗ = fX∗ (u),
2π |Φ(e−iu )|2 2π Qp 2 2π |Φ∗ (e−iu )|2
j e
1 − a−1 −iu
j=1

où on a utilisé, pour tout z ∈ C tel que |z| = 1 (notons que z −1 = z dans ce cas !),

1 − c−1 z = |c|−1 |c − z| = |c|−1 |zc − 1| = |c|−1 |1 − cz|

pour déplacer les racines de l’intérieur vers l’extérieur du disque unité, sans perturber
la valeur du module ! À présent, comme les racines de Φ∗ et Θ∗ sont de module > 1, le
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 62/93.

processus ARMA(p, q) X∗ est causal et inversible (théorème 3.9).

Exemple 4.16 : Représentation causale inversible d’un processus ARMA

Considérons l’équation ARMA(1, 1) suivante où Z est un BB 0, σ 2 :

Xt − 2Xt−1 = Zt + 3Zt−1 .

On a Φ(z) = 1 − 2z dont l’unique racine est a1 = 1/2, et Θ(z) = 1 + 3z dont

l’unique racine est b1 = −1/3. L’équation ARMA(1, 1) ci-dessus a une solution X
dans l’ensemble des processus linéaires d’après le théorème 3.6, mais elle n’est ni
causale ni inversible d’après le théorème 3.9. D’après le théorème 4.15, Φ∗ (z) = 1−z/2
et Θ∗ (z) = 1 + z/3, et σ∗2 = 94 σ 2 , et le processus X∗ solution de l’équation ARMA(1, 1)

1 1
X∗t − X∗(t−1) = Zt + Zt−1
2 3
est causal et inversible et de même densité spectrale que X (donc même autocov.).
8→9

4.4 Compléments
Il existe un analogue complexe du théorème de Herglotz, dans lequel les suites γ
hermitiennes de type positif sont les transformées de Fourier de mesures positives finies
(plus forcément paires).

Remarque 4.17 : Symétrie

Si une mesure signée finie ν sur [−π, π] est paire a , alors νb est paire et réelle :
∀h ∈ Z, νb(h) = νb(−h) ∈ R. De même, si f ∈ L1 ([−π, π], du) est paire b alors fb est
réelle et paire : ∀h ∈ Z, fb(h) = fb(−h) ∈ R.
a. C.-à-d. que [−π,π] g(u)ν(du) = [−π,π] g(−u)ν(du), ∀g : [−π, π] → R mesurable bornée.
R R

b. C.-à-d. que f (u) = f (−u) pour presque tout u ∈ [−π, π].

62
 4.4. Compléments

Remarque 4.18 : Aspects hilbertiens

Soit f ∈ L2 ([−π, π], du) ⊂ L1 ([−π, π], du). Alors on a fb(h) = hϕ−h , f i. Pour tous
h, h0 ∈ Z, ϕ−h = ϕh et
Z π Z π
eit(h−h ) du = 2π1h=h0 .
0
hϕh , ϕh0 i = ϕh (u)ϕh0 (u)du =
−π −π

En posant ψh = √12π ϕh , ceci montre que la famille (ψh )h∈Z est orthonormée dans
L2C ([−π, π], du). De plus, cette famille est dense dans L2C ([−π, π], du) (ceci découle
par exemple du théorème de Stone-Weierstrass, cf. preuve du théorème 4.3 plus loin).

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 63/93.
Cette famille constitue donc une base hilbertienne, et l’identité de Parseval donne
X 1 X
f= hψh , f iψh = ϕ−h fb(h).
2π
h∈Z h∈Z

La série converge dans L2C ([−π, π], du), et ponctuellement absolument si fb ∈ `1C (Z).

Remarque 4.19 : Coefficients de Fourier et transformée de Fourier

R la transformée de Fourier
Pour une mesure finie ν sur Rd , on considère en général
à paramètre h ∈ Rd , définie par h ∈ Rd 7→ νb(h) = ϕh dν. Le théorème de Herglotz
possède un analogue pour les fonctions R → C dû à Bochner. Lorsque ν est définie
sur l’ensemble compact [−π, π]d , on peut se restreindre à un paramètre h ∈ Zd , ce qui
donne la notion de coefficient de Fourier, et de série de Fourier. Dans ce cas,
le théorème 4.3 d’injectivité peut être obtenu en régularisant par convolution avec
une mesure gaussienne, point fixe de la transformée de Fourier, ce qui produit de la
densité, puis en inversant la transformée de Fourier.

Remarque 4.20 : Séries de Fourier

Le théorème 4.4 fournit une condition suffisante pour la reconstruction de fonction

intégrable à partir de ses coefficients de Fourier : si f ∈ L1 ([−π, π], du) vérifie fb ∈
`1C (Z), alors pour presque tout u ∈ [−π, π],

1 X −iuh b
f (u) = e f (h).
2π
h∈Z

La série du membre de droite (on parle de série de Fourier) converge absolument.

Cette formule exprime f comme une superposition (un mélange) de fonctions tri-
gonométriques élémentaires u 7→ eihu = cos(hu) + i sin(hu), où h joue le rôle d’une
fréquence (couleur), d’où les termes synthèse spectrale et analyse harmonique.
Cette représentation permet d’effectuer un filtrage, consistant à éliminer certaines
fréquences ou plages de fréquences (filtre passe-haut, passe-bas, passe-bande, etc).

63
 4. Analyse spectrale (x2)

Théorème 4.21 : Lemme de Riemann-Lebesgue

Si f ∈ L1 ([−π, π], du) alors

lim fb(h) = 0.
|h|→∞

Note : f ∈ L1 ([−π, π], du) 7→ fb ∈ {α ∈ CZ : lim|h|→∞ αh = 0} n’est pas surjective, cf.

théorème 5.15 p. 99 du livre d’analyse réelle et complexe de Rudin.

Démonstration. D’après la preuve du théorème 4.3, l’ensemble T des polynômes trigono-

métriques est dense, pour k·k∞ , dans l’ensemble C([−π, π]) des fonctions continues sur
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 64/93.

[−π, π]. Par ailleurs, C([−π, π]) est dense, pour k·k1 , dans L1 ([−π, π], du). Or k·k1 ≤ k·k∞ ,
et donc T est dense, pour k·k1 , dans L1 ([−π, π], du). Ainsi, pour tout f ∈ L1 ([−π, π], du)
et tout ε > 0, il existe P = Pf,ε ∈ T tel que kf − P k1 ≤ ε. Or pour tout h ∈ Z avec
|h| > deg(P ), on a eiuh , P = 0 et donc
Z π
fb(h) = eitu(f (u) − P (u))du ≤ kf − P k1 ≤ ε.
−π

Remarque 4.22 : Fourier et convolution

Le passage en Fourier transforme la convolution en produit. Il est possible de le

voir sur les mesures ou sur les fonctions. Si par exemple f et g sont deux fonctions
intégrables sur [−π, π], prolongées par périodicité à tout R, alors leur convolution
f1 ∗ f2 , définie pour tout u ∈ R par
Z π
(f1 ∗ f2 )(u) = f1 (v)f2 (u − v)dv,
−π

est une fonction intégrable sur [−π, π], et f\ 1 ∗ f2 = f1 f2 . En effet, grâce au théorème
bb
de Fubini–Tonelli () et par périodicité (), pour tout h ∈ Z,
Z π Z π
f\
1 ∗ f2 (h) = e iuh
f1 (v)f2 (u − v)dvdu
−π −π
Z π Z π
e f1 (v) ei(u−v)h f2 (u − v)dudv
 ivh
=
−π −π
Z π Z π
eivh f1 (v) eiwh f2 (w)dwdv

=
−π −π
= fb1 (h)fb2 (h).

Le résultat suivant a été obtenu à l’origine par Carathéodory et Toeplitz. Il apparaît

ici comme un corollaire du théorème 4.6 de Herglotz. Il existe également une preuve
algorithmique, tout à fait différente, obtenue par Schur, liée à l’algorithme de Bareiss de
calcul de la décomposition de Cholesky des matrices de Toeplitz. Ce bouillonnement
a eu lieu au début du vingtième siècle, cf. [Am].

64
 4.4. Compléments

Théorème 4.23 : Carathéodory-Toeplitz

Si γ ∈ `1C (Z) est hermitienne, c’est-à-dire que

|γ(h)| < ∞ et ∀h ∈ Z, γ(−h) = γ(h).

X

h∈Z

alors les propriétés suivantes sont équivalentes :

1. γ est de type positif : pour tout n ≥ 1 et tout v ∈ Cn , j,k=1 vj vk γ(j − k) ≥ 0 ;
Pn

2. L’image du disque unité ouvert {z ∈ C : |z| < 1} par g(z) = ∞ n=0 γ(n)z est
n
P
incluse dans le demi-plan droit fermé {z ∈ C : Re(z) ≥ 0}.

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 65/93.
Démonstration. Comme γ est hermitienne, on a γ(0) ∈ R. D’autre part g est bien définie
sur le disque unité fermé car γ ∈ `1C (Z). On pose, pour tout u ∈ [−π, π],
∞  
e−iuh γ(h) = γ(0) + eiuh γ(h) + e−iuh γ(h) = 2Re(g(e−iu )) − γ(0).
X X
2πf (u) =
h∈Z h=1

Supposons que γ est de type positif. Pour n = 1 on obtient γ(0) ≥ 0. D’autre part, d’après
le théorème 4.6, γ est la transformée de Fourier d’une mesure positive finie sur [−π, π],
qui admet f pour densité car γ ∈ `1C (Z). Donc f ≥ 0 p.p. et donc partout par continuité.
Il en découle que Reg(z) ≥ 0 pour tout z ∈ Z tel que |z| = 1. Comme g est holomorphe,
sa partie réelle est harmonique, et comme g(0) = γ(0) ≥ 0, il en découle que Reg(z) ≥ 0
pour tout z ∈ C tel que |z| ≤ 1.
Réciproquement, supposons que Reg(z) ≥ 0 pour tout z ∈ Z tel que |z| < 1. En prenant
z = 0 on obtient Re(γ(0)) ≥ 0. Comme γ est hermitienne, γ(0) est réel, et donc γ(0) ≥ 0.
Par ailleurs, par continuité, Reg(z) ≥ 0 pour tout z ∈ C tel que |z| = 1. Il en découle que
f ≥ 0. En passant en transformée de Fourier inverse (possible car γ ∈ `1C (Z)), on obtient
que γ est la transformée de Fourier d’une mesure positive finie, et donc γ est de type positif
grâce au théorème 4.6.

65
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 66/93.
 Chapitre 5
Prédiction linéaire (x3)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 67/93.
Mots-clés : prédiction ; équations de Yule-Walker ; matrices de Toeplitz ; décomposi-
tion de Cholesky ; algorithme de Levinson-Durbin ; algorithme de Gram-Schmidt (ou des
innovations).

Soit X = (Xt )t∈Z un processus stationnaire, de moyenne nulle, et d’autocovariance γ

vérifiant γ(0) > 0 (le processus n’est pas identiquement nul). Dans ce chapitre, on s’intéresse
à la meilleure approximation, au sens des moindres carrés, de Xt avec une combinaison
linéaire de Xt−1 , . . . , Xt−p . Cette approximation est une projection orthogonale, dont les
coefficients ne dépendent que de l’autocovariance γ. La stationnarité du processus permet
d’estimer γ dans une plage temporelle donnée, et d’utiliser son invariance par translation
pour faire de la prédiction. Ce mécanisme d’estimation-prédiction rend naturelle l’hypothèse
de stationnarité.
Dans ce chapitre, on utilise à la fois la structure hilbertienne de L2 et de Rp , et on note
h·, ·i et k·k2 le produit scalaire et la norme, par abus de notation.

5.1 Prédicteur linéaire optimal

Pour tous entiers p ≥ 0 et t ∈ Z, on note

Ht−1,p = vect{Xt−1 , . . . , Xt−p }

le sous-espace vectoriel de L2 engendré par Xt−1 , . . . , Xt−p , avec pour convention Ht−1,0 =
{0} si p = 0. Ce sous-espace, de dimension au plus p, représente le passé de profondeur p
de Xt . Le carré de la distance dans L2 de Xt à Ht−1,p est donné par

σp2 = distk·k2 (Xt , Ht−1,p )2 = inf kXt − Y k22 .

Y ∈Ht−1,p

L’infimum est atteint en un unique Y ∈ Ht−1,p , noté proj(Xt , Ht−1,p ), projection orthogo-
nale dans L2 de Xt sur Ht−1,p . On dit qu’il s’agit du prédicteur progressif ou direct de
Xt par une combinaison linéaire de Xt−1 , . . . , Xt−p . Il est optimal au sens des moindres
carrés. Comme proj(Xt , Ht−1,p ) ∈ Ht−1,p , il existe ϕp = (ϕp,1 , . . . , ϕp,p )> ∈ Rp tel que
p
proj(Xt , Ht−1,p ) =
X
ϕp,k Xt−k .
k=1

Le vecteur des coefficients ϕp est unique ssi les vecteurs Xt−1 , . . . , Xt−p sont linéairement
indépendants dans L2 , c’est-à-dire que dim(Ht−1,p ) = p. C’est le cas ssi la matrice de

67
 5. Prédiction linéaire (x3)

covariance Γp = Cov(Xt−1 , . . . , Xt−p ) est inversible (matrice de Gram). La projection

proj(Xt , Ht−1,p ) et l’erreur de prédiction progressive (ou directe)
+
Et,p = Xt − proj(Xt , Ht−1,p )
sont centrées, et la variance σp2 de l’erreur de prédiction Et,p
+
vérifie

= kXt − proj(Xt , Ht−1,p )k22 = E((Xt − proj(Xt , Ht−1,p ))2 ).

+ 2
σp2 = Et,p 2
La figure 5.1 résume ces formules en une.
Note : ϕp et σp2 ne dépendent pas de t car le processus est stationnaire : en effet

proj(Xt , Ht−1,p ) = arg inf kXt − Y k22

Y ∈Ht−1,p
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 68/93.

p 2
= arg infp Xt −
X
ϕk Xt−k
ϕ∈R 2
k=1
p
= arg infp
X
ϕj ϕk γX (j − k)
ϕ∈R
j,k=0

(avec la convention ϕ0 := −1), formule qui ne dépend plus du tout de t, et de même

p
inf = infp
X
σp2 = kXt − Y k22 ϕj ϕk γX (j − k).
Y ∈Ht−1,p ϕ∈R
j,k=0

Note : si p = 0 alors proj(Xt , Ht−1,0 ) = proj(Xt , {0}) = 0, Et,p

+
= Xt , et σp2 = γ(0).
Note : si X est gaussien alors, en notant Ft−1,p la tribu engendrée par Xt−1 , . . . , Xt−p ,
proj(Xt , Ht−1,p ) = proj(Xt , L2 (Ft−1,p )) = E(Xt | Ft−1,p )
ce qui est tout à faire remarquable car Ht−1,p ( L2 (Ft−1,p ).

Xt
6
+
Et,p

- -Ht−1,p
proj(Xt , Ht−1,p )
Figure 5.1 – Prédiction progressive et erreur progressive.

Exemple 5.1 : Processus AR(m) causal

Soit Z un BB 0, σ 2 et soit X un processus AR(m) linéaire causal solution de

Xt = ϕ1 Xt−1 + · · · + ϕm Xt−m + Zt ,

où 1 − (ϕ1 z + · · · + ϕm z m ) 6= 0 pour tout z ∈ C avec |z| ≤ 1. Alors, comme

X est causal, on aP E(Zt Xt−h ) = 0 pour tout h ≥ 1, et l’équation AR(m) donne
l’identité
Pm E((Xt − k=1 ϕk Xt−k )Xt−h ) = 0 pour toutPhm≥ 1. Ceci implique que
m

Xt − k=1 ϕk Xt−k ⊥ Ht−1,p pour tout p ≥ 1. De plus k=1 ϕk Xt−k ∈ Ht−1,p pour

68
 5.2. Équations de Yule-Walker

tout m ≤ p. Donc a pour tout p ≥ m, on a proj(Xt , Ht−1,p ) = avec

Pp
k=1 ϕk Xt−k

ϕk si 1 ≤ k ≤ m
(
ϕp,k =
0 si m < k ≤ p.

Ainsi, pour notre processus AR(m) causal, les coefficients de prédiction linéaires de
profondeur p coïncident avec les coefficients de l’équation d’autorégression, dès que
p ≥ m. Ceci explique la notation ϕ utilisée pour les coefficients de prédiction. Nous
allons voir plus loin le cas des processus MA(q) et un algorithme lié à la notation θ.
a. Caractérisation du projeté orthogonal : v = proj(u, H) ssi v ∈ H et u − v ⊥ H.

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 69/93.
5.2 Équations de Yule-Walker

u
6

dist(u, vect{v})

- -vect{v}
proj(u, vect{v}) = hu, vnorm ivnorm
Figure 5.2 – Intuition géométrique : projection du vecteur u sur le sous-espace vect{v} =
vect{vnorm } de dimension 1. Ici vnorm = kvk
v
de sorte que v = kvkvnorm et kvnorm k = 1. Le
théorème de Pythagore s’écrit ici : kuk = kdist(u, vect{v})k2 + kproj(u, vect{v})k2 .
2

Pour p = 1, les choses sont simples et directes (figure 5.2) :

 
Xt−1 Xt−1
proj(Xt , Ht−1,1 ) = proj(Xt , vect{Xt−1 }) = Xt ,
kXt−1 k2 kXt−1 k2

ce qui donne
 
Xt−1 1 1 γ(1)
ϕ1,1 = Xt , = hXt , Xt−1 i 2 = γ(0) .
kXt−1 k2 kXt−1 k2 kXt−1 k2

Plus généralement, le vecteur ϕp = (ϕp,k )> 1≤k≤p vérifie les équations de Yule 1 -Walker 2 :

Théorème 5.2 : Équations Yule-Walker

Si proj(Xt , Ht−1,p ) = alors

Pp
k=1 ϕp,k Xt−k

Γp ϕp = γp

1. George Udny Yule (1871–1951).

2. Gilbert Thomas Walker (1868–1958).

69
 5. Prédiction linéaire (x3)

où Γp = (γ(k − j))1≤k,j≤p et où γp = (γ(1), . . . , γ(p))> . De plus

σp2 = γ(0) − ϕ> >

p γp = γ(0) − ϕp Γp ϕp .

Note : Γp = (γ(k − j))1≤k,j≤p est la matrice de covariance de (Xt−1 , . . . , Xt−p ). Il s’agit

d’une magnifique matrice de Toeplitz symétrique à valeurs propres ≥ 0 :
 
γ(0) γ(1) γ(2) . . . . . . γ(p − 1)
.. ..
. .
 
 γ(1) γ(0) γ(1) 
. . . . . . .
.
 
. . . .
 
 γ(2) γ(1) 
Γp =  ..
.
. . . . . .

. . . . γ(1)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 70/93.

 γ(2) 
.. ..
 
. .
 
 γ(1) γ(0) γ(1) 
γ(p − 1) ... ... γ(2) γ(1) γ(0)

Note : si Γp est inversible alors Γp ϕp = γp a une unique solution ϕp = Γ−1 p γp . Ceci

permet de calculer les coefficients de prédiction ϕp à partir de l’autocovariance γ puisque
Γp et γp sont des fonctions de γ. D’autre part, on a aussi
σp2 = γ(0) − γp> Γ−1
p γp .

Il s’agit du complément de Schur du bloc Γp dans la décomposition par bloc

Γp wp>
 
Γp+1 = où wp := (γ(p), . . . , γ(1))> .
wp γ(0)

On peut aussi écrire γp> Γ−1

p γp = γ(0) − σp = σ0 − σp .
2 2 2

Démonstration. L’orthogonalité Xt − proj(Xt , Ht−1,p ) ⊥ Ht−1,p (dessin) donne

p
* +
X
∀1 ≤ j ≤ p, Xt − ϕp,k Xt−k , Xt−j = 0.
k=1

Cela s’écrit également au moyen de la fonction d’autocovariance γ,

p
X
∀1 ≤ j ≤ p, ϕp,k γ(k − j) = γ(j).
k=1

d’où Γp ϕp = γp . D’autre part, proj(Xt , Ht−1,p ) ⊥ Xt − proj(Xt , Ht−1,p ), donc

p
σp2 = hXt − proj(Xt , Ht−1,p ) , Xt i = γ(0) −
X
ϕp,k γ(k) = γ(0) − ϕ>
p γp .
k=1

Notons que grâce au théorème de Pythagore on obtient que

kproj(Xt , Ht−1,p )k22 = kXt k22 − σp2 = γ(0) − σp2 = ϕ>
p γp

tandis que par ailleurs

p
X
kproj(Xt , Ht−1,p )k22 = ϕp,j ϕp,k γ(j − k) = ϕ>
p Γp ϕp .
j,k=1

70
 5.2. Équations de Yule-Walker

Définition 5.3 : Décroissance et convergence de l’erreur de prédiction

On a Ht−1,p ⊂ Ht−1,p+1 et donc, comme E 7→ inf E est décroissante pour l’inclusion,

2
σp+1 = inf kXt − Y k22 ≤ inf kXt − Y k22 = σp2 .
Y ∈Ht−1,p+1 Y ∈Ht−1,p

La suite (σp2 )p≥1 décroît et est minorée par 0, donc elle converge vers une limite ≥ 0 :

2
σ∞ := lim σp2 = inf σp2 ≥ 0.
p→∞ p≥1

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 71/93.
Définition 5.4 : Processus réguliers et déterministes

Un processus est régulier si σ∞2 > 0 et déterministe si σ 2 = 0 (dans ce cas, X est

∞ t
une combinaison linéaire infinie à coefficients déterministes de Xt−1 , Xt−2 , . . .).

Note : la quantité σ∞
2 est égale à la quantité σ 2 du lemme 1.21.

Théorème 5.5 : Condition suffisante d’inversibilité

Si γ(h) → 0 quand h → ∞ alors Γp est inversible pour tout p ≥ 1.

Note : on rappelle que dans

P tout ce chapitre on suppose que γ(0) > 0.
Note : si γ ∈ ` (Z), i.e. h∈Z |γ(h)| < ∞, alors γ(h) → 0.
1

Note : si X a une densité spectrale alors γ(h) → 0 (lemme de Riemann-Lebesgue 4.21).

Note : si γ ∈ `1 (Z) alors X a une densité spectrale (théorème de Herglotz 4.6).

Démonstration. La démonstration fait appel au lemme suivant.

Lemme : Inversibilité des matrices symétriques de type positif

Soit A une matrice n × n symétrique réelle et de type positif. Alors A est inversible si
et seulement si u> Au 6= 0 (c’est-à-dire > 0) pour tout u ∈ Rn tel que u 6= 0.

Notons que pour toute matrice A carrée réelle, les propriétés suivantes sont équivalentes :
— A est symétrique réelle de type positif
— A est diagonalisable en base orthonormée et ses valeurs propres sont ≥ 0
— A est la matrice de covariance d’un vecteur aléatoire.

Preuve du lemme. Soient λ1 , . . . , λn les valeurs propres de A et v1 , . . . , vn une base or-

thonormée de vecteurs propres. On P a λk ≥ 0, Avk = λk vPk , et hvj , vk i = 1j=k pour tous
1 ≤ j, k ≤ n. Pour tout u ∈ Rn , u = nj=1 hu, vj ivj , Au = nk=1 λk hu, vk ivk , et
n
X n
X
>
u Au = hu, Aui = λk hu, vj ihu, vk ihvj , vk i = λk hu, vk i2 ≥ 0.
j,k=1 k=1

Maintenant, si A est inversible alors λk > 0 pour tout 1 ≤ k ≤ n et donc pour tout u ∈ Rn
avec u 6= 0, en choisissant 1 ≤ k ≤ n tel que hu, vk i 6= 0, il vient u> Au ≥ λk hu, vk i2 > 0.

71
 5. Prédiction linéaire (x3)

Réciproquement, si u> Au > 0 pour tout u ∈ Rn avec u 6= 0 alors pour tout 1 ≤ k ≤ n, en

prenant u = vk il vient λk = λk hvk , vk i = vk> Avk > 0 et donc A est inversible.

Démontrons à présent le théorème. Supposons que γ(p) → 0 quand p → ∞. Pour p = 1,

Γ1 = γ(0) > 0 est inversible. À présent, supposons que Γ1 , . . . , Γp sont inversibles pour
p ≥ 1 et montrons que Γp+1 est alors inversible.
D’après le lemme, Γp+1 est inversible ssi u> Γp+1 u 6= 0 (> 0 en fait) pour tout u ∈ Rp+1
avec u 6= 0. Raisonnons par l’absurde. Supposons que u> Γp+1 u = 0 pour un u ∈ Rp+1 avec
u 6= 0. Si up+1 = 0 alors (u1 , . . . , up ) 6= 0, et la décomposition par blocs
 
Γp wp
Γp+1 = où wp = (γ(p), . . . , γ(1))>
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 72/93.

wp> γ(0)

donne (u1 , . . . , up )> Γp (u1 , . . . , up ) = 0 ce qui est impossible car Γp est inversible. Supposons
9→10 à présent que up+1 6= 0. En notant Xp+1 = (X1 , . . . , Xp+1 )> , il vient

p+1 Xp+1 )u = E(u Xp+1 Xp+1 u) = E(hu, Xp+1 i ).

2
0 = u> Γp+1 u = u> E(X> > >

Donc hu, Xp+1 i = 0 p.s. d’où, p.s. (la division par up+1 est licite car up+1 6= 0)

p
X uk
Xp+1 = − Xk .
up+1
k=1

Par stationnarité, le même procédé avec (Xh+1 , . . . , Xh+p+1 ) donne, p.s. pour tout h ∈ Z,

p
X uk
Xh+p+1 =− Xh+k .
up+1
k=1

Par récurrence, pour tout h ≥ p + 1, il existe un vecteur déterministe de coefficients

vh = (vh,1 , . . . , vh,p )> tel que p.s. pour tout h ≥ p + 1,

p
vh,k Xk = hvh , Xp i.
X
Xh =
k=1

À présent, en notant λmin (Γp ) la plus petite valeur propre de Γp , on a d’une part

γ(0) = E(Xh2 ) = E(hvh , Xp i2 ) = vh> Γp vh ≥ λmin (Γp )kvh k22 .

Comme Γp est inversible on a λmin (Γp ) > 0 et donc suph,k |vh,k | < ∞. D’autre part

 p  p
γ(0) = Cov Xh ,
X X
vh,k Xk = vh,k γ(k − h)
k=1 k=1

et donc
p  p
X
|vh,k ||γ(k − h)| ≤ sup |vh,k |
X
γ(0) ≤ |γ(k − h)|.
k=1 h,k k=1

Comme limh→∞ γ(h) = 0, on obtient γ(0) ≤ 0, ce qui est impossible car γ(0) > 0.

72
 5.3. Algorithme de Cholesky

5.3 Algorithme de Cholesky

Lorsque A = Γp est inversible, le coefficient ϕp de prédiction est unique et peut être
calculé en résolvant l’équation de Yule-Walker Γp ϕp = γp . Cela revient à déterminer A−1 .
Comme les formules de Cramer sont trop coûteuses en temps de calcul, la résolution pratique
du système d’équations linéaires Ax = b est plutôt faisable en utilisant un algorithme
comme le pivot de Gauss (ou élimination de Gauss), ou encore une décomposition LU (pour
Lower-triangular×Upper-triangular). La plupart des algorithmes réduisent le problème
aux matrices triangulaires. Le coût du calcul peut être amélioré en utilisant un algorithme
qui tire partie de la structure de A. L’algorithme de Cholesky utilise le fait que A est
symétrique positive. La décomposition de Cholesky 3 de A, introduite par Cholesky
vers 1924, affirme l’existence d’une matrice triangulaire inférieure L à termes diagonaux

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 73/93.
≥ 0, facile à calculer, telle que A = LL> . Si A est inversible, alors L est inversible, unique,
et ses termes diagonaux sont > 0. Une fois L calculée, on résout l’équation Ax = b en x en
résolvant l’équation triangulaire Ly = b en y, puis l’équation triangulaire L> z = y en z.
Sans perte de généralité, on peut utiliser une décomposition de la forme,

A = LDL>

où L est triangulaire inférieure à termes diagonaux = 1, et où D est diagonale à termes

diagonaux ≥ 0. Cette décomposition modifiée évite le calcul de racines carrées. Le lien
entre les deux décompositions est

LDL> = LD1/2 (LD1/2 )> ,

où D1/2 = diag(D1,1 , . . . , Dp,p ). Les colonnes de LD1/2 s’obtiennent en multipliant celles

1/2 1/2

de L par la racine des coefficients diagonaux de D.

Théorème 5.6 : Décomposition et algorithme de Cholesky

Si A ∈ Mp,p (R) est symétrique à valeurs propres > 0 alors

A = LDL>

où L est une matrice triangulaire inférieure à diagonale = 1 et D diagonale à diagonale

> 0, calculables par récurrence avec l’algorithme de Cholesky :
k−1
pour 1 ≤ k ≤ p
X
Dk,k = Ak,k − L2k,r Dr,r
r=1
k−1
!
1
pour 1 ≤ k < j ≤ p.
X
Lj,k = Aj,k − Lj,r Lk,r Dr,r
Dk,k
r=1

La décomposition s’étend aux matrices A à valeurs propres ≥ 0 en posant Lj,k = 0 si

Dk,k = 0 (se produit si A est singulière), et dans ce cas L a une diagonale dans {0, 1}.
On prendra garde à ne pas confondre la décomposition de Cholesky A = LDL> avec la
diagonalisation de A en base orthonormée. Dans la décomposition de Cholesky, la matrice
L n’est pas orthogonale en général, et les termes diagonaux de la matrice D ne sont pas
les valeurs propres de A en général. La décomposition de Cholesky est moins coûteuse
3. On dit parfois factorisation de Cholesky («factorization» en anglais).

73
 5. Prédiction linéaire (x3)

que la diagonalisation en base orthonormée. Elle permet de résoudre plus efficacement des
systèmes d’équations linéaires mais aussi de simuler efficacement des vecteurs gaussiens.
Démonstration. Supposons qu’il existe L et D comme indiqué telles que A = LDL> . La
définition du produit matriciel et la structure de L et D donnent, pour tout 1 ≤ k ≤ p,
p
X k−1
X
Ak,k = Lk,r Dr,r L>
r,k = L2k,r Dr,r + Dk,k ,
r=1 r=1

tandis que pour tout 1 ≤ k < j ≤ p,

p
X k−1
X
Aj,k = Lj,r Dr,r L>
r,k = Lj,r Lk,r Dr,r + Lj,k Dk,k .
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 74/93.

r=1 r=1

On retrouve bien les formules de Cholesky. Réciproquement, remarquablement, ces formules

permettent, à partir de la matrice A, le calcul des matrices D et L en partant de L1,1 = 1
et D1,1 = A1,1 , et en procédant ligne par ligne ou colonne par colonne dans L.
La matrice D est à diagonale > 0 car semblable au sens des formes quadratiques à la
matrice symétrique A à valeurs propres > 0 : pour tout vecteur colonne u ∈ Rp ,
D E
hu, Aui = u> Au = L> u, DL> u .

La matrice L est inversible car triangulaire inférieure à diagonale > 0 (en fait = 1).
La complexité de l’algorithme de Cholesky est O(p3 ). Bareiss 4 a montré vers 1969 qu’il
est possible de faire chuter la complexité à O(p2 ) en tenant compte de la structure Toeplitz
de A = Γp+1 (provient de la stationnarité).
Il se trouve que la décomposition de Cholesky Lp+1 Dp+1 L> p+1 de Γp+1 possède une
expression remarquable en fonction des variances de prédiction et des coefficients de
prédiction, comme le montre le théorème suivant. Cette expression remarquable provient
de la stationnarité, et reste valable pour toute matrice de covariance Toeplitz.

Théorème 5.7 : Décomposition de Cholesky de Γp+1

Pour tout p ≥ 0 on a
Γp+1 = Lp+1 Dp+1 L>
p+1 ,

où
Dp+1 = diag(σ02 , . . . , σp2 ) et Lp+1 = Φ−1
p+1

et où Φp+1 est la matrice triangulaire inférieure suivante :

 
1 0 ··· ··· 0
.. .. 
. .

−ϕ1,1 1
Φp+1 =  ... .. .. ..  .
 
. . .

 .. ..
 
 . .

0
−ϕp,p −ϕp,p−1 · · · −ϕp,1 1

De plus Γp+1 est inversible si et seulement si Dp+1 est inversible, ce qui se produit si

4. Cet algorithme est aussi une version d’un algorithme de Schur, datant de 1917, qui constitue à son
tour une preuve algorithmique des théorèmes 4.23 de Carathéodory-Toeplitz et 4.6 de Herglotz, cf. [Am].

74
 5.3. Algorithme de Cholesky

et seulement si σp > 0, et dans ce cas

Γ−1 > −1
p+1 = Φp+1 Dp+1 Φp+1 où −1
Dp+1 = diag(σ0−2 , . . . , σp−2 ).

Note : à partir de Γp+1 , on peut calculer Lp+1 en utilisant l’algorithme de Cholesky,

puis on peut inverser Lp+1 , ce qui fournit (ϕr,k )1≤k≤r≤p , sans équations de Yule-Walker !

Démonstration. La matrice Φp+1 est inversible car triangulaire à diagonale 6= 0 (car = 1).
La matrice Lp+1 hérite de Φp+1 le caractère triangulaire inférieur à diagonale = 1. Par
convention σ02 = γ(0), et on a Γ1 = γ(0) = σ02 = D1 . La matrice Γp+1 est inversible ssi Dp+1
est inversible, c’est-à-dire ssi min{(Dp+1 )k,k : 1 ≤ k ≤ p + 1} = min{σ02 , . . . , σp2 } = σp2 > 0.
Établissons à présent que Φp+1 Γp+1 Φ> p+1 = Dp+1 . Comme Φp+1 est déterministe, on a,

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 75/93.
par définition de Γp+1 , en posant Xp+1 = (X1 , . . . , Xp+1 )> ,
   
Φp+1 Γp+1 Φ> p+1 = Φ p+1 E X p+1 X >
p+1 Φ >
p+1 = E Φ p+1 X p+1 (Φp+1 X p+1 ) >
.
Calculons à présent Φp+1 Xp+1 . On a
 
X1
 X2 
Φp+1 Xp+1 = Φp+1  ..
 
.

 
Xp+1
 
X1
 X2 − ϕ1,1 X1 
= ..
 
.

 
Pp
Xp+1 − k=1 ϕp,k Xp+1−k )
X1 − proj(X1 , H0,0 )
 
 X2 − proj(X2 , H1,1 ) 
= ..
 
.

 
Xp+1 − proj(Xp+1 , Hp,p )
 
V1
 V2 
=:  . 
.
 
 . 
Vp+1
car par définition des coefficients de prédiction ϕ1 , . . . , ϕp ,
k k
Xk+1 − proj(Xk+1 , Hk,k ) = Xk+1 −
X X
ϕk,j Xk+1−j = Xk+1 − ϕk,k+1−j Xj
|{z} j=1 j=1
Hk+1−1,k

(par convention H0,0 = {0} ce qui donne proj(X1 , H0,0 ) = 0). À présent, si j < k alors
Vj = Xj − proj(Xj , Hj−1,j−1 ) ∈ Hk−1,k−1 ⊥ Xk − proj(Xk , Hk−1,k−1 ) = Vk ,
et donc V1 , . . . , Vp+1 sont orthogonaux dans L2 . De plus, comme on a (prendre t = k)
2
σk−1 = kXt − proj(Xt , Ht−1,k−1 )k22 = kXk − proj(Xk , Hk−1,k−1 )k22 = kVk k22 ,
il vient
 
E Φp+1 Xp+1 (Φp+1 Xp+1 )> = E((hVj , Vk i)1≤j,k≤p+1 ) = diag(σ02 , . . . , σp2 ) = Dp+1 .

75
 5. Prédiction linéaire (x3)

Exemple 5.8 : Processus AR(1) causal

Lorsque X est un
processus AR(1) causal solution de Xt = ϕXt−1>+ Zt avec |ϕ| < 1
et Z ∼ BB 0, σ 2 , alors Pd’après la remarque 5.1, ϕp = (ϕ, 0, . . . , 0) pour tout p ≥ 1,
et comme γ(h) = σ 2 ∞ j
j=0 ϕ ϕ
j+h = σ 2 ϕh /(1 − ϕ2 ) pour tout h ≥ 0, on obtient
σ02 = σ 2 /(1 − ϕ2 ) et σp2 = γ(0) − ϕ>p γp = γ(0) − ϕγ(1) = σ pour tout p ≥ 1, d’où
2

 
1 0 ···
0 ···
.... 
.
.

−ϕ 1
σ2 .. .. ..  .
   
Dp = diag 2
,σ ,...,σ 2
et Φp =  0 . ..

1 − ϕ2
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 76/93.

 .. ..
 
 . . 0


0 0 · · · 0 −ϕ 1

pour tout p ≥ 1. De ces formules on tire la formule Φp γp = (γ(1), 0, . . . , 0)> puis

Dp−1 Φp γp = (ϕ, 0, . . . , 0)> et on retrouve alors bien la formule de Yule-Walker :

ϕp = Γ−1 T −1 >
p γp = Φp Dp Φp γp = (ϕ, 0, . . . , 0) .

10→11

5.4 Algorithme de Levinson-Durbin

L’algorithme de Levinson-Durbin a le mérite d’être récursif, ce qui permet de
calculer des prédicteurs successifs sans avoir besoin de tout recalculer. Proposé par Levinson
vers 1947 et amélioré par Durbin vers 1960, il s’agit d’un algorithme d’algèbre linéaire
permettant de résoudre des équations liées à une matrice de Toeplitz. Il est appliqué ici
au cadre spécial des processus stochastiques stationnaires, pour lesquels la matrice de
covariance est une matrice de Toeplitz.
Rappelons qu’on souhaite calculer (ϕp )p≥1 et (σp2 )p≥1 telles que
p
proj(Xt , Ht−1,p ) = et σp2 = Et,p = Var(Et,p
2
X
+ +
ϕp,k Xt−k 2
),
k=1

où
+
Et,p = Xt − proj(Xt , Ht−1,p )
est l’erreur de prédiction progressive (ou directe). L’algorithme de Levinson-Durbin exploite
une symétrie par retournement du temps. Pour tous t ∈ Z et p ≥ 0,
−
Et,p = Xt − proj(Xt , Ht+p,p )
est appelée erreur de prédiction rétrograde car Xt est prédit par sa projection sur le
futur Ht+p,p = vect{Xt+1 , . . . , Xt+p } et non pas sur le passé Ht−1,p comme dans l’erreur
de prédiction progressive Et,p +
= Xt − proj(Xt , Ht−1,p ). Si p = 0 alors proj(Xt , Ht,0 ) =
proj(Xt , {0}) = 0 et Et,p = Xt .
−

Théorème 5.9 : Algorithme de Levinson-Durbin

Si Γp est inversible pour tout p ≥ 1, alors les suites (ϕp )p≥1 et (σp2 )p≥1 sont calculables

76
 5.4. Algorithme de Levinson-Durbin

par récurrence en utilisant les formules suivantes :

ϕp+1,p+1 = κp+1 et ϕp+1,k = ϕp,k − κp+1 ϕp,p−(k−1) pour 1 ≤ k ≤ p

2
σp+1 = σp2 (1 − κ2p+1 )

où κp+1 est une quantité auxiliaire calculée par récurrence par

γ(p + 1) − pk=1 ϕp,k γ(p − (k − 1))

P
κp+1 =
σp2

avec les valeurs initiales κ1 = γ(1)/γ(0), ϕ1,1 = κ1 , σ12 = σ02 (1 − κ21 ) (et σ02 = γ(0)).

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 77/93.
Note : ne surtout pas apprendre ces formules par cœur !
Note : pour p = 0 la meilleure prédiction de Xt est 0 = E(Xt ) tandis que la variance
de l’erreur de prédiction est σ02 = E((Xt − 0)2 ) = γ(0).
Démonstration. Formules pour ϕ. Considérons la décomposition orthogonale « rétrograde
» suivante (penser à la suite Xt , Xt−1 , . . . , Xt−p , Xt−(p+1) )
⊥
Ht−1,p+1 = Ht−1,p ⊕ vect{Xt−(p+1) − proj(Xt−(p+1) , Ht−1,p )}.
| {z }
−
Et−(p+1),p

Cette décomposition orthogonale rétrograde permet d’écrire 5

proj(Xt , Ht−1,p+1 ) = proj(Xt , Ht−1,p ) + proj(Xt , vect{Et−(p+1),p

−
})
| {z }
−
=κp+1 Et−(p+1),p

où 6 κp+1 := Xt , Et−(p+1),p ,
ou encore, grâce à la définition de Et−(p+1),p ,
− − 2 −
/ Et−(p+1),p 2

proj(Xt , Ht−1,p+1 ) = proj(Xt , Ht−1,p ) + κp+1 Xt−(p+1) − proj(Xt−(p+1) , Ht−1,p ) .

D’autre part, par définition de ϕp on a

p
proj(Xt , Ht−1,p ) =
X
ϕp,k Xt−k .
k=1

Par stationnarité, les équations de Yule-Walker (théorème 5.2) sont réversibles, et donc les
coefficients de prédiction progressifs et rétrogrades coïncident (propriété ?) :
p p
proj(Xt−(p+1) , Ht−1,p ) =
?
X X
ϕp,k Xt−(p+1)+k = ϕp,p−(k−1) Xt−k .
k=1 k=1

. . . , Xt−(p+1) , Xt−p , . . . , Xt−1 , Xt , Xt+1 , . . . , Xt+p , . . .

| {z } | {z }
Ht−1,p Ht+p,p

On a donc, en utilisant les trois dernières équations ci-dessus,

p
proj(Xt , Ht−1,p+1 ) =
X

ϕp,k − κp+1 ϕp−(k−1),p Xt−k + κp+1 Xt−(p+1) .
k=1
5. On utilise le fait que la projection orthogonale sur la somme de sous-espaces orthogonaux est égale à
la somme des projections orthogonales sur chacun des sous-espaces (ici le dernier est de dimension 1).
6. La formule pour la projection sur un sous-espace de dimension 1 est expliquée dans la figure 5.2.

77
 5. Prédiction linéaire (x3)

Comme Γp est inversible, les coefficients sont uniques. En identifiant les coefficients ci-dessus
avec proj(Xt , Ht−1,p+1 ) = p+1
k=1 ϕp+1,k Xt−k il vient ϕp+1,p+1 = κp+1 et
P

ϕp+1,k = ϕp,k − κp+1 ϕp−(k−1),p (1 ≤ k ≤ p).

Formule pour κ. Rappelons que κp+1 = Xt , Et−(p+1),p . D’une part,

− − 2
/ Et−(p+1),p 2

−
Xt , Et−(p+1),p = Xt , Xt−(p+1) − proj(Xt−(p+1) , Ht−1,p )
p
X
= γ(p + 1)− Xt , ϕp,k Xt−(p+1)+k
k=1
p
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 78/93.

X
= γ(p + 1) − ϕp,k γ(p − (k − 1)),
k=1

et d’autre part, comme proj(Xt−(p+1) , Ht−1,p ) ⊥ Et−(p+1),p

−
,
p
2
X
−
Et−(p+1),p 2
= Xt−(p+1) , Xt−(p+1) − ϕp,k Xt−(p+1)+k
k=1
n
X
= γ(0) − ϕp,k γ(k)
k=1
?? + 2
= σp2 = Et,p 2
,

où on a utilisé en (??) les équations de Yule-Walker du théorème 5.2, ce qui donne

γ(p + 1) − pk=1 ϕp,k γ(p − (k − 1))
P
κp+1 = .
σp2

Formule pour σ (facultatif). Rappelons que σp2 = Et,p . On écrit

+ 2
2
+
Et,p+1 = Xt − proj(Xt , Ht−1,p+1 )
= Xt − proj(Xt , Ht−1,p ) − κp+1 Et−(p+1),p
−

+ −
= Et,p − κp+1 Et−(p+1),p

ce qui donne, par le théorème de Pythagore,

2 + 2 + 2 − 2 + −
σp+1 = Et,p+1 2
= Et,p 2
+ κ2p+1 Et−(p+1),p 2
− 2κp+1 Et,p , Et−(p+1),p .

Comme proj(Xt , Ht−1,p ) ⊥ Et−(p+1),p on a, grâce aux formules de κp+1 et Et−(p+1),p ,

− − 2
2

+
Et,p −
, Et−(p+1),p = Xt − proj(Xt , Ht−1,p ), Et−(p+1),p
−

−
= Xt , Et−(p+1),p
− 2
= κp+1 Et−(p+1),p 2
= κp+1 σp2 ,

où la dernière égalité provient d’un calcul déjà effectué plus haut, d’où enfin
2
σp+1 = σp2 (1 − κ2p+1 ).

78
 5.5. Algorithme de Gram-Schmidt (ou des innovations)

5.5 Algorithme de Gram-Schmidt (ou des innovations)

La prédiction linéaire optimale ne doit pas être confondue avec la méthode d’orthonor-
malisation de Gram-Schmidt, que nous étudions à présent. Dans cette section, (Xn )n≥1 est
un processus du second ordre de moyenne nulle, pas forcément stationnaire. Pour simplifier,
on note, dans toute cette section, pour tout n ≥ 0,

Hn := vect{X1 , . . . , Xn } et σn2 := kXn+1 − proj(Xn+1 , Hn )k22 ,

avec la convention naturelle H0 := {0}. Les vecteurs (Xk − proj(Xk , Hk−1 ))k≥1 sont deux
à deux orthogonaux dans L2 car pour tous 1 ≤ j < k ≤ n on a

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 79/93.
Xj − proj(Xj , Hj−1 ) ∈ Hj ⊂ Hk−1 ⊥ Xk − proj(Xk , Hk−1 ).

Considérons la représentation suivante en termes orthogonaux :

Hn = vect{X1 , X2 − proj(X2 , H1 ), . . . , Xn − proj(Xn , Hn−1 )}

⊥
vect{Xk − proj(Xk , Hk−1 )}
M
=
1≤k≤n
⊥
vect{Xn−k+1 − proj(Xn−k+1 , Hn−k )}.
M
=
1≤k≤n

Or la projection orthogonale sur la somme de sous-espaces deux à deux orthogonaux

est égale à la somme des projections orthogonales sur chacun des sous-espaces. Ici les
sous-espaces sont tous de dimension 1. Il existe donc un vecteur de coefficients déterministe
θn = (θn,1 , . . . , θn,n ) ∈ Rn tel que
n
proj(Xn+1 , Hn ) = θn,k (Xn−k+1 − proj(Xn−k+1 , Hn−k )).
X

k=1

La numérotations des coordonnées de θn est similaire à celle des ϕp : on part de Xn , proche de

Xn+1 , pour arriver enfin à X1 . Le calcul des projetés orthogonaux successifs peut être mené
en utilisant l’algorithme de Gram-Schmidt. Cet algorithme, qui date du dix-neuvième
siècle, est purement hilbertien. Nous l’appliquons ici à l’exemple particulier des processus
stochastiques du second ordre (l’espace de Hilbert est L2 ), où il est connu également sous
le nom d’algorithme des innovations. Il est disponible pour tout processus du second
ordre, stationnaire ou pas, et ne repose donc pas sur la nature Toeplitz de la matrice de
covariance des processus stationnaires, contrairement à l’algorithme de Levinson-Durbin.

Théorème 5.10 : Algorithme d’orthonormalisation de Gram-Schmidt

Soit (Xn )n≥1 un processus du second ordre de moyenne nulle, pas forcément sta-
tionnaire. Soit γ(j, k) = Cov(Xj , Xk ) = E(Xj Xk ) = hXj , Xk i. Si la matrice

(γ(j, k))1≤j,k≤n

est inversible pour tout n ≥ 1, alors les suites (σn2 )n≥0 et (θn )n≥1 sont calculables par

79
 5. Prédiction linéaire (x3)

récurrence à partir de n = 1 et σ02 = γ(1, 1) avec les formules :

Pk−1 2
γ(n + 1, k + 1) − j=0 θk,k−j θn,n−j σj
θn,n−k =
σk2
n−1
X
σn2 = γ(n + 1, n + 1) − 2
θn,n−j σj2 ,
j=0

où pour tout n ≥ 1, le calcul se fait pour k = 0, puis k = 1, …, puis enfin k = n − 1.

Note : ne surtout pas apprendre ces formules par cœur !

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 80/93.

Note : ici on utilise la convention ∅ = 0.

P

Note : l’algorithme de Gram-Schmidt consiste à calculer successivement les coefficients

θn de proj(Xn+1 , Hn ) sur X1 , X2 − proj(X2 , H1 )), . . . , Xn − proj(Xn , Hn−1 ). Il est récursif.
Il est cependant différent de l’algorithme de Levinson-Durbin, récursif aussi, qui consiste à
calculer les coefficients ϕn de proj(Xn+1 , Hn ) sur X1 , . . . , Xn .

Démonstration. Le théorème de Pythagore donne

σn2 = kXn+1 − proj(Xn+1 , Hn )k22

= kXn+1 k22 − kproj(Xn+1 , Hn )k22
Xn
2 2
= γ(n + 1, n + 1) − θn,k σn−k
k=1
n−1
X
2
= γ(n + 1, n + 1) − θn,n−k σk2
k=0

qui est bien la formule annoncée pour σn2 . La matrice covariance (γ(j, k))1≤j,k≤n+1 du
vecteur aléatoire (X1 , . . . , Xn+1 ) est la matrice de Gram des vecteurs X1 , . . . , Xn+1 dans
L2 . Elle est inversible ssi ces vecteurs sont linéairement indépendants, ce qui signifie que le
parallélépipède engendré par X1 , . . . , Xn+1 est de dimension pleine n + 1, ce qui signifie
que ses hauteurs σ0 , σ1 , . . . , σn sont > 0. On peut donc diviser par σk2 dans les formules
sans souci. Établissons à présent la formule pour θn,n−k . À nouveau grâce à la même
orthogonalité, on obtient, pour tout 0 ≤ k < n,

hproj(Xn+1 , Hn ) , Xk+1 − proj(Xk+1 , Hk )i

n
θn,k0 Xn−k0 +1 − proj(Xn−k0 +1 , Hn−k0 ) , Xk+1 − proj(Xk+1 , Hk )
X
=
k0 =1
= θn,n−k σk2 .

Or hXn+1 − proj(Xn+1 , Hn ) , Xk+1 − proj(Xk+1 , Hk )i = 0, et donc

hXn+1 , Xk+1 − proj(Xk+1 , Hk )i

θn,n−k =
σk2
γ(n + 1, k + 1) − hXn+1 , proj(Xk+1 , Hk )i
= .
σk2

80
 5.6. Compléments

Dans cette formule, on peut remplacer les projections par l’expression suivante
k
proj(Xk+1 , Hk ) = θk,j (Xk+1−j − proj(Xk+1−j , Hk−j )
X

j=1
k−1
θk,k−j (Xj+1 − proj(Xj+1 , Hj ))
X
=
j=0

ce qui donne

θk,k−j hXn+1 , Xj+1 − proj(Xj+1 , Hj )i

Pk−1
γ(n + 1, k + 1) − j=0
θn,n−k =

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 81/93.
σk2
Pk−1
γ(n + 1, k + 1) − j=0 θk,k−j θn,n−j σj2
= .
σk2

Ceci est bien la formule annoncée pour θn,n−k (par convention,

P
∅ = 0).
11→12

Exemple 5.11 : Processus MA(1)

Si X est un processus MA(1) solution de Xt = Zt + θZt−1 où Z ∼ BB 0, σ 2 , alors

γ(j, k) = σ 2 (1 + θ2 )1j=k + θσ 2 1|j−k|=1 .

Le théorème 5.10 donne alors après calcul

θσ 2 θ2 σ4
θn,k = 2 1k=1 et σn2 = σ 2 (1 + θ2 ) − 2 1n>0 .
σn−1 σn−1

Si vn := σn2 /σ 2 alors v0 = 1 + θ2 , vn+1 = 1 + θ2 − θ2 /vn , et θn,1 = θ/vn−1 , et le

prédicteur linéaire optimal proj(Xn , Hn−1 ) vérifie donc la récurrence affine suivante :
n
proj(Xn+1 , Hn ) = θn,k (Xn+1−k − proj(Xn+1−k , Hn−k ))
X

k=1
θ(Xn − proj(Xn , Hn−1 ))
= .
vn−1

5.6 Compléments

Définition 5.12 : Coefficient d’autocorrélation partielle

Le coefficient κp (= ϕp,p ) de l’algorithme de Levinson-Durbin est appelé coefficient

d’autocorrélation partielle.

Théorème 5.13 : Coefficient d’autocorrélation partielle

81
 5. Prédiction linéaire (x3)

Pour tous p ≥ 0 et t ∈ Z,
+ −
Cov Et,p+ −


Et,p , Et−(p+1),p , Et−(p+1),p
κp+1 (= ϕp+1,p+1 ) = + − =q .
Var(Et,p ) Var(Et−(p+1),p
q
Et,p 2
Et−(p+1),p 2
+ −
)

En particulier, on a |κp | ≤ 1 (inégalité de Cauchy–Schwarz).

Note : Et,p
+
et Et−(p+1),p
−
sont relatives à des projection sur le même espace Ht−1,p .
Cov(Xt ,Xt−1 )
Note : κ1 = = ρ(1) (fonction d’autocorrélation du processus).
Var(Xt ) Var(Xt−1 )
p p

Note : pour un AR(m) causal on trouve κp = ϕp,p 11≤p<m + ϕm 1p=m .

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 82/93.

Démonstration. La définition de κp+1 donnée dans la preuve du théorème 5.9, le fait que
+
Xt = Et,p + proj(Xt , Ht−1,p ), et proj(Xt , Ht−1,p ) ∈ Ht−1,p ⊥ Et−(p+1),p
−
, donnent

− + −
Xt , Et−(p+1),p Et,p , Et−(p+1),p
κp+1 = 2 = 2 .
− −
Et−(p+1),p 2
Et−(p+1),p 2

Or la preuve du théorème 5.9 donne Et,p

+ 2 − 2
2
= Et−(p+1),p 2
(= σp2 ).

82
 Chapitre 6
Estimation (x1)

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 83/93.
Mots-clés : Estimation ; moyenne empirique ; autocovariance empirique.

Dans ce chapitre, X = (Xt )t∈Z est un processus stationnaire réel de moyenne µ et

d’autocovariance γ. On cherche à estimer µ et γ à partir de l’observation de X1 , . . . , Xn .
Pour cela, on construit des estimateurs, c’est-à-dire des fonctions mesurables de X1 , . . . , Xn ,
qui approchent les quantités d’intérêt, et dont on étudie les propriétés quand n  1.
Soulignons que les variables aléatoires X1 , . . . , Xn sont dépendantes. Cependant, elles ont
même moyenne, et la matrice de covariance du vecteur aléatoire (X1 , . . . , Xn ) est de type
Toeplitz : Γj,k = Cov(Xj , Xk ) = γ(j − k). Tout se passe comme si nous devions estimer le
vecteur moyenne et la matrice de covariance d’un vecteur aléatoire (X1 , . . . , Xn ) à partir
d’un échantillon de taille 1. On tire partie de la stationnarité, qui fait chuter le nombre
de paramètres : la moyenne (µ, . . . , µ) ne dépend que d’un seul paramètre µ au lieu de
n paramètres en général, tandis que la matrice de covariance Γn = (γ(j − k))1≤j,k≤n ne
dépend que de n paramètres γ(0), . . . , γ(n−1) au lieu des n(n−1)/2 paramètres en général.
Principe général : on peut estimer un signal de petite dimension plongé dans un espace de
grande dimension à condition d’avoir une information structurelle (stationnarité ici).

6.1 Estimation de la moyenne

L’estimateur naturel de la moyenne µ est la moyenne empirique définie par
n
1X
Xn = Xk .
n
k=1

Si θbn est un estimateur de θ alors on dispose de la décomposition biais-variance :

E((θbn − θ)2 ) = Var(θbn ) + (E(θbn ) − θ)2 .

Autrement dit l’écart quadratique moyen est la somme de la variance (erreur statistique)
et du carré du biais (erreur systématique). La moyenne empirique X n est un estimateur
sans biais de θ = µ car grâce à la propriété de stationnarité on a E(X1 ) = · · · = E(Xn ) = µ,
ce qui donne, grâce à la linéarité de l’espérance,
n n
!
1X 1X
E(X n ) = E Xk = E(Xk ) = µ.
n n
k=1 k=1

83
 6. Estimation (x1)

Ainsi, la variance et l’écart quadratique moyen coïncident : Var(X n ) = E((X n − µ)2 ). Le

biais de X n ne fait intervenir que les lois marginales de dimension 1 de X et n’est donc
pas sensible à l’autocovariance.
On rappelle qu’un processus stationnaire X = (Xt )t∈Z est un bruit blanc très fort
BB µ, σ 2 lorsque les variables (Xt )t∈Z sont i.i.d. de moyenne µ et de variance σ 2 .

Théorème 6.1 : Estimation de la moyenne pour les BB très forts

Si (Xt )t∈Z est un BB µ, σ 2 très fort alors la moyenne empirique X n vérifie :

p.s.
1. Consistance forte : X n −→ µ ;
n→∞
√
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 84/93.

2. Convergence dans L2 à vitesse 1/ n :

σ σ2
Xn − µ 2
=√ c’est-à-dire E((X n − µ)2 ) = Var(X n ) = ;
n n

3. Fluctuations asymptotiques gaussiennes de la version centrée et réduite :

√
n
X n − E(X n ) loi
Xn − µ = q −→ N (0, 1)
σ
Var(X n )
n→∞

(les deux membres, droite et gauche, sont de moyenne 0 et de variance 1).

Démonstration.
1. Il s’agit de la loi forte des grands nombres. Elle reste vraie quand X est un bruit
blanc fort, mais cela n’est pas évident ;
2. Il s’agit d’une conséquence de la stationnarité et de l’absence de corrélation :
n n
1 X 1 X σ2
Var(X n ) = Cov(Xj , X k ) = Var(Xj ) = .
n2 n2 n
j,k=1 j=1

La propriété reste vraie de manière évidente si X ∼ BB 0, σ 2 .

3. Il s’agit du théorème limite central.

La fluctuation gaussienne permet de construire des intervalles de confiance asympto-

tiques pour µ. La proximité non asymptotique de X n est quantifiable à l’aide d’inégalités
de concentration de la mesure, comme celle de Bienaymé-Tchebychev :

σ2
∀r > 0, P Xn − µ > r ≤ 2 .
nr
La majoration en 1/r2 peut être remplacée par une majoration exponentielle lorsque la
loi commune des Xt possède des moments exponentiels finis. Cette inégalité permet de
construire des intervalles de confiance non-asymptotiques.
D’autre part, il est possible de quantifier la vitesse de convergence des fluctuations vers
la loi gaussienne. Si par exemple τ := E(|X1 |3 ) < ∞, alors le théorème de Berry-Esseen
affirme qu’il existe une constante c > 0 telle que pour tout n ≥ 1,
√ 
n cτ
sup P X n − µ ≤ t − P(Z ≤ t) ≤ 3 √ , où Z ∼ N (0, 1).


t∈R σ σ n

84
 6.1. Estimation de la moyenne

Lorsque σ n’est pas connu, les intervalles de confiance pour µ construits avec l’inégalité
de Tchebychev ou avec la fluctuation asymptotique gaussienne ne sont pas utilisables car
ils font intervenir σ. Si σ
bn est un estimateur de σ tel que σ bn → σ en probabilité quand
1
n → ∞, alors le lemme de Slutsky permet de remplacer σ par σ bn dans le résultat de
fluctuation asymptotique :
√
n
loi
X n − µ −→ N (0, 1).
σ
bn n→∞

Théorème 6.2 : Moyenne empirique et écart quadratique moyen

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 85/93.
Soit X un processus stationnaire de moyenne µ et d’autocovariance γ.
1. Si limh→∞ γ(h) = 0 alors

Var(X n ) = E((X n − µ)2 ) −→ 0

n→∞

c’est-à-dire
L2
X n −→ µ;
n→∞

2. Si γ ∈ `1 (Z) c’est-à-dire si < ∞, alors

P
h∈Z |γ(h)|
P
h∈Z γ(h) 2πf (0)
Var(X n ) = E((X n − µ) ) ∼
2
=
n→∞ n n
c’est-à-dire r
2πf (0)
Xn − µ ∼
2 n→∞
n
où f est la densité spectrale
du processus X. En particulier, si X = µ + Fα Z
avec Z = (Zt )t∈Z ∼ BB 0, σ 2 et α ∈ `1 (Z) alors

σ 2  X 2
Var(X n ) ∼ αh .
n
h∈Z

Note : ici les observations X1 , . . . , Xn ne sont pas indépendantes en général.

Démonstration. Grâce à la stationnarité, on a
n
1 X
Var(X n ) = 2 E((Xj − µ)(Xk − µ))
n
j,k=1
n
1 X
= γ(j − k)
n2
j,k=1
n−1
1 X
= (n − |h|)γ(h)
n2
h=−(n−1)
n−1  
1 X |h|
= 1− γ(h).
n n
h=−(n−1)
1. Lemme de Slutsky : si Un → c en probabilité avec c constante et si Vn → V en loi alors f (Un , Vn ) →
f (c, V ) en loi, pour toute fonction f continue. Exemple : f (u, v) = uv.

85
 6. Estimation (x1)

Si limh→∞ γ(h) = 0 alors limn→∞ = 0 (critère de Cesàro), d’où

1 Pn−1
n h=−(n−1) |γ(h)|

n−1
1
Var(X n ) ≤
X
|γ(h)| −→ 0.
n n→∞
h=−(n−1)

Si γ ∈ `1 (Z), c’est-à-dire que < ∞, alors, par convergence dominée,

P
h∈Z |γ(h)|

n−1  
X |h| X X
nVar(X n ) = 1− γ(h) = gn (h) −→ γ(h)
n n→∞
h=−(n−1) h∈Z h∈Z
 
où gn (h) := 1 − γ(h)1−n<|h|<n car car pour tout h ∈ Z on a limn→∞ gn (h) = γ(h)
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 86/93.

|h|
n
avec |gn (h)| ≤ |γ(h)| et γ ∈ `1 (Z). De plus le théorème 4.6 de Herglotz donne
1 X −ih0
e
X
γ(h) = 2π γ(h) = 2πf (0).
2π
h∈Z h∈Z

Enfin, dans le cas d’un processus linéaire X = µ+Fα Z avec Z ∼ BB 0, σ 2 et α ∈ `1 (Z)

alors γX = γX−µ ∈ `1 (Z) et par le théorème 4.12 :

1 X σ2 X X σ2 X σ 2  X 2
f (0) = γh = αk αk+h = αk αk0 = αh
2π 2π 2π 0 2π
h∈Z h∈Z k∈Z k,k ∈Z h∈Z

Théorème 6.3 : Moyenne empirique et normalité asymptotique

Soit X = µ + Fα Z un processus bruit blanc très fort

linéaire obtenu à partir d’un P
Z = (Zt )t∈Z ∼ BB 0, σ , et de coefficients α ∈ ` (Z) tels que h∈Z αh 6= 0, alors
2 1

!2
√ loi
n X n − µ −→ N (0, τ 2 ) où
X X
τ2 = γ(h) = σ 2


αh .
n→∞
h∈Z h∈Z

Cela permet de construire des intervalles de confiance (asymptotiques) pour µ, à

condition toutefois de connaître τ , ou un estimateur de τ (lemme de Slutsky).

Démonstration. On se contente ici du cas où Z est gaussien. Dans ce cas,

!
X X
2 2
Xt = µ + αh Zt−h ∼ N µ, σ αh
h∈Z h∈Z

et surtout  
√ X  
|h|
n(X n − µ) ∼ N 0, 1− γ(h).
n
|h|<n

Or pour les variables aléatoires gaussiennes centrées, la convergence en loi est équivalente à
la convergence de la variance, ce qui est immédiat en utilisant les fonctions caractéristiques.
Au delà du cas gaussien, on procède également en utilisant les fonctions caractéristiques,
mais il faut contrôler des termes de reste.

86
 6.2. Estimation de l’autocovariance

6.2 Estimation de l’autocovariance

Dans le cas où les variables aléatoires (Xt )t∈Z sont i.i.d. de moyenne µ etPde variance σ 2 ,
si µ est connue alors l’estimateur naturel de la variance σ 2 est donné par n1 nk=1 (Xk − µ)2 ,
qui est convergent d’après la loi des grands nombres, et sans biais, tandis que si µ n’est
pas connue alors n−1 k=1 (Xk − X n )2 est un estimateur sans biais.
1 Pn

Dans le cas d’un processus stationnaire X = (Xt )t∈Z général, on estime l’autocovariance
γ avec l’autocovariance empirique définie par

(Xk+h − X n )(Xk − X n ) si 0 ≤ h < n ;

( P
1 n−h
γ̂n (h) = n k=1
γ̂n (−h) si −n < h ≤ 0,

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 87/93.
Ceci conduit à l’autocorrélation empirique, définie pour tout h tel que |h| < n par
γ̂n (h)
ρ̂(h) = .
γ̂n (0)

La matrice de covariance empirique Γ̂n = (γ̂(j − k))1≤j,k≤n est symétrique et de type

positif. En général, l’autocovariance empirique est un estimateur biaisé. Lorsque X est
un bruit blanc fort alors il est bien connu qu’on peut rendre γ̂ sans biais en remplaçant
le coefficient de normalisation 1/n par 1/(n − h − 1). L’autocovariance empirique est
asymptotiquement sans biais pour une large classe de processus linéaires.

Théorème 6.4 : Autocorrélation empirique et normalité asymptotique

Si X est de la forme X = µ + Fα Z où Z = (Zt )t∈Z est un BB 0, σ 2 très fort et

α ∈ `1 (Z), et si E(Zt4 ) < ∞ pour tout t ∈ Z ou si k∈Z |k|αk2 < ∞ alors pour tout
P
h > 0 fixé,    
ρ̂(1) ρ(1)
√  .   .  loi
n ..  −  ..  −→ N (0, T )
n→∞
ρ̂(h) ρ(h)
où la matrice de covariance asymptotique T est donnée par la formule de Bartlett
∞
X
Tj,k = [ρ(r + j) + ρ(r − j) − 2ρ(j)ρ(r)][ρ(r + k) + ρ(r − k) − 2ρ(k)ρ(r)].
r=1

En particulier Tk,k = + k) + ρ(r − k) − 2ρ(k)ρ(r)]2 , et

P∞
r=1 [ρ(r

√ loi
n(ρ̂(k) − ρ(k)) −→ N (0, Tk,k ).
n→∞

6.3 Application aux tests

Faisons l’hypothèse H suivante : les Xt sont i.i.d. d’espérance 0 et de variance σ 2 . Sous
l’hypothèse H, on a ρ(h) = 1h=0 , ce qui donne Tj,k = 1j=k , et par conséquent, d’après le
√ √
théorème 6.4, nb ρ(h) sont approximativement i.i.d. de loi gaussienne N (0, 1)
ρ(1), . . . , nb
quand n est grand. Il n’y a plus de σ car il s’agit ici de l’autocorrélation. Il en découle que
sous l’hypothèse H, pour tout 0 < α < 1, quand n  1, la probabilité que
√ √
nb
ρ(1), . . . , nb
ρ(h)

87
 6. Estimation (x1)

appartiennent tous à l’intervalle In,α = [−q1−α/2 , q1−α/2 ] est proche de (1 − α)h , où q1−α/2
est le quantile 1 − α/2 de la loi N (0, 1). Pour α = 0.05 on a q1−0.05/2 = q0.975 = 1.96.
Le test du Portmanteau consiste à considérer une statistique moyennisée
h
X
Sn = n ρb2k .
k=1

Sous l’hypothèse H, la variable Sn converge en loi quand n → ∞ vers une loi χ2 (h). On
peut donc choisir 0 < α < 1 et tester si Sn appartient à l’intervalle ] − ∞, q1−α ] où q1−α
est le quantile 1 − α de la loi χ2 (h).
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 88/93.

88
 Annexe A
Rappels d’analyse et probabilités

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 89/93.
A.1 Espaces de suites
On
P dit que (xk )k∈Z ∈ RP est sommable lorsque limn→∞ −n≤k≤n |xk | < ∞. Dans ce
Z
P
cas, k∈Z xk = limm,n→∞ −m≤k≤n xk existe. Pour tout p ∈ [1, ∞] on définit

{x ∈ RZ : k∈Z |xk |p < ∞} si p < ∞

( P
p
` (Z) =
{x ∈ RZ : supk∈Z |xk | < ∞} si p = ∞.

C’est un espace vectoriel normé complet (espace de Banach) pour la norme

 1
p p
si p < ∞
 P
|x
k∈Z k |
kxkp =
sup si p = ∞.
k∈Z |xk |

Ces espaces sont emboités de manière croissante : pour tous p, q ∈ [1, ∞],

p ≤ q ⇒ `p (Z) ⊂ `q (Z).

Une astuce mnémotechnique pour le retrouver rapidement consiste à penser que le terme
général d’une série convergente est borné, de module < 1 pour |k|  1.
L’inégalité de Hölder affirme que pour tous p, q ∈ [1, ∞] avec 1/p + 1/q = 1,

∀x ∈ `p (Z), ∀y ∈ `q (Z), kxyk1 ≤ kxkp kykq ,

où (xy)k = xk yk pour tout k ∈ Z. Il est parfois commode de définir les espaces `p (Z)
pour les suites à valeurs dans C plutôt que dans R. L’espaceP`2 (Z) possède une structure
d’espace de Hilbert donnée par le produit scalaire hx, yi = k∈Z xk yk . On peut noter si
nécessaire `pC (Z) pour indiquer qu’il s’agit de la version complexe.

A.2 Espaces de fonctions

Soit (Ω, A, P) un espace probabilisé et L0 l’ensemble des variables aléatoires (Ω, A, P) →
R (quotient par l’égalité presque sûre). Pour tout p ∈ [1, ∞] on définit

{X ∈ L0 : E(|X|p ) < ∞} si p < ∞

(
L =
p
{X ∈ L : ess sup |X| < ∞} si p = ∞
0

89
 A. Rappels d’analyse et probabilités

où esssup(X) = inf{c ∈ R ∪ {+∞} : X ≤ c p.s.}. L’ensemble Lp est un espace vectoriel

normé complet (on dit espace de Banach) pour la norme

si p < ∞
(
E(|X|p )1/p
kXkp :=
ess sup(|X|) si p = ∞.

L’inégalité de Hölder affirme que si X ∈ Lp et Y ∈ Lq avec p, q ∈ [1, ∞] vérifiant

r = 1/(1/p + 1/q) ≥ 1 avec la convention 1/∞ = 0 et 1/0 = ∞, alors XY ∈ Lr et

kXY kr ≤ kXkp kY kq .

En posant Y = 1 ∈ Lq pour tout q ∈ [1, ∞] on obtient que les espaces sont emboités de
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 90/93.

manière décroissante : pour tous p, q ∈ [1, ∞], si p ≤ q alors Lq ⊂ Lp (pour le retrouver

rapidement, penser au fait que toute v.a. bornée est intégrable). Pour p = q = 1/2 on
obtient r = 1/(1/p + 1/q) = 1 et l’inégalité de Hölder devient :

∀X, Y ∈ L2 , XY ∈ L2 et E(|XY |) = kXY k1 ≤ kXk2 kY k2 .

Notons que `p (Z) = Lp (Z) où Z est muni de la tribu de ses parties et de la mesure de
comptage. D’autre part, tout comme pour les espace `p , il est parfois commode de définir
les espaces Lp pour les fonctions à valeurs dans C plutôt que dans R, et on peut noter si
nécessaire LpC pour indiquer qu’il s’agit de la version complexe.
L’inégalité précédente permet de définir l’application

(X, Y ) ∈ L2 × L2 7→ hX, Y i = E(XY ) ∈ R.

Elle constitue un produit scalaire qui fait de L2 un espace de Hilbert. L’inégalité de

Cauchy–Schwarz affirme que pour tous X, Y ∈ L2 ,
q q
|E(XY )| = |hX, Y i| ≤ kXk2 kY k2 = E(|X|2 ) E(|Y |2 ).

Le théorème de Pythagore s’écrit

kX + Y k22 = kXk22 + kY k22 + 2hX, Y i.

ce qui donne l’identité du parallélogramme :

kX − Y k22 + kX + Y k22 = 2kXk22 + 2kY k22 .

L’inégalité de Jensen affirme que si ϕ est convexe alors pour tout X ∈ L1 , on a

ϕ(E(X)) ≤ E(ϕ(X)).

Exemples courants : |E(X)|p ≤ E(|X|p ), pour tout p ≥ 1, eE(X) ≤ E(eX ) si X réelle,

− log(E(X)) ≤ −E(log(X)) si X > 0.
Deux variables aléatoires X et Y à valeurs dans K sont indépendantes ssi

E(f (X)g(Y )) = E(f (X))E(g(Y ))

pour tous f, g ∈ F , où F est une classe de fonctions assez grande et pour lesquelles toutes les
espérances dans cette formule ont un sens. Par exemple, on peut prendre pour F l’ensemble
des fonctions mesurables bornées, ou l’ensemble des fonctions mesurables positives. On
peut aussi prendre les fonctions trigonométriques (fonctions caractéristiques !).
Si X, Y ∈ L2 alors XY ∈ L1 , grâce à l’inégalité de Cauchy–Schwarz. D’autre part, si
X, Y ∈ L1 sont indépendantes, alors XY ∈ L1 car E|XY | = E|X|E|Y | < ∞.

90
 A.3. Covariance

A.3 Covariance
La variance de X ∈ L2 est définie par

Var(X) = kX − E(X)k22 = E(|X − E(X)|2 ) = E(|X|2 ) − |E(X)|2 .

On a aussi la formule variationnelle

Var(X) = inf kX − ck22 atteint pour c = E(X).

c∈R

La covariance de X, Y ∈ L2 est définie par

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 91/93.
Cov(X, Y ) = hX − E(X), Y − E(Y )i
= E((X − E(X))(Y − E(Y )))
= E(XY ) − E(X)E(Y ).

On a

Cov(X, X) = Var(X) et Var(X + Y ) = Var(X) + Var(Y ) + 2Cov(X, Y ).

On dit que X et Y ne sont pas corrélées lorsque Cov(X, Y ) = 0. Si X et Y sont indépen-

dantes alors X et Y ne sont pas corrélées, mais la réciproque est fausse en général, sauf si
le couple (X, Y ) est un vecteur gaussien.
Si X = (X1 , . . . , Xn ) est un vecteur aléatoire de Cn alors
n
Var(X1 + · · · + Xn ) = Cov(Xj , Xk ) = Var(Xj ) + Cov(Xj , Xk ).
X X X

1≤j,k≤n j=1 1≤j6=k≤n

Géométriquement, pour les vecteurs aléatoires centrés de carré (du module) intégrable,
covariance nulle signifie orthogonalité. Si X1 , . . . , Xn ne sont centrés, de variance unité,
et non corrélées, alors Var(X1 + · · · + Xn ) = kX1 + · · · + Xn k22 = n. Penser au fait que la
√
diagonale [(0, . . . , 0), (1, . . . , 1)] du cube [0, 1]n de Rn a pour longueur n.

A.4 Vecteur moyenne et matrice de covariance

Le vecteur moyenne µX et la matrice de covariance ΓX d’un vecteur aléatoire
(colonne) de Rn sont définis par

µX = (E(X1 ), . . . , E(Xn ))> et ΓX = (Cov(Xj , Xk ))1≤j,k≤n .

La matrice de covariance ΓX est réelle et symétrique.

Pour toute matrice carrée A ∈ Mn (R), les propriétés suivantes sont équivalentes :
1. A est symétrique de type positif sur R : pour tous indices j, k, tout vecteur v ∈ Rn ,

A(j, k) = A(k, j) et hAv, vi =

X
vj vk A(j, k) ≥ 0;
1≤j,k≤n

2. A est symétrique de type positif sur C : pour tous indices j, k, tout vecteur v ∈ Cn ,

A(j, k) = A(k, j) et hAv, vi =

X
vj vk A(j, k) ≥ 0;
1≤j,k≤n

91
 A. Rappels d’analyse et probabilités

3. A est symétrique et toutes ses valeurs propres sont ≥ 0 ;

4. A est la matrice de covariance d’un vecteur aléatoire de Rn ;
5. A = LL> où L ∈ Mn (R) est triangulaire inférieure (décomposition Cholesky).
La décomposition de Cholesky est un cas particulier de la décomposition LU.

Le spectre spec(A) ⊂ C de A ∈ Mn (C) est l’ensemble des valeurs propres de A. Les

Valeurs propres de A sont les racines dans C de son polynôme caractéristique

P (z) = det(A − zI).

On a λ ∈ spec(A) ssi
Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 92/93.

ker(A − λI) 6= {0},

c’est-à-dire ssi il existe un vecteur v ∈ Cn , appelé vecteur propre associé à λ, tel que
v 6= 0 et Av = λv. Le théorème spectral de l’algèbre linéaire assure que toute matrice
A ∈ Mn (R) symétrique admet une base orthonormale de vecteurs propres réels : il existe
une matrice orthogonale O ∈ Mn (R), c’est-à-dire telle que O−1 = O> , telle que

D = O> AO = diag(λ1 , . . . , λn ) ∈ Mn (R), c’est-à-dire A = ODO> .

Ici les réels λ1 , . . . , λn sont les valeurs propres de A, tandis que les colonnes v1 , . . . , vn de
O sont les vecteurs propres orthonormés associés, et pour tout vecteur x ∈ Rn ,
D E n
X
> >
hAx, xi = DO x, O x = λk hx, vk ivk .
k=1

Les formules variationnelles de Rayleigh-Courant-Fischer assurent que pour toute

matrice A ∈ Mn (R) symétrique,

min{λ valeur propre de A} = min hAx, xi

x:kxk2 =1

et
max{λ valeur propre de A} = max hAx, xi.
x:kxk2 =1

92
 Bibliographie

Université Paris-Dauphine – Master 1 MIDO 2017/2018 – Introduction aux séries temporelles – Page 93/93.
[Ar] Y. Aragon. Séries temporelles avec R (bibliothèque d’étude 519.5 ARA) (disponible sur Internet)
[Am] G. Ammar. Classical foundations of algorithms for solving positive definite Toeplitz equations
CALCOLO (1996), volume 33, issue 1-2, pp 99–113 (disponible sur Internet)
[C] A. Charpentier. Cours de séries temporelles – Théorie et application (disponible sur Internet)
[LL] C. Lévy-Leduc. Introduction à l’étude des séries temporelles (disponible sur Internet)
[OPV] G. Oppenheim, A. Philippe, M.-C. Viano. Cours de séries temporelles (dispo. sur Internet)
[LMR] C. Lévy-Leduc, É. Moulines, F. Roueff. Séries temporelles : théorie et méthodes (dispo. sur Internet)
[BD1] P. Brockwell, R. Davis. Time Series : Theory and Methods (bib. rech. 519.5 BRO)
[BD2] P. Brockwell, R. Davis. Intro. to time series and forecasting (bib. rech. 519.5 BRO)
[CC] J. Cryer, K.-S. Chan. Time Series Analysis – With Applications in R (bib. étu. 519.5 CRY)
[BJ] G. Box, G. Jenkins. Time Series Analysis – Forecasting and Control (bib. rec. 519.5 BRO)

93