DM1

Espaces vectoriels d'endomorphismes nilpotents

Dans tout le sujet on considère des R-espaces vectoriels de dimension nie. Soit E un tel espace
vectoriel et u un endomorphisme de E . On dit que u est nilpotent lorsqu'il existe un entier p ≥ 0 tel
que up = 0; le plus petit de ces entiers est alors noté ν(u) et appelé nilindice de u, et l'on remarquera
qu'alors uk = 0 pour tout entier k ≥ ν(u). On rappelle que u0 = idE . L'ensemble des endomorphismes
nilpotents de E est noté N (E). Un sous-espace vectoriel V de L(E) est dit nilpotent lorsque tous ses
éléments sont nilpotents, autrement dit lorsque V ⊂ N (E).
Une matrice triangulaire supérieure est dite stricte lorsque tous ses coecients diagonaux sont nuls.
On note Tn++ (R) l'ensemble des matrices triangulaires supérieures strictes de Mn (R).
L'objectif du problème est d'établir le théorème suivant, démontré par Murray Gerstenhaber en 1958:

Théorème de Gerstenhaber

Soit E un R-espace vectoriel de dimension n > 0, et V un sous-espace vectoriel nilpotent de L(E).

n(n−1) n(n−1)
Alors, dim(V) ≤ 2 . Si en outre dim(V) = 2 . alors il existe une base de E dans laquelle tout

élément de V est représenté par une matrice triangulaire supérieure stricte.

I. Généralités sur les endomorphismes nilpotents .

Dans toute cette partie, on xe un espace vectoriel réel E de dimension n > 0.

1 . Soit u ∈ N (E). Montrer que Tr(uk ) = 0 pour k ∈ N∗ .

2 . On xe une base B de E . On note NB l'ensemble des endomorphismes de E dont la matrice dans B
est triangulaire supérieure stricte. Justier que NB est un sous-espace vectoriel de L(E) et que sa
dimension vaut n(n−1)
2 .

3 . Soit B une base de E . Montrer que {ν(u) | u ∈ NB } = {ν(u) | u ∈ N (E)} = [[1, n]]

4 . Soit u ∈ L(E). On se donne deux vecteurs x et y de E , ainsi que deux entiers p ≥ q ≥ 1 tels que
up (x) = uq (y) = 0, up−1 (x) ̸= 0 et uq−1 (y) ̸= 0.
Montrer que la famille (x, u(x), . . . , up−1 (x)) est libre, et que si (up−1 (x), uq−1 (y)) est libre alors
(x, u(x), . . . , up−1 (x), y, u(y), . . . , uq−1 (y)) est libre.

5 . Soit u ∈ N (E) de nilindice p. Déduire de la question précédente que si p ≥ n − 1 et p ≥ 2 alors

Imup−1 = Imu ∩ ker u et Imup−1 est de dimension 1.

1
 II. Endomorphismes de rang 1 d'un espace euclidien

On considère ici un espace vectoriel euclidien (E, (·|·)).

Étant donné a ∈ E et x ∈ E on notera a ⊗ x l'application de E dans lui même dénie par:

∀z ∈ E, (a ⊗ x)(z) = (a|z).x

6 . On xe x ∈ E \ {0}. Montrer que l'application a ∈ E 7→ a ⊗ x est lineaire et constitue une bijection
de E sur{u ∈ L(E) : Imu ⊂ Vect(x)}.

7 . Soit a ∈ E et x ∈ E \ {0}. Montrer que Tr(a ⊗ x) = (a|x).

III. Deux lemmes.

On considère ici un R-espace vectoriel E de dimension n > 0. Soit V un sous-espace vectoriel nilpotent
de L(E) contenant un élément non nul. On note p := maxu∈V ν(u) appelé nilindice générique de
V ( cet indice est bien déni grâce à la question 3). On notera que p ≥ 2.
On introduit le sous-ensemble V • formé des vecteurs appartenant à au moins un des ensembles Imup−1
pour u dans V ; on introduit de plus le sous-espace vectoriel engendré

K(V) := Vect(V • ).

Enn, étant donné x ∈ E , on poseVx := {v(x) | v ∈ V}.

L'objectif de cette partie est d'établir les deux résultats suivants:

Lemme A Soit. u et v dans V. Alors Tr(uk v) = 0 pour tout entier naturel k.

Lemme B Soit. x ∈ V ∗ \ {0}. Si K(V) ⊂ Vect(x) + V x, alors v(x) = 0 pour tout v ∈ V.

Dans les questions 8 à 11, on se donne deux éléments arbitraires u et v de V .

8 . Soit k ∈ N∗ . Montrer qu'il existe une unique famille (f0(k) , . . . , fk(k) ) d'endomorphismes de E telle
que
k
(k)
X
∀t ∈ R, (u + tv)k = ti fi .
i=0
k−1
Montrer en particulier que f0(k) = uk et f1(k) = ui vuk−1−i .
P
i=0

2
 p−1
Montrer que ui vup−1−i = 0.
P
9 .
i=0

10 . Étant donné k ∈ N, donner une expression simpliée de Tr(f1(k+1) ), et en déduire le validité du lemme
A.

11 . Soit y ∈ E . Démontrer que f1(p−1) (y) ∈ K(V). À l'aide d'une relation entre u(f1(p−1) (y)) et
v(up−1 (y)), en déduire que v(x) ∈ u(K(V)) pour tout x ∈ Imup−1 .

12 . Soit x ∈ V • \ {0} tel que K(V) ⊂ Vect(x) + Vx. On choisit u ∈ V tel que x ∈ Imup−1 .
Étant donné y ∈ K(V)), montrer que pour tout k ∈ N il existe yk ∈ K(V) et λk ∈ R tels que
y = λk x + uk (yk ). En déduire que K(V) ⊂ Vect(x) puis que v(x) = 0 pour tout v ∈ V .

IV. Démonstration du théorème de Gerstenhaber.

Dans cette ultime partie, nous démontrons le théorème de Gerstenhaber par récurrence sur l'entier n.
Le cas n = 1 est immédiat et nous le considérerons comme acquis. On se donne donc un entier naturel
n ≥ 2 et on suppose que pour tout espace vectoriel réel E ′ de dimension n − 1 et tout sous-espace
vectoriel nilpotent V ′ de L(E ′ ) on a dim V ′ ≤ (n−1)(n−2)
2 rt si en outre dim V ′ = (n−1)(n−2)
2 alors il
existe une base de E dans laquelle tout élément de V est représenté par une matrice triangulaire
′ ′

supérieure stricte.
On xe un espace vectoriel réel E de dimension n , ainsi qu'un sous-espace vectoriel nilpotent V de
L(E) . On munit E d'un produit scalaire (−|−) , ce qui en fait un espace euclidien.
On considère, dans un premier temps, un vecteur arbitraire x de E \ {0}. On pose

H := Vect(x)⊥ , Vx := {v(x) | v ∈ V} et W := {v ∈ V : v(x) = 0}.

On note π la projection orthogonale de E sur H . Pour u ∈ W , on note u l'endomorphisme de H

déni par
∀z ∈ H, u(z) = π(u(z)).

On considère enn les ensembles

V := {u | u ∈ W} et Z := {u ∈ W : u = 0}.

13 . Montrer que Vx, W, V et Z sont des sous-espaces vectoriels respectifs de E , V , L(H) et V .

14 . Montrer que que dim(V) = dim(Vx) + dim(Z) + dim V.

15 . Montrer qu'il existe un sous-espace vectoriel L de E tel que

Z = {a ⊗ x | a ∈ L} et dim L = dim Z.

et montrer qu'alors x ∈ L⊥ .

3
16 . En considérant u et a ⊗ x pour u ∈ V et a ∈ L, déduire du lemme A que Vx ⊂ L⊥ , et que plus
généralement uk (x) ∈ L⊥ pour tout k ∈ N et tout u ∈ V .

17 . Justier que λ.x ∈

/ Vx pour tout λ ∈ R∗ , et déduire alors des deux questions précédentes que

dim Vx + dim L ≤ n − 1.

18 . Soit u ∈ W . Montrer que (u)k (z) = π(uk (z)) pour tout k ∈ N et tout z ∈ H . En déduire que V est
un sous-espace vectoriel nilpotent de L(H).

19 . Démontrer que dim V ≤ (n−1)(n−2)

2 .

(n−1)(n−2)
Dans toute la suite du problème, on suppose que dim V = 2

20 . Démontrer que
(n − 1)(n − 2)
dim V = , dim(Vect(x) ⊕ Vx) + dim(L) = n.
2
et
L⊥ = Vect(x) ⊕ Vx.

En déduire que Vect(x) ⊕ Vx contient v k (x) pour tout v ∈ V et tout k ∈ N.

21 . En appliquant, l'hypothèse de récurrence , montrer que le nilindice générique de V est supérieur ou

égal à n − 1, et que si en outre Vx = {0} alors il existe une base de E dans laquelle tout élément de
V est représenté par une matrice triangulaire supérieure stricte.
Compte-tenu du résultat de la question 21, il ne nous reste plus qu'à établir que l'on peut choisir le
vecteur x de telle sorte que Vx = {0}.
On choisit x dans V • \ {0} (l'ensemble V • a été déni dans la partie III). On note p le nilindice
g«érique de V , et l'on xe u ∈ V tel que x ∈ Imup−1 . On rappelle que p ≥ n − 1 d'après la question
21.

22 . Soit v ∈ V tel que v(x) ̸= 0. Montrer que Imv p−1 ⊂ Vect(x) ⊕ Vx. On pourra utiliser les résultats

des questions 5 et 20.

23 . On suppose qu'il existe v0 ∈ V tel que v0 (x) ̸= 0. Soit v ∈ V . En considérant v + tv0 pour t réel,
montrer que Imv p−1 ⊂ Vect(x) ⊕ Vx.

24 . Conclure.

FIN DU PROBLÈME