MP* DEVOIR 7 A rendre jeudi 13 novembre 2025

Espaces vectoriels d’endomorphismes nilpotents

Dans tout le sujet on considère des R-espaces vectoriels de dimension finie. Soit E un tel espace
vectoriel et u un endomorphisme de E. On dit que u est nilpotent lorsqu’il existe un entier p ≥ 0 tel
que up = 0; le plus petit de ces entiers est alors noté ν(u) et appelé nilindice de u, et l’on remarquera
qu’alors uk = 0 pour tout entier k ≥ ν(u). On rappelle que u0 = idE . L’ensemble des endomorphismes
nilpotents de E est noté N (E). Un sous-espace vectoriel V de L(E) est dit nilpotent lorsque tous ses
éléments sont nilpotents, autrement dit lorsque V ⊂ N (E).
Une matrice triangulaire supérieure est dite stricte lorsque tous ses coefficients diagonaux sont nuls.
On note Tn++ (R) l’ensemble des matrices triangulaires supérieures strictes de Mn (R).
L’objectif du problème est d’établir le théorème suivant, démontré par Murray Gerstenhaber en 1958:

Théorème de Gerstenhaber
Soit E un R-espace vectoriel de dimension n > 0, et V un sous-espace vectoriel nilpotent de L(E).
n(n−1) n(n−1)
Alors, dim(V) ≤ 2 . Si en outre dim(V) = 2 . alors il existe une base de E dans laquelle tout
élément de V est représenté par une matrice triangulaire supérieure stricte.

Les trois parties du sujet sont largement indépendantes les unes des autres. La partie I est constituée
de généralités sur les endomorphismes nilpotents. Dans la partie II, on met en évidence un mode de
représentation des endomorphismes de rang 1 d’un espace euclidien. Dans la partie III, on établit deux
résultats généraux sur les sous-espaces vectoriels nilpotents: une identité sur les traces (lemme A), et
une condition suffisante pour que les éléments d’un sous-espace nilpotent non nul possèdent un vecteur
propre commun (lemme B). Dans l’ultime partie IV, les résultats des parties précédentes sont combinés
pour établir le théorème de Gerstenhaber par récurrence sur la dimension de l’espace E.

1
 I. Généralités sur les endomorphismes nilpotents .

Dans toute cette partie, on fixe un espace vectoriel réel E de dimension n > 0.

1. Soit u ∈ N (E). Montrer que Tr(uk ) = 0 pour k ∈ N∗ .

2. On fixe une base B de E. On note NB l’ensemble des endomorphismes de E dont la matrice dans B
est triangulaire supérieure stricte. Justifier que NB est un sous-espace vectoriel de L(E) et que sa
n(n−1)
dimension vaut 2 .

3. Soit B une base de E . Montrer que

{ν(u) | u ∈ NB } = {ν(u) | u ∈ N (E)} = [[1, n]]

4. Soit u ∈ L(E). On se donne deux vecteurs x et y de E, ainsi que deux entiers p ≥ q ≥ 1 tels que
up (x) = uq (y) = 0, up−1 (x) ̸= 0 et uq−1 (y) ̸= 0.
Montrer que la famille (x, u(x), . . . , up−1 (x)) est libre, et que si (up−1 (x), uq−1 (y)) est libre alors
(x, u(x), . . . , up−1 (x), y, u(y), . . . , uq−1 (y)) est libre.

5. Soit u ∈ N (E) de nilindice p. Déduire de la question précédente que si p ≥ n − 1 et p ≥ 2 alors

Imup−1 = Imu ∩ ker u et Imup−1 est de dimension 1.

II. Endomorphismes de rang 1 d’un espace euclidien

On considère ici un espace vectoriel euclidien (E, (−|−)).

Étant donné a ∈ E et x ∈ E on notera a ⊗ x l’application de E dans lui même définie par:

∀z ∈ E, (a ⊗ x)(z) = (a|z).x

6. On fixe x ∈ E \ {0}. Montrer que l’application a ∈ E 7→ a ⊗ x est lineaire et constitue une bijection
de E sur{u ∈ L(E) : Imu ⊂ Vect(x)}.

7. Soit a ∈ E et x ∈ E \ {0}. Montrer que Tr(a ⊗ x) = (a|x).

2
 III. Deux lemmes.

On considère ici un R-espace vectoriel E de dimension n > 0. Soit V un sous-espace vectoriel

nilpotent de L(E) contenant un élément non nul. On note

p := max ν(u)
u∈V

appelé nilindice générique de V ( cet indice est bien défini grâce à la question 3). On notera que
p ≥ 2.
On introduit le sous-ensemble V • formé des vecteurs appartenant à au moins un des ensembles Imup−1
pour u dans V; on introduit de plus le sous-espace vectoriel engendré

K(V) := Vect(V • ).

Enfin, étant donné x ∈ E, on pose

Vx := {v(x) | v ∈ V}.

L’objectif de cette partie est d’établir les deux résultats suivants:

Lemme A. Soit u et v dans V. Alors Tr(uk v) = 0 pour tout entier naturel k.

Lemme B. Soit x ∈ V ∗ \ {0}. Si K(V) ⊂ Vect(x) + V x, alors v(x) = 0 pour tout v ∈ V.

Dans les questions 8 à 11, on se donne deux éléments arbitraires u et v de V.

(k) (k)
8. Soit k ∈ N∗ . Montrer qu’il existe une unique famille (f0 , . . . , fk ) d’endomorphismes de E telle
que
k
(k)
X
∀t ∈ R, (u + tv)k = ti fi .
i=0
k−1
(k) (k)
= uk et f1 ui vuk−1−i .
P
Montrer en particulier que f0 =
i=0

p−1
ui vup−1−i = 0.
P
9. Montrer que
i=0

(k+1)
10 . Étant donné k ∈ N, donner une expression simplifiée de Tr(f1 ), et en déduire le validité du lemme
A.
(p−1) (p−1)
11 . Soit y ∈ E. Démontrer que f1 (y) ∈ K(V). À l’aide d’une relation entre u(f1 (y)) et
v(up−1 (y)), en déduire que v(x) ∈ u(K(V)) pour tout x ∈ Imup−1 .

3
12 . Soit x ∈ V • \ {0} tel que K(V) ⊂ Vect(x) + Vx. On choisit u ∈ V tel que x ∈ Imup−1 .
Étant donné y ∈ K(V)), montrer que pour tout k ∈ N il existe yk ∈ K(V) et λk ∈ R tels que
y = λk x + uk (yk ). En déduire que K(V) ⊂ Vect(x) puis que v(x) = 0 pour tout v ∈ V.

IV. Démonstration du théorème de Gerstenhaber.

Dans cette ultime partie, nous démontrons le théorème de Gerstenhaber par récurrence sur l’entier n.
Le cas n = 1 est immédiat et nous le considérerons comme acquis. On se donne donc un entier naturel
n ≥ 2 et on suppose que pour tout espace vectoriel réel E ′ de dimension n − 1 et tout sous-espace
(n−1)(n−2) (n−1)(n−2)
vectoriel nilpotent V ′ de L(E ′ ) on a dim V ′ ≤ 2 rt si en outre dim V ′ = 2 alors il
existe une base de E′ dans laquelle tout élément de V ′ est représenté par une matrice triangulaire
supérieure stricte.
On fixe un espace vectoriel réel E de dimension n , ainsi qu’un sous-espace vectoriel nilpotent V de
L(E) . On munit E d’un produit scalaire (−|−) , ce qui en fait un espace euclidien.
On considère, dans un premier temps, un vecteur arbitraire x de E \ {0}. On pose

H := Vect(x)⊥ , Vx := {v(x) | v ∈ V} et W := {v ∈ V : v(x) = 0}.

On note π la projection orthogonale de E sur H. Pour u ∈ W, on note u l’endomorphisme de H

défini par
∀z ∈ H, u(z) = π(u(z)).

On considère enfin les ensembles

V := {u | u ∈ W} et Z := {u ∈ W : u = 0}.

13 . Montrer que Vx, W, V et Z sont des sous-espaces vectoriels respectifs de E, V, L(H) et V.

14 . Montrer que que

dim(V) = dim(Vx) + dim(Z) + dim V.

15 . Montrer qu’il existe un sous-espace vectoriel L de E tel que

Z = {a ⊗ x | a ∈ L} et dim L = dim Z.

et montrer qu’alors x ∈ L⊥ .

16 . En considérant u et a ⊗ x pour u ∈ V et a ∈ L, déduire du lemme A que Vx ⊂ L⊥ , et que plus

généralement uk (x) ∈ L⊥ pour tout k ∈ N et tout u ∈ V.

17 . / Vx pour tout λ ∈ R∗ , et déduire alors des deux questions précédentes que

Justifier que λ.x ∈

dim Vx + dim L ≤ n − 1.

4
18 . Soit u ∈ W. Montrer que (u)k (z) = π(uk (z)) pour tout k ∈ N et tout z ∈ H. En déduire que V est
un sous-espace vectoriel nilpotent de L(H).

19 . Démontrer que
(n − 1)(n − 2)
dim V ≤ .
2
(n−1)(n−2)
Dans toute la suite du problème, on suppose que dim V = 2

20 . Démontrer que

(n − 1)(n − 2)
dim V = , dim(Vect(x) ⊕ Vx) + dim(L) = n.
2
et
L⊥ = Vect(x) ⊕ Vx.

En déduire que Vect(x) ⊕ Vx contient v k (x) pour tout v ∈ V et tout k ∈ N.

21 . En appliquant, l’hypothèse de récurrence , montrer que le nilindice générique de V est supérieur ou

égal à n − 1, et que si en outre Vx = {0} alors il existe une base de E dans laquelle tout élément de
V est représenté par une matrice triangulaire supérieure stricte.
Compte-tenu du résultat de la question 21, il ne nous reste plus qu’à établir que l’on peut choisir le
vecteur x de telle sorte que Vx = {0}.
On choisit x dans V • \ {0} (l’ensemble V • a été défini dans la partie III). On note p le nilindice
gńérique de V , et l’on fixe u ∈ V tel que x ∈ Imup−1 . On rappelle que p ≥ n − 1 d’après la question
21.

22 . Soit v ∈ V tel que v(x) ̸= 0. Montrer que Imv p−1 ⊂ Vect(x) ⊕ Vx. On pourra utiliser les résultats
des questions 5 et 20.

23 . On suppose qu’il existe v0 ∈ V tel que v0 (x) ̸= 0. Soit v ∈ V. En considérant v + tv0 pour t réel,
montrer que Imv p−1 ⊂ Vect(x) ⊕ Vx.

24 . Conclure.

FIN DU PROBLÈME