Módulo 5: Ortogonalidad y mı́nimos
cuadrados.
Marı́a Barbero Liñán
Universidad Carlos III de Madrid - Departamento de Matemáticas
Álgebra Lineal.
Actualizado: Mayo 2016
Sean u, v ∈ Rn . El producto escalar de u y v se define
por
v1
v2
T
u · v = u v = u1 , u2 , . . . , un . = u1 v1 + u2 v2 + · · · + un vn .
.
.
vn
Propiedades: Para u, v , w ∈ Rn y λ ∈ R,
• u · v = v · u.
• (u + v ) · w = u · w + v · w .
• (λu) · v = λ(u · v ) = u · (λv ).
• u · u ≥ 0, u · u = 0 si y sólo si u = 0n .
2 /1
La norma o longitud de v ∈ Rn es un escalar no negativo
dado por
√ q
kv k = v · v = v12 + · · · + vn2 .
Un vector v es unitario si kv k = 1.
Si v no es unitario, lo podemos normalizar y obtener un vector
v
unitario haciendo .
kv k
Propiedades:
• u · v = kukkv k cos θ.
• kλv k = |λ|kv k.
La distancia entre dos vectores u y v es...
la longitud del vector ku − v k = dist(u, v ).
3 /1
Dos vectores son ortogonales o perpendiculares, u ⊥ v ,
si y sólo si
u · v = 0.
Un conjunto de vectores {v1 , . . . , vp } en Rn es
ORTOGONAL
si cada par de vectores distintos del conjunto es ortogonal, es decir,
vi · vj = 0 para todo i 6= j.
El subespacio ortogonal a un subespacio H de Rn :
H ⊥ = {w ∈ Rn | w · v = 0 para todo v ∈ H}.
• H ⊥ es un subespacio vectorial de Rn .
• w es ortogonal a H si y sólo si w es ortogonal a todo vector
de un conjunto generador de H.
4 /1
Un conjunto de vectores {v1 , . . . , vp } en Rn es
ORTONORMAL
si el conjunto de vectores es ortogonal y todos los vectores son
unitarios, es decir,
vi · vj = 0 para todo i 6= j, vi · vi = 1 para todo i = 1, . . . , p.
• Base ortogonal si es una base cuyos vectores forman un
conjunto ortogonal de vectores.
• Base ortonormal si es una base cuyos vectores forman un
conjunto ortonormal de vectores.
Si una MATRIZ CUADRADA A ∈ Mn×n es
ORTOGONAL,
las filas de A forman un base ortonormal de Rn . AA⊥ = A⊥ A = I.
5 /1
La proyección ortogonal de v sobre un subespacio
vectorial W generado por vectores linealmente
independientes a1 , . . . , ap ,
proyW v = A(AT A)−1 AT v , donde A = (a1 . . . ap ).
Si {a1 , . . . , ap } es una base ortogonal de W , entonces
v · a1 v · ap
proyW v = a1 + · · · + ap .
a1 · a1 ap · ap
La proyección ortogonal no depende de la base de W
utilizada.
6 /1
Teorema de descomposición ortogonal.
Sea W un subespacio de Rn . Cualquier vector v de Rn se puede
escribir de forma única como la suma de dos vectores
v = pW + e
tal que pW = proyW v ∈ W y e ∈ W ⊥ .
Teorema de mejor aproximación.
El vector proyW v determina el punto más próximo a v en W en el
sentido que
kv − pW k < kv − vbk
para cualquier vb ∈ W diferente de pW .
7 /1
kv − pW k = dist(v , W )k
es la distancia de un punto a un subespacio.
Si v ∈ W , entonces dist(v , W ) = 0.
Calcule la distancia de v = (−1, −5, 10)T al subespacio W
generado por u1 = (5, −2, 1)T y u2 = (1, 2, −1)T .
1 Observe que el producto escalar u1 · u2 = 5 − 4 − 1 = 0.
2 Luego
−1
v · u1 v · u2 15 −21
pW = u1 + u2 = u1 + u2 = −8.
u1 · u1 u2 · u2 30 6
4
0
√ √
dist(v , W ) = kv − pW k = 3 = 02 + 32 + 62 = 3 5.
3
8 /1
Método de Gram-Schmidt.
Sea {a1 , . . . , ak } una base del subespacio vectorial H de Rn .
PASO 1: q1 = a1 .
a2 · q1
PASO 2: q2 = a2 − proyW a2 = a2 − q1 ,
q1 · q1
donde W = Gen{q1 }.
a3 · q1 a3 · q2
PASO 3: q3 = a3 − proyW a3 = a3 − q1 − q2 ,
q1 · q1 q2 · q2
donde W = Gen{q1 , q2 }.
..
.
ak · q1 ak · qk
PASO k: qk = ak − proyW ak = ak − q1 − · · · − qk ,
q1 · q1 qk · qk
donde W = Gen{q1 , . . . , qk }.
Entonces:
•{q1 , . . . , qk } es una
base ortogonal de H.
q1 qk
•{w1 , . . . , wk } = ,..., es una base ortonormal de H.
kq1 k kqk k
9 /1
Problema de mı́nimos cuadrados.
1 Se parte de un sistema Ax = b, en general, incompatible, con
A ∈ Mm×n , b ∈ Rm .
2 La solución de mı́nimos cuadrados de Ax = b es un
x ∈ Rn tal que
b
x k ≤ kb − Axk para todo x ∈ Rn .
kb − Ab
3 Las soluciones de mı́nimos cuadrados son las soluciones de
las ecuaciones normales AT Ax = AT b.
4 Error de aproximación de mı́nimos cuadrados: dist(b, Ab
x ).
Existe una única solución de mı́nimos cuadrados para
cada b ∈ Rm
• si y sólo si AT A es invertible,
• si y sólo si las columnas de A son linealmente independientes.
10 /1