Producto Interno y Ortogonalidad Departamento de Matem´aticas, aticas, CSI/ITESM 15 de octubre de 2009
´ Indice 8.1. Contex Contexto to . . . . . . . . . . . . . . . . 8.2. Introd Introducc ucci´ i´ on on . . . . . . . . . . . . . . . 8.3. Un producto producto punto punto mediante mediante la traza traza . 8.4. Propiedades Propiedades del producto producto punto punto . . . . 8.5. La norma norma de de una una matriz matriz . . . . . . . . 8.6. Propiedades Propiedades de la norma norma de matrices matrices . 8.7. Desigualdad Desigualdad de de Schw Schwarz arz . . . . . . . . 8.8. La distancia distancia entre entre dos matrices matrices . . . . ´ 8.9. Angulo entre matrices . . . . . . . . . 8.10. Ortogonalidad Ortogonalidad y espacios espacios generados generados . . 8.11. Bases Ortonormales . . . . . . . . . . 8.12. Existencia Existencia de Bases Ortonormales Ortonormales . . 8.13. Proyecci´ Proyecci´ on on ortogonal ortogonal . . . . . . . . . . 8.14. Descomposici´ on on QR . . . . . . . . . . 8.15. Aplicaci´ on on de la factorizaci´ on on QR . . 8.16. Uso de la TI . . . . . . . . . . . . . . . 8.1. 8.1.
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . .
1 2 2 3 4 5 6 7 9 10 12 15 16 17 18 19
Cont Context exto o
Hemos mencionado que el problema fundamental del ´algebra algebra lineal consiste en resolver un sistema de ecuaciones lineales A x = b y hemos introducido varios conceptos sofisticados para manejar la soluci´on o n y el an´ aalisis. lisis. El concepto de espacio generado resuelve el problema de la consistencia: El sistema es consistente si y s´olo olo si b C (A) (el espacio generado por las columnas de A). Otro concepto importante es el concepto de dependencia lineal y resuelve el problema de la unicidad: Si el sistema A x = b es consistente, entonces olo olo si las columnas de A forman un conjunto linealmente dependiente. A x = b tiene infinitas soluciones si y s´ Los conceptos de dimensi´on on y de base de un espacio lineal permiten tener una idea qu´e tan grande es el conjunto soluci´ on on y c´omo omo generarlo: Si el sistema A x = b es consistente, entonces la f´ ormula de todas las soluciones es ormula on on particular y ns(A) es el espacio nulo de A, es decir, el conjunto de y = yo + ns(A) donde yo es una soluci´ todos los vectores que satisfacen A x = 0. De hech echo, si B = x1 , . . . , xr es una base para ns(A), entonces la soluci´ on on general ser´a
∈
{
}
r
y = yo +
i=1
ci xi
·
y esta ser´a la soluci´ on general en su forma m´ on as reducida posible. El caso consistente ha dado origen a toda la as teor´ teor´ıa que hemos visto hasta ahora. Pasemos Pasemos ahora a la inconsisten inconsistencia. cia. De alguna forma debemos cambiar la pregunta por que el tema se agot´o: o: Si es A x = b inconsistente, entonces no hay soluci´ on. Una forma adecuada on. de reformular la pregunta es: No habiendo soluci´ on on para A x = b, ¿qu´e es lo m´as as cerca posible que podemos
estar de una soluci´ on ? Esto involucra dos conceptos hermanados: distancia y perpendicularidad. Y ellos tienen como origen el concepto de producto interno o producto punto que es el tema de esta lectura. 8.2. 8.2.
Intr Introdu oducc cci´ i´ on on
En esta lectura veremos c´omo omo definir un producto punto o producto interno en espacios de matrices (pues tenga presente que nos interesa el paso de A x = b a A X = B tambi´ en en en el caso inconsistente). Veremos que aunque en un principio la definici´on on del producto punto apartir del uso de la traza sea extra˜ na , esta definici´ on on es de lo m´as as c´ omoda porque hace coincidir el producto punto entre matrices con el producto punto omoda tradicional entre vectores cuando las matrices son vectorizadas. La estructura cl´ asica asica de la construcci´on on del Algebra Lineal referente al producto interno es: definir un producto interno, probar ciertas propiedades b´asicas, estas propiedades incluyen en concepto de ortogonalidad, y entonces mostrar que se puede definir una norma a partir del producto interno; para llegar la definir una distancia con la norma se requiere probar la desigualdad de Cauchy-Schwarz. Cuando se dice que se tiene una distancia en el espacio lineal se tiene el concepto de cercan cercan´´ıa y el de error. Las propiedade propiedadess importantes importantes que deben ser deducid deducidas as para que la distancia distancia definida definida sea cabalmente una distancia son de identidad (que si la distancia entre dos objetos es cero, entonces los objetos son id´ enticos), enticos), de simetr´ simetr´ıa (que la distancia distancia medida medida de un objeto a otro es independien independiente te de cual de los dos sea el punto de referencia), la desigualdad del tri´angulo angulo (la distancia entre dos puntos no excede la suma de las distancias de uno de ellos a otro intermedio mas la distancia de ese intermedio al segundo punto; y habr´a igualdad igualdad cuando cuando el punto punto intermedi intermedioo est´ est´e en el segmento segmento que une ambos puntos). puntos). El proceso proceso de Gram-Schmidt ser´ a la clave para encontrar una base para C (A) desde donde ser´a f´ acil acil encontrar el punto on posible a A x = b. m´ as as pr´oximo oximo de C (A) a b y all´ al l´ı a la mejor soluci´ 8.3. 8.3.
Un product producto o punto punto medi median ante te la traza traza
El producto punto entre matrices se define apartir del producto, la transpuesta y la traza entre y de matrices. En apariencia complejo, veremos su conveniencia y facilidad posteriormente. Definici´ on on Sean A y B dos matrices m
× n, el producto interno o producto punto de A y B se define como: A • B = tr A · B ′
Ejemplifique Ejemplifiquemos mos el c´ alculo de productos punto. alculo Ejemplo 1 Determine A
• B si
− − − − − − − − • 3 2 5
−1 0 −2
, B=
3 2 1 0
5 2
1 0 4
A=
Soluci´ on on
A′ B =
·
Por tanto: A
B = tr
23 9
−
16 7
1 0 4
1 1 3
(1)
1 1 3
=
23 9
= 23 + 7 = 30
−16
7
Toca el turno al alumno para ejercitar el concepto del producto punto entre matrices de la misma dimensi´ on. on. Ejercicio 1
2
Para Para las matrices matrices siguientes siguientes calcule A B. 1. A = 2. A =
3. A = 8.4. 8.4.
•
2 3
−1
2 1
−1
2 3 0
−1
1
yB=
3 0 1 1 1
−
yB=
yB=
Propie Propiedad dades es del del producto producto punto punto
1 0 1 0
1 0 0 2
−1
1
− 1 0 1 0 2 1
El camino tradicional para ver que un producto es efectivamente candidato a producto interno con escalares reales es probar que es: conmutativo, no negativo, y bilineal : Teorema 8.1
Sean A, B y C matrices m n y sea k un escalar. Entonces el producto punto cumple las siguientes propiedades:
×
1. 2. 3. 4. 5.
Simet Si metrr´ıa: ıa : A B = B A No negativida negatividad: d: A A 0, habiendo igualdad ssi A = 0 Proporcionalid Proporcionalidad: ad: (k (k A) B = k (A B) Distributiv Distributividad: idad: (A + B) C = A C + B C 0 A=0
•
•
• ≥ •
•
• •
•
Demostraci´ on on on: on: 1. Directo de la definici´
A
on on anterior: 2. De la secci´
A
Adem´ as, as, A A = 0 ssi
•
•A
•
tr (A′ B) tr (A′ B)′ tr (B′ A)
= = = =
•B
B
•A
= tr (A′ A) m n 2 = i=1 j=1 j =1 aij
m
≥0
n
2 aij =0
i=1 j=1 j =1
ssi aij = 0 para todo i = 1 . . . m y j = 1 . . . n ssi A = 0 No sea impaciente; Ud. participar´ a en el fest´ın de mini-demostraciones: Ejercicio 2
Demuestre el punto 3 del teorema anterior: Sean A y B matrices m n y sea k un escalar. Pruebe que:
×
(kA) B = k (A B)
•
•
Sugerencia
Utilice la definici´ on on de , la propiedad de la transpuesta, y la propiedad 1 del Lema 5.1.
•
3
Ejercicio 3
Demuestre el punto 4 del teorema anterior: Sean A, B y C matrices m n. Pruebe que:
×
(A + B) C = A C + B C
•
•
•
Sugerencia
Utilice la definici´ on on de , la propiedad de la transpuesta, y la propiedad 2 del Lema 5.1.
•
Ejercicio 4
Demuestre el punto 5 del teorema anterior: Sea A una matriz m n. Pruebe que:
×
8.5. 8.5.
0
•A=0
La nor norma ma de de una una matr matriz iz
Habiendo probado las propiedades mencionadas del producto interno nuevo, el siguiente paso es definir la norma de una matriz. En el espacio de matrices hay un buen n´ umero de normas igualmente utiles, umero u ´ tiles, la norma que se define aqu´ aqu´ı es la norma-2 de una matriz . Definici´ on on La norma de la matriz A m
× n se define como: √ A2 = A = A • A (2) Observe que por el punto 2 del teorema anterior, A • A ≥ 0; as´ı que la ra´ız ız cuadrada cuad rada entregar entre gar´ a´ un real mayor
o igual a cero. Hagamos un ejemplo del c´alculo alculo de la norma de una matriz. Ejemplo 2
Determine la norma de la matriz:
A′ A =
−
3 2 1 0
As´ı A
√
− − − −
A=
3 2 5
−1 0 −2
5 2
3 2 5
1 0 2
Soluci´ on on Como
−
38 • A = tr −13
13 5
y por tanto, A = 43 Es su turno de practicar el c´alculo alculo de la norma de una matriz. Ejercicio 5
4
=
38 13
= 43
−13
5
Para las matrices siguientes calcule su norma. 1. A = 2. A =
3. A =
2 3
−1
2 1
−1
2 3 0
−1
1
3 0 1
1 1
Un hecho importante sobre la norma de una matriz es:
m
A = tr
n
1/2
(aij )2
A′ A =
i=1 j=1 j =1
Lo cual hace coincidir la definici´ on tradicional de norma de un vector con la norma de una matriz cuando la on matriz es utilizada para formar un solo vector formado por los renglones de ella. ella. Algo m´ as importante de as observar observ ar es que el produc producto to pun punto to en entre tre matrices usando la traza equivale equivale al produ producto cto pun punto to tradicional aplicado a los vectores obtenidos de vectorizar las matrices. Ejemplo 3
Verifiquemos la afirmaci´ on en el caso de matrices 2 on Comprobaci´ on on
× 2.
Digamos que A=
As´ı ′
A B=
De donde A
8.6. 8.6.
a11 a12 a21 a22
B=
b11 b12 b21 b22
a11 b11 + a21 b21 a12 b12 + a22 b22
( a11 b11 + a21 b21 ) + (a ( a12 b12 + a22 b22 ) • B = (a
Propie Propiedad dades es de la la norma norma de matric matrices es
Habiendo definido la norma de una matriz, lo siguiente es probar algunas propiedades b´ asicas. asicas. Teorema 8.2
Sea A una matriz m
escalar: × n y k un escalar: 1. A ≥ 0, adem´ as as A = 0 ssi A = 0 2. − A = A 3. kA = |k| A
Demostraci´ on on 1. De lo visto
A =
√
A
m
•A=
1/2
n
(aij )2
i=1 j=1 j =1
5
≥0
Y tambi´ en en de lo mismo se deduce que A = 0 ssi A = 0. propiedadess conocidas: conocidas: 3. Por las propiedade
kA =
(k A) (kA) =
•
√ 2
k A A= k
•
||
√
A
El segundo punto es el m´ as sencillo y le queda hacerlo como ejercicio as
• A = |k| A
Ejercicio 6
Demuestre el punto 2. del teorema anterior: Sea A una matriz m n. Pruebe que:
×
− A = A Sugerencia
Use directamente la definici´ on de la magnitud de una matriz. on 8.7. 8.7.
Desigu Desiguald aldad ad de Schw Schwarz arz
En la l´ınea tradicional, el siguiente paso para ver que nuestro producto punto llega a definir una distancia a trav´es es de la definici´ definici on o´n de la norma, es probar que nuestro producto punto y la norma cumplen una relaci´on on de desigualdad llamada la desigualdad de Cauchy-Schwarz. Teorema 8.3
Sean A y B matrices m
× n:
(3)
|A • B| ≤ A · B
Adem´ as, la igualdad se tiene si y s´olo as, olo si una matriz es un m´ ultiplo ultiplo de la otra. Demostraci´ on on
En esta demostraci´ on es importante que vigile el rol de los factores en los productos: en los productos los on factores en ambos lados deben ser matrices, mientras en los productos el factor a la izquierda es escalar y el factor a la derecha debe ser una matriz. Para cualesquiera escalares x y y:
•
·
0
(x A = x2 A
· −2 y · B) • (x · A − y · B) 2 − 2xy (A • B) + y2B 0, tomamos x = B y y = (A • B)/B en la f´ormula Suponiendo B = ormula anterior y simplificando muchos t´erminos ermi nos obtenem obt enemos: os: 0 ≤ B2 A2 − (A • B)2 ≤
De donde se obtiene: (A B)2
•
≤ B2 A2
√
√
y tomando ra´ ra´ız cuadrada se obtiene o btiene la l a conclusi´ on. Recuerde que un real k , k2 = k y no que k2 = k pues on. para los valores de k negativos el signo se pierde al elevar al cuadrado. Ademas, a´s, si A = k B se tiene que A = k B y as´ı 2 A B = k (B B) = k B = A B
| |
| • | || •
| |
||
·
probado que la desigualdad se cumple con igualdad en este caso. caso. Por otro lado, si A B = A
| • | B definimos
2 · A − (A • B) · B
C= B
6
se puede confirmar que desarrollando el producto t´ermino ermino a t´ermino: ermino: C C = 0, implicando que C = 0, de 2 donde B A = (A B) B si suponemos B = 0 deducimos que
·
• ·
•
A=
(A B)
• ·B B2
lo que dice que A es un m´ ultiplo ultiplo de B. Si B = 0, claramente B = 0 A y la desigualdad se cumple con igualdad
·
Ejercicio 7
Sean A y B dos matrices m
× n. Demuestre que A + B ≤ A + B
y que existe igualdad s´olo olo cuando una matriz es un m´ ultiplo escalar de la otra. ultiplo Sugerencia
Utilice
A + B2 = (A + B) • (A + B)
Desarrolle tal producto punto. Despu´ es es utilice la desigualdad de Schwarz. Schwarz. Finalmente, tome t ome ra´ ra´ız cuadrada. Para la igualdad se requiere igualdad en la desigualdad de Schwarz.
Lema 8.4
Sean X y Y dos matrices m y s´olo olo si
× n. Entonces X y Y son ortogonales, es decir, cumplen X • Y = 0 si X ± Y2 = X2 + Y2
Demostraci´ on on
Tenemos en general que
X ± Y2
= (X Y) (X Y) = X X 2X Y + Y Y = X 2 + Y 2 2X Y
± • ± • ± • ±
•
•
Por tanto, si X Y = 0 entonces de la f´ormula ormula anterior se deduce la igualdad que queremos probar. Por otro lado, si la f´ ormula se cumple nuestra f´ ormula ormula ormula indica que X Y = 0. Es decir X y Y son perpendiculares.
•
8.8. 8.8.
•
La dista distanci ncia a entre entre dos matric matrices es
Habiendo probado la desigualdad de Cauchy-Schwarz se puede construir una funci´ on on distancia entre el espacio espacio de matrices: matrices: Definici´ on on Sean A y B dos matrices m
× n la distancia entre matrices A y B se define como: δ ( δ (A, B) = A − B
Realicemos un ejemplo simple para ilustrar este concepto. Determine la distancia entre las matrices: A=
3 2 5
−1 0 −2
B=
7
1 0 1
−1 1 −2
(4)
Soluci´ on on Si C=A
′
CC=
2 0
As´ı
−B=
2 4 1 0
− √
δ (A, B) = C =
2 2 4
C•C =
2 2 4
− − 0 1 0
0 1 0
−
24 2
=
tr (C′ C) =
−2
1
√ 24 + 1 = 5
⋄
Ejerci Ejercicio cio 8
Determine la distancia entre las matrices: 1. A =
2. A =
3 2 5
−1
3 5
−1
1 2
2
− − 1 1 1 1 1 2
yB=
yB=
1 1 1 2
Ejerci Ejercicio cio 9
Sean A y B dos matrices de iguales dimensiones. Pruebe que: δ (A, B) = δ (B, A) Sugerencia
Use directamente la definici´on on de distancia dist ancia entre matrice m atrices. s. Utilice Util ice tambi´en en la propiedad prop iedad conmutativa co nmutativa del producto punto. Ejercicio 10
Sean A y B dos matrices de iguales dimensiones. Pruebe que: δ (A, B)
≥0
Adem´ as, pruebe que hay igualdad si y s´olo as, olo si A = B. Sugerencia
Utilice la definici´ on de distancia entre matrices y la propiedad 1 del teorema 6.2 sobre la norma on para matrices. Ejercicio 11
Sean A, B y C dos matrices de iguales dimensiones. Pruebe que: δ (A, B)
≤ δ (A, C) + δ (C, B) Vea que existe igualdad si s´ olo olo si existe un escalar t (0 ≤ t ≤ 1) tal que C = t A + (1 − t) B. Esta
angulo. desigualdad se llama Desigualdad del tri´ Sugerencia
Utilice como v´ alido el resultado del ejercicio 7 con A como A alido 8
− C y con B como C − B.
Ejercicio 12
Sean A, B y C dos matrices de iguales dimensiones. Pruebe que: δ (A, B) = δ (A + C, B + C) Esta propiedad indica que la distancia entre matrices se preserva ante traslaciones . Sugerencia
Directamen Directamente te de la definici´ definici´ on on de distancia. 8.9.
´ Angulo entre matrices
Definici´ on on Sean A y B dos matrices m
× n, no nulas, el angulo ´ entre matrices A y B, θ, se define como A•B cos(θ cos(θ) = A B Aqu´ı θ debe cumplir: 0 ≤ θ ≤ π.
Ejemplo 4
Determine el ´angulo angulo en radianes entre las matrices A= Soluci´ on on Como
3 2 5
−1 0 −2
, B=
−
4 0 1
√ • B = −2, A = 43 43,, B = 22 −2 cos(θ cos(θ) = √ √ ≈ −0.065 065,, por tanto θ ≈ 1.63 radianes radianes A
Entonces
−1 0 −2 √
⋄
43 22
Ejercicio 13
Determine el ´angulo angulo en radianes entre las matrices A=
3 5
−1 −2
, B=
−
4 1
−1 −2
Ejercicio 14
Determine el valor de x para que el ´angulo angulo en radianes entre las matrices A=
sea de 0. 0.1.
3 5
−1 −2
, B=
−
4 1
−1 x
Sugerencia
Entr´ele ele sin miedo: mie do: A B es una expresi´on on lineal en x. B es una ra´ ra´ız cuadrada de un polinomio cuadr´ atico atico en x. Cuando se iguala:
•
| |
cos cos (0. (0.1rad) =
•B B A A
despu´ despu´ es es de elevar elevar al cuadrado cuadrado y multiplica multiplicarr por denominado denominadores res queda queda una ecuaci´ ecuaci´ on on cuadr´atica atica en x. 9
(5)
8.10. 8.10.
Ortogo Ortogonal nalida idad d y espacio espacioss generad generados os
Sean A y B dos matrices matrices m
× n, se dice que son matrices ortogonales si se cumple A•B =0 Un conjunto {A1 , A2 , . . . , Ak } de matrices m × n se dice conjunto ortogonal si Ai • A j = 0 para i = j
conjunto anterior se dice ortonormal si es ortogonal y adem´ as a s cad cadaa matr matriz iz tie tiene ne nor norma ma 1. 1. tiene un conjunto ortogonal de elementos no cero
El Una Una vez vez que que se se
{A1, A2, . . . , Ak } es posible convertirlo a uno ortonormal
{B1, B2, . . . , Bk } definiendo: Bi =
1
Ai Ai
Ejercicio 15
Determine el valor de x para que las matrices sean ortogonales. A=
3 5
−1 −2
, B=
−
4 1
−1 x
Sugerencia Al hacer A B = 0 queda una ecuaci´ on on lineal en x.
•
Ejercicio 16
Determi Dete rmine ne qu´ q u´e condi co ndici´ ci´on on deben cumplir las variables para que A A=
3 5
−1 −2
, B=
x y z w
⊥ B.
Sugerencia Al hacer A B = 0 queda una ecuaci´ on on lineal.
•
Ejercicio 17
Sea A una matriz m
× n muestre que el conjunto A = {X matriz m × n|A ⊥ X} ⊥
es un espacio lineal. Sugerencia Al hacer A X = 0 queda una ecuaci´on on homog´enea. enea. Las soluciones soluci ones a los sistemas sistema s homog´ h omog´eneos eneos son
•
espacios lineales. Ejercicio 18
10
Determine el espacio perpendicular a la matriz:
−
1 1 1 1
Esc´ Esc´ıbalo como un espacio generado. generad o. Sugerencia
Tome una matriz X 2 2 con inc´ ognitas. ognitas. Al hacer A X = 0 queda una ecuaci´ on on homog´ hom og´enea enea con 4 inc´ ognitas; una de ellas es fija y las otras son libres. Despeje la fija y p´ongala ognitas; ongala en funci´ on on de las libres. En lugar de la notaci´on on de vector en la soluci´ on general, prefiera la notaci´ on on on de matriz.
×
•
Ejercicio 19
Sea V un subespacio lineal de matrices m V ⊥
× n muestre que el conjunto = {X matriz m × n|Y ⊥ X para toda Y ∈ V }
es un espacio lineal. Sugerencia
Muestre que no es vac´ vac´ıo: la matriz de ceros est´ a (compru´ (co mpru´ebelo) ebe lo),, es cerrado ba jo la suma (compru´ ebelo), ebelo), y es cerrado bajo el producto por escalares (compru´ebelo). ebelo). Ejercicio 20
Determine el espacio perpendicular al espacio generado por las matrices matrices: A=
−
1 1 1 1
yB=
1 1
−1
1
Sugerencia
Tome una matriz X 2
ognitas: × 2 de inc´ognitas:
• X = 0 da una ecuaci´on on en las inc´ognitas ognitas on on en las inc´ ognitas ognitas B • X = 0 da otra ecuaci´ A
Resuelva Resuelva el sistema homog´eneo, eneo, encuentre la soluci´ on on general g eneral y d´ele ele la notaci´ notacion o´n matricial. matricial. Veamos ahora un par de resultados te´ oricos: oricos: Lema 8.5
Un conjunto ortogonal de matrices no nulas es linealmente independiente Demostraci´ on on Si A1 A2 , . . . , Ak es un conjunto ortogonal de matrices no nulas y si se cumple:
{
}
c1 A1 + c2 A2 +
· · · + ck Ak = 0
11
veamos veamos que los coeficientes coeficientes ci son cero. cero. Haciendo Haciendo el producto producto punto punto con Ai : Ai
• (c1A1 + c2A2 + · · · + ck Ak ) = Ai • 0 = 0
Desarrollando el primer miembro:
• (c1A1) + Ai • (c2A2) + · · · + Ai • (ck Ak ) = 0 Como el conjunto es ortogonal entonces Ai • A j = 0 para i = expres esi´ i´ on on anterior anterior queda: j, la expr ci Ai • Ai = 0 Puesto que ninguna matriz Ai es nula, Ai • Ai = on anterior anterior queda: 0 ,la expresi´on Ai
ci = 0 As´ As´ı, cada coeficiente en la combinaci´ on lineal es cero. Por tanto, el conjunto de matrices es linealmente on independiente. Cuando se quiere verificar que una matriz es ortogonal al generado por un conjunto de matrices enfrent´amos amos un dilema singular, c´ omo hacer pues en el generado resulta en conjuntos infinitos? El siguiente resultado es omo importante porque reduce una verificaci´on on infinita a una verificaci´ on sobre el conjunto generador: on Lema 8.6
Sea A una matriz y V = Gen B1 , . . . , Bk en Mm×n . Entonces: A es ortogonal a todo V si y s´olo olo si A es ortogonal a cada Bi .
{
}
Demostraci´ on on
Suficiencia: Si suponemos que A es ortogonal ortogonal a todo V y sabiendo que cada Bi est´ a en V , V , entonces es inmediato que A es ortogonal a Bi . Necesidad: Supongamos ahora que A es ortogonal a todo Bi , es decir que A Bi = 0 para todo i = 1, . . . , k. k. Veamos que entonces es ortogonal a cualquier X de V . V . Tomemos un X cualquiera de V . V . Como V est´ a generado por los Bi , entonces deben existir escalares ci tales que
•
k
X=
i=1
Por tanto, A
Por tanto, A es ortogonal a X 8.11. 8.11.
•X
ck Bi
·
= A ( ki=1 ck Bi ) k = i=1 A (ck Bi ) k = i=1 ci (A Bi ) k = i=1 ci (0) = 0
• ·· • •
Bases Bases Ortono Ortonorma rmales les
El siguiente resultado es importante porque permite cambiar la base de un espacio generado por otra que es ortogonal. La misma demostraci´ on del resultado da el algoritmo de conversi´ on on. on. Teorema 8.7
12
Sea un conjunto A1 , A2 , . . . , Ak de matrices matrices m escalares unicos u ´ nicos xi,j (i < j ) tales que:
{
}
× n linealmente independiente. Entonces existen
B1 B2
= A1 = A2 .. .
B j
= A j .. .
− x1,j B1 − x2,j B2 − · · · − x j
Bk
= Ak
− x1,k B1 − x2,k B2 − · · · − xk
− x1,2B1 −1,j
B j −1
−1,k
Bk−1
forman un conjunto ortogonal. Demostraci´ on on
Definimos los valores escalares xi,j como precisamente se requieren: A j Bi
xi, j j =
• Bi • Bi
(6)
Ud. puede recordarlos si ubica que el primer sub´ sub´ındice de xij se relaciona a las matrices por construir Bi y que ´esta esta es la que aparece en el denominador con el producto punto con si misma. Un punto importante a observar observar es que los A1 , A2 , . . . , A j son combinaciones lineales de los B1 , B2 , . . . , B j y por consiguiente el conjunto de los Bs es linealmente linealmente independiente independiente.. Para Para verificar verificar que el conjunto conjunto es ahora ortogonal ortogonal hay que realizar realizar los productos punto. Conviene hacer una demostraci´on on inductiva de la afirmaci´ on. on. La afirmaci´ on o n es que el conjunto B1 , . . . , Bk es ortogonal. Esta afirmaci´ on on ser´ ser´ıa la afirmaci´ afirmacion o´n ultima u ´ ltima de la cadena de afirmaciones k. La base base induct inductiv iva a para i = 2 se comprueba revisando que B1 y B2 son B1 , . . . , Bi para i = 2, 3, . . . , k. ortogonales:
{
{
{
}
}
{
}
}
• B1 = A2 • B1 − x1,2B1 • B1 = A2 • B1 − AB12 •• BB11 B1 • B1 = 0 Supongamos que {B1 , . . . , Bi } es un conjunto ortogonal para 1 ≤ i ≤ k − 1, veamos {B1 , . . . , Bi , Bi+1 } tambi´ ta mbi´en en lo ser´ sera. a´. Para ello basta probar que Bi+1 es ortogonal a cada B j para 1 ≤ j ≤ i. Como B2
i
− − • −
Bi+1 = Ai+1
xl,i+1 l,i+1 Bl
l=1
As´ı Bi+1
• B j
=
Ai+1
= Ai+1 B j = Ai+1 B j = 0
•
i B j l,i+1 Bl l=1 xl,i+1 i l,i+1 Bl B j l=1 xl,i+1
• − x j,i+1 j,i+1 B j • B j
•
Note que en el pen´ultimo ultimo paso fue requerida la base inductiva: que B j era ortogonal a sus compa˜ neros neros en B1 , . . . , Bi .
{
Ejemplo 5
}
Aplique el algoritmo anterior al conjunto formado por las matrices: A1 =
1 0 1 0
, A2 =
1 1
−1
Soluci´ on on B1 = A1
13
0
, A3 =
1 1 0 2
Figura 1: Captura de la matrices vectorizadas del ejemplo 7.
Figura 2: Obtenci´on on del conjunto ortogonal del ejemplo 7.
• B1 = 2 y A2 • B1 = 2; x12 = 1 0 −1 B2 = A2 − x12 B1 = 0 0
B1
Realizando los c´ alculos: alculos: B2
Obtenemos:
• B2 = 1;1 ; A3 • B1 = 1; A3 • B2 = −1; x13 = 1/2, x23 =
Y as´ı: B3 = A3
−1;
1/2 0 1/2 2
− x13B1 − x23B2 = −
⋄
Estos c´ alculos pueden hacerse en la calculadora TI, para ello habr´ alculos a que vectorizar las matrices y seguir las f´ ormulas: ormulas: en la figura 1 aparecen capturadas las matrices como vectores y en la figura 2 aparecen los c´ alculos alculos del algoritmo de ortogonalizaci´ on. on. Ejemplo 6
Aplique el algoritmo anterior al conjunto formado por las matrices: A1 =
1 0 1 0
, A2 =
2 0 2 0
, A3 =
1 1 0 2
Soluci´ on on B1 = A1 B1
• B1 = 2 y A2 • B1 = 4; x12 = 2 0 0 B2 = A2 − x12 B1 = 0 0
este c´ alculo alculo indica que vector A2 es combinaci´ on on lineal de los vectores anteriores a ´el el y por tanto el conjunto original original es linealmen linealmente te dependient dependiente. e. Debemos descartar descartar al vector vector A2 . Real Realiz izan ando do solo solo el c´ alculo: alculo: A3
• B1 = 1; 14
Obtenemos: x13 = 1/2 Y as´ı: B3 = A3
− x13B1 = −
1/2 1 1/2 2
⋄
Ejercicio 21
Aplique el algoritmo anterior al conjunto formado por las matrices: A1 =
1 0 1 1
, A2 =
1 1
−1
1
, A3 =
1 0 0 2
Sugerencia
Siga el algoritmo; no hay de otra. 8.12. 8.12.
Existe Existenci ncia a de Bases Bases Orto Ortonor normal males es
EL resultado anterior se conoce como el procedimiento de Gram-Schmidt, y permite cambiar una base por una base ortogonal, de donde es f´acil acil obtener una base ortonormal: Teorema 8.8
Todo espacio lineal de matrices m
× n posee una base ortonormal
Demostraci´ on on
Sabemos que todo espacio lineal posee una base, digamos A1 , . . . , Ak . Sean lo B j los las matrices matrices obtenidas de aplicar el proceso de Gram-Sch Gram-Schmidt. midt. Los espacios espacios generado por los Bi y los Ai son iguales pues las matrices As´ı, los conjuntos generados son los mismos. Si Bi son combinaciones lineales de los vectores Ai y viceversa. As´ las matrices Ai forman un conjunto linealmente independiente, indep endiente, tambi´en en lo debe ser el conjunto formado por los Bi . Por tanto, el conjunto formado por los Bi es tambi´en en una base para el espacio generado por p or los Ai .⋄
{
}
Una vent ventaja aja inmedi inmediata ata de una base base ortonor ortonormal mal A1 , A2 , . . . , Ak de las matrices anteriores entonces:
{
A = (A
} es que si
on on lineal A es una combinaci´
• A1) A1 + (A • A2) A2 + · · · + (A • Ak ) Ak
es decir, que no hace falta utilizar el proceso de eliminaci´on on gaussiana para determinar los coeficientes, si no simplemente hacer un producto punto con el vector correspondiente. Una consecuencia tambi´ en en inmediata es que se puede completar un conjunto linealmente independiente y ortogonal a una base ortogonal en un espacio lineal de matrices m n. Una forma conviente es aplicar el proceso de Gram-Schmidt al conjunto li y ortogonal aumentado con una base cualquiera del espacio y detener el proceso hasta obtener el primer vector cero. El resultado esperado debe ser el conjunto inicial adicionado con algunos vectores. Este conjunto debe ser una base para el espacio completo.
×
15
8.13 8.13..
Pro Proyecci´ ecci´ on on ortogonal
Teorema 8.9
Sea Y una matriz m n y un espacio lineal V de dimensi´ dimensi´ on on r, ambos dentro de un espacio lineal U . Enton Entonces ces,, existe existe una unica V . V . Si r = 0 entonces Z = 0, y u ´nica matriz Z en V tal que (Y Z) si r > 0 entonces Z se puede expresar como
×
− ⊥
Z = c1 X1 + . . . + cr Xr ,
donde X1 , . . . , Xr forman una base ortonormal de V y ci = Y Xi para i = 1, . . . , r. r. Ademas, a´s, on ortogonal de Y sobre V y cumple olo olo si Y V . V . La ma matr triz iz Z se llamar´ a la proyecci´ Z = Y si y s´ que d(Z, Y ) Y ) d(X, Y ) Y ) para toda X en V y hay igualdad si y s´olo olo si Z = X.
{
}
≤
•
∈
Demostraci´ on on
Si r = 0 entonces dim(V dim(V )) = 0, y por tanto V = 0 . Para ara Z = 0 se tiene (Y Z) V . V . Y es clara claramen mente te la unica u ´ nica matriz en V que cumple esto. Si r > 0 sea X1 , . . . , Xr una base ortonormal de V y definamos ci = Y Xi para i = 1, . . . , r y Z = ri=1 ci Xi . Claramente, Z V y
{}
{
− ⊥
}
∈
•
r
− • ci Xi
Y
X j = Y
i=1
para cada j = 1, . . . , r. r.
• X j − c j = c j − c j = 0
Y por por tan tanto, to, (Y
V . Si ahor ahoraa X ∈ V y cumple (Y − X) ⊥ V entonces: − Z) ⊥ V . (X − Z) • (X − Z) = (X − Y + Y − Z) • (X − Z) = −(Y − X) • (X − Z) + (Y − Z) • (X − Z) = −0 + 0 = 0 Esto debido a que X − Z ∈ V y a que (Y − Z) • (X − Z) = 0. Por tanto, X − Z = 0 y de all´ı que X = Z, haciendo que Z sea el unico u ´nico vector en V que cumple (Y − Z) ⊥ V . V . Si X es una matriz en V entonces X − Z tambi´ ta mbi´en en est´ es t´a en V y por tanto X − Z ser´ a ortogonal a Y − Z. De donde deducimos que X − Y2 = X − Z2 + Y − Z2 de donde d(X, Y)2 = d(X, Z)2 + d(Y , Z)2 y por tanto d(Z, Y)
olo si X = Z ≤ d(X, Y). Y esto se cumple con igualdad si y s´olo
Ejercicio 22
Considere el espacio lineal formado por todas las soluciones al sistema homog´eneo: eneo: x+y+z w = 0 x y z+w = 0
− −
−
y el vector d =< 1, 3, 2, 1 >. Usando el orden primero x, luego y , luego z , y por ultimo u ´ ltimo w, encuentre una base para el espacio soluci´ on. on. Ortogonolice la base encontrada. 16
Usando la base encontrada, determine la proyecci´on on ortogonal de d sobre tal espacio. Usando el orden primero y, luego w, luego y , y por ultimo ´ultimo z, encuentre una base para el espacio soluci´ on. on. Ortogonolice la base nueva base. Usando la nueva base encontrada, determine la proyecci´ on on ortogonal de d sobre tal espacio. 8.14. 8.14.
Descom Descomposi posici´ ci´ on o n QR
Sea A una matriz m k de rango columna completo. Esto es, una matriz de rango k. Simbolicemos por k) a1 , a2 , . . . , ak las columnas de la matriz A. Por el resultado anterior, deben existir escalares xi,j (i < j = 1, . . . , k) tales que los vectores columna b1 , . . . , bk definidos en forma recursiva por las igualdades:
×
b1 b2
= a1 = a2 .. .
b j
= a j .. .
− x1,j b1 − · · · − x j
bk
= ak
− x1,k b1 − · · · − xk
a1 a2
= b1 = b2 + x1,2 b1 .. .
a j
= b j + x1,j b1 + .. .
− x1,2b1
o por las igualdades:
· · · + x j
−1,j
b j −1
−1,k
−1,j
bk−1
b j −1
= bk + x1,k b1 + + xk−1,k bk−1 forman un conjunto ortogonal. Sea B la matriz cuya columna i es el vector bi , y sea X la matriz k k triangular superior unitaria cuyo elemento (i, (i, j ) es xi,j entonces:
···
ak
×
A = BX
Si se define la matriz D como D = diag b1 −1 , b2 −1 , . . . , bk E = diag( b1 , b2 , . . . , bk )
y como
−1
,
Q = BD y R = EX
entonces A = QR
es una factorizaci´ factorizaci´ on o n de A en dos matrices: la primera formada por columnas que son ortonormales y la segunda segunda triangular triangular superior con elementos elementos de la diagonal diagonal principal positivos. positivos. Esta factorizaci´ factorizaci´ on se conoce como la factorizaci´ e s muy import imp ortante ante en m´etodos eto dos num´ericos eri cos.. on QR de A y es Ejemplo 7
Determine la factorizaci´ on on QR de la matriz:
A=
1 1 1 1 1 1
17
1 2 3 4 5 6
Soluci´ on on: Trabajemos con las columnas de A:
(1, 1, 1, 1, 1, 1)′ , a2 = (1 ( 1, 2, 3, 4, 5, 6)′ a1 = (1, As´ı: b1 = a1
Calculando: b1
Obtenemos:
• b1 = 6 y a2 • b1 = 21 21 x12 = 7/2
Y as´ı: b2 = a2
Calculando:
′
− x12 b1 = (−5/2, −3/2, −1/2, 1/2, 3/2, 5/2) 35//2 • b2 = 35
b2
Por tanto
Q = [b1 , b2 ]D =
Q=
R=
√
1 1 1 1 1 1
−5/2 −3/2 −1/2 1/2 3/2 5/2
√
6/6 0
√ 6 −1/14√ 70 √ 6 −3/70√ 70 √ 6 −1/70√ 70 √ 6 1/70√ 70 √ 6 3/70√ 70 √ 6 1/14√ 70
1/6 1/6 1/6 1/6 1/6 1/6
6 0 0 1/2 70
√
1 x12 0 1
0 70 70//35
√
√ =
6 0
√ 6 √ 70 1 7 2
2
Ejercicio 23
Determine la factorizaci´ on on QR de la matriz:
A=
8.15 8.15..
− −
2 1 2 1
1 1 2 0
Apli Aplica caci ci´ ´ on de la factorizaci´ on on o n QR
Teorema 8.10
Si A es una matriz cuyas columnas son linealmente independientes y si A = QR es una factorizaci´ on on u ´ nica soluci´ on on x cuadrad os se expresa te´ oricamente oricamente QR de A. Entonces la unica ˜ de Ax = b por m´ınimos cuadrados como x ˜ = R−1 QT b 18
Ejemplo 8
Aplique Aplique la factorizaci´ factorizaci´ on on QR para resolver por m´ınimos cuadrados el sistema: 1 1 1 1 1 1
1 2 3 4 5 6
x=
1 2 0 1 1 2
on de la matriz de coeficientes es: on Soluci´ on on Por el ejemplo anterior, la factorizaci´
A = QR =
√ 6 −1/14√ 70 √ 6 −3/70√ 70 √ 6 −1/70√ 70 √ 6 1/70√ 70 √ 6 3/70√ 70 √ 6 1/14√ 70
1/6 1/6 1/6 1/6 1/6 1/6
√
6 0
√ 6 √ 70 1 7 2
2
Siguiendo la estrategia descrita en el ultimo u ´ltimo resultado la soluci´ on on por el m´etodo etodo de m´ınimos cuadrados se calcula por la f´ ormula: ormula: x˜ = R−1 QT b As´ı T
Q =
y
−
√ √ 6 √ 6 1/6√ 6 1 / 6 1 / 6 √ −3/70√ 70 −1/70√ 70 1/70√ 70 √ √ 1/6 6 −1/10√ 70 1 R = 0 1/35 70
1/6 6 1/14 70
−
y por tanto,
√ √
√ √
1/6 6 1/6 6 3/70 70 1/14 70
x ˜ = R−1 QT b =
13 15
3 35
⋄
Ejercicio 24
Aplique Aplique la factorizaci´ factorizaci´ on on QR para resolver por m´ınimos cuadrados el sistema:
− −
2 1 2 1
8.16 .16.
1 1 2 0
x=
1 2 0 1
Uso Us o d de e la la TI TI
La calculadora TI 89 o TI Voyage 200 puede ser utilizada para la factorizaci´ on on QR. La ventaja de la rutina num´erica erica programada progra mada es que qu e da informaci´ informa ci´ on sobre el espacio nulo de la matriz de entrada cuando las columnas on de la matriz no son linealmente independientes. Considere por ejemplo la matriz A=
1 2 2 4
Las figuras 3 y 4 muestran la entrada y los c´ alculos en la TI. El punto a se˜nalar alculos nalar es que habiendo ceros en la diagonal de R se indica que los vectores correspondientes en Q est´an an en el espacio nulo de la matriz A. De 19
Figura 3: Descomposici´ Descomposici´ on on QR de A en la TI.
Figura 4: La naturaleza de los ceros en la diagonal de R. hecho, todos los vectores correspondientes a ceros en la diagonal de R forman la base para el espacio nulo de A. Ejemplo 9
Determine la distancia de P (0 P (0,, 2, 1) al espacio que generan los vectores:
− −
− − − √ √ − √ √ √ √ √ · v1 =
2 3 1
1 5 3
, v2 =
Con los vectores v1 y v2 formamos la matriz A a la cual le aplicamos la factorizaci´ on on QR: 1/7 14 17/1365 1365 3/14 14 4/273 1365 1/14 14 2/105 1365
A = [v1 v2 ] = Q R =
√ √
14 5/7 14 0 1/7 1365
−
De donde los coeficientes de Fourier del vector que representa a P , P ,v =< 0, 2, 1 > son: [v]Q
= QT v =
·
√ 14 − 12√
− 1952
1365
−
y de all´ı que la proyecci´on on de v a C (A) es: vC (A) = Q [v]Q =
·
Por tanto, la distancia de v a C (A) es
−
d(v, C (A)) = v
vC (A)
161 195 133 78 7 30
−− 161 195 23 78 23 30
−− − =
20
=
23 390
√
390
Ejemplo 10
Determine la distancia de P (0 P (0,, 2, 1, 1) al conjunto de soluciones del sistema
− −
Bx =
−
2 1 3 1 1 0 2 1
x1 x2 x3 x4
0 0
=
Este problema se resuelve como el anterior, pero debemos encontrar un conjunto generador. Para ello tenemos dos alternativas: o seguir el proceso descrito en lecturas anteriores o calcular lo que se conoce como el espacio nulo de B: Aquellos vectores x tal que Bx = 0. En general, los conjuntos generadores obtenidos por ambos procesos son diferentes pero ambos son base para el mismo conjunto. Si utilizamos la alternativa del espacio nulo tenemos: 2 1 7 3 nullspace(B) = Gen , 1 0 0 1
−
−
As´ As´ı el problema se ha transformado t ransformado en encontrar la distancia de P (= P (= v) a C (A) donde A es la matriz cuyas columnas son el generador de nullspace( B). Se deja como ejercicio comprobar que:
A=
−
2 7 1 0
1 3 0 1
−
= QR =
√ √ 390 4 / 585 √ −1/1170 √ 390 √ −23 √ 390 · 23//1170 √
1/9 6 7/18 6 1/18 6 0
−
vC (A) =
3/65 390
−− −
43 43/ /65 19 19//65 47 47//65 14 14//65
√
√
d(v, C (A)) = 1/ 1/65 4615 Ejemplo 11
Determine la matriz X que mejor resuelve el sistema A X = B para A=
La factorizaci´ on on QR de A es
A = QR =
1 0 1
−
2 1 1
, B=
1 0 1
√ 1/6 √ 6 √ 6 − 1 / 3 √ −1/6 √ 6
1/2 2 0 1/2 2
Por tanto, la matriz X que minimiza el error cuadr´atico atico es: X=R
Y el error cometido con X es 25/ 25/3
−1
′
QB=
21
1 0 0 1
2 1 1
−1
8 2
−
√
√ √
2 3/2 2 0 1/2 6
10 19 19//3
−
√ √
3 6 23 23//18 6 0 1/18 390
