Pontificia Universidad Cat´olica olica de Chile Facultad de Matem´aticas aticas ´ Algebra Lineal MAT1203-2 Segundo Semestre 2014
Apuntes para el Examen Ortogonalidad Se dice que dos vectores u y v pertenecientes a
n
R
son ortogonales cuando:
u · v = 0
Recordemos que el producto punto es equivalente a resolver: uT v = u · v
Por lo tanto la condici´on on de ortogonalidad se puede expresar como: uT v = 0
Si ahora queremos indicar que un vector v es ortogonal a los vectores {u1 , u2 , u3 , . . . , un }, deber deb er´´ıamos ıam os decir deci r que: uT v = 0 1 uT v = 0 2
.. . uT v = 0 n
Pero esto es equivalente a decir que: AT v = [ u1
u2
u3 . . .
T
0 un ] v =
Por lo que si queremos buscar un vector que sea ortogonal a otros n vectores, debemos resolver la ecuaci´on: on: 0 AT x = Donde A tiene por columna a cada uno de los n vectores. Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
1
Notemos que si un vector v es ortogonal a los vectores u1 , u2 , u3 , . . . , un , tambi´en ser´a ortogonal a cualquier combinaci´on lineal de dichos vectores, es decir: (α1u1 + α2u2 + . . . + αnun ) · v = 0 Esto nos permite deducir que si { u1 , u2 , u3 , . . . , un} es una base de un espacio vectorial U , entonces v es ortogonal a cualquier vector de U . Se define entonces al espacio vectorial U ⊥ = {x ∈ Rn : x ⊥ u, u ∈ U }. Es decir, el espacio de vectores que son ortogonales a cualquier vector de U . De esta forma, podemos definir una base de U ⊥ como una base para Ker(AT ), donde A es una matriz que tiene por columna a los vectores que forman una base de U .
Proyecciones Ortogonales A continuaci´on se presenta el esquema de la situaci´on. Tenemos un espacio vectorial U con una al es la proyecci´ on ortogonal de un base { u1, u2 , u3 , . . . , un } conocida. Queremos saber cu´ vector b sobre el espacio U . Lo primero que debemos hacer es entender la idea intuitiva detr´as de esto. La proyecci´on b sobre un espacio U es equivalente a la sombra que deja el vector ortogonal que deja un vector sobre dicho espacio.
Figura 1: Proyecci´on Ortogonal sobre U b sobre U . ¿C´ on ortogonal de El vector v p es la proyecci´ omo hallarlo?
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
2
Para empezar, notemos que v p pertenece a U . Por lo tanto debe ser una combinaci´on lineal de los vectores de la base de U . Es decir, sea x ∈ Rn un vector de coeficientes x = (a1 , a2 , a3 , . . . , an ), tenemos: v p = Ax
De la imagen podemos notar que: b = v p + w = Ax + w
Como w ∈ U ⊥ , entonces w ∈ K er (AT ). Al multiplicar la expresi´on anterior por AT a la izquierda obtenemos: AT b = A T A x + AT w = A T A x
Se puede demostrar (Ejercicio) que AT A es invertible, luego: x = (AT A)−1 AT b
Como v p = Ax, al multiplicar por A obtenemos: v p = Ax = A (AT A)−1 AT b
De esta forma, podemos generalizar esto para cualquier vector b. Obteniendo que la proyecci´on ortogonal de un vector bcualquiera sobre U es: v p = P b on. Donde P = A (AT A)−1 AT es la matriz de proyecci´ Algunas propiedades de esta matriz son:
P 2 = P , y en general P n = P para n = 1, 2, . . . P = P T
(Nota: Si se le pide demostrar que una matriz es matriz de proyecci´on, basta demostrar las dos propiedades anteriores) Puede ser conveniente en algunos casos no hallar expl´ıcitamente P para poder encontrar P b. Esto −1 T se debe a que el c´alculo de (A A) podr´ıa no ser sencillo. Es por esta raz´on que a veces resulta mejor resolver el sistema: AT A x = A T b
Pues este es simplemente un sistema de ecuaciones. De esta forma, encontramos x y as´ı P b = Ax. Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
3
Reflexiones Consideremos ahora la intenci´on de reflejar un vector sobre un espacio vectorial U . Intuitivamente esto consiste en tratar a U como si fuera un espejo. El vector reflejado R b b, como se observa en la imagen: estar´a del otro lado del espejo y tendr´a la misma magnitud que
Figura 2: Reflexi´on sobre U Gracias a la sencilla definici´on de suma de vectores (uniendo flechitas) podemos notar que: w = b − v p
Adem´as:
R b = v p + ( −w ) = 2v p − b = 2P b − b = (2P − I ) b
on como Con lo que definimos la matriz de reflexi´
R = 2P − I
Con sus propiedades: R2 = I RT = R
Al igual que antes, si se pide demostrar que una matriz es matriz de reflexi´on, basta probar las dos propiedades anteriores.
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
4
M´ınimos Cuadrados El problema de m´ınimos cuadrados consiste en lo siguiente: Se tiene un espacio vectorial U , del cual adem´as se conoce una base b que no pertenece a U . Se tiene un vector b? La pregunta es, ¿Cu´al es el vector de U que est´a m´as cerca de Matem´ aticamente, esto se expresa de la siguiente manera: un vector que pertenezca a U ser´a una combinaci´ on lineal de los vectores de la base de U . Llamemos A a la matriz que tiene por columnas a cada uno de los vectores de la base. As´ı, un vector arbitrario perteneciente a U es A x, donde x es un vector de coeficientes. La pregunta se expresa de la siguiente manera:
¿Qu´e vector minimiza a Ax − b? b, es decir, la proyecci´on ortogonal de b sobre U . La respuesta es Ax = P
Tambi´en se suele preguntar de la forma, ¿qu´e vector resuelve el problema de m´ınimos cuadrados dado por: A x = b?
En este caso, se est´a preguntando espec´ıficamente por el vector x. Nota: Al error de m´ınimos cuadrados se le define como, una vez conocido el vector x que resuelve el problema:
Ax − b
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
5
Bases Ortogonales, ortonormales y Proceso de Gram-Schmidt En general ya hemos hablado sobre bases de espacios vectoriales. Sabemos que una condici´on necesaria y suficiente para tener una base es que se trate de un conjunto de vectores L.I y que estos generen al espacio vectorial. La idea es extender esta idea a una base un poco m´as espec´ıfica, que pueda entregarnos mayores facilidades: las bases ortogonales . Una base ortogonal es una base de vectores que son ortogonales entre s´ı. Esto trae beneficios a la hora de querer escribir un vector del espacio vectorial coordenado seg´un los vectores de la base. Sea B = {u1 , u2 , . . . , un} una base de n vectores de un espacio vectorial U . Luego, sabemos que, dado v ∈ U : v = α 1 u1 + α2 u2 + . . . + αn un
α α = .. . . 1
Sabemos adem´as que el vector [ v ]B
2
αn
Una forma de hallar estos coeficientes, distinta a la de resolver el sistema de ecuaciones ya conocido, es: αk =
uk · v
||uk ||2 Por otra parte, puede existir la intenci´on de obtener una base ortogonal de vectores a partir del conocimiento de otra base de vectores para un mismo subespacio. Supongamos que D = {v1 , v2 , . . . , vn } es una base de vectores L.I de un espacio vectorial V . Queremos hallar una base ortogonal para V , dada por E = {w 1 , w 2 , . . . , w n } A continuaci´on, se describe el Proceso de Gram-Schmidt, que nos permite hallar esta base. Primero se escoge un vector cualquiera de la base conocida, digamos que es v1 y definamos w 1 = v1 Como buscamos generar una base ortogonal, necesitamos hallar un vector w 2 que sea 1 . ortogonal a w Usando el concepto de proyecci´on ortogonal, un posible vector w 2 es w 2 = v2 −
v2 · w 1
2 1 || ||w 1 ) (Es decir, el segundo vector de la base D menos su proyecci´on ortogonal sobre w
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
w 1 .
6
Para obtener un tercer vector w 3 , es necesario que sea ortogonal tanto a w 1 como a w 2 . Esto se logra tomando un tercer vector de la base D y rest´andole su proyecci´on ortogonal sobre w 1 y sobre w 2 , es decir: w 3 = v3 −
v3 · w 1
v3 · w 2
1 || ||w
2 2 || ||w
w1 − 2
w 2
Se define de manera recursiva: w k = vk −
vk · w 1 2
1 || ||w
w 1 −
vk · w 2 2
2 || ||w
w 2 − . . . −
vk · w k−1 2 k−1 || ||w
w k−1
Finalmente, se obtiene as´ı una base ortogonal E = {w 1 , w 2 , . . . , w n } Por u ´ ltimo, si quisi´eramos ser un poco m´as rebuscados, podr´ıamos pedir una base ortonormal. Esta consiste en una base de vectores unitarios (de norma 1) y ortogonales. Una vez conseguida la base ortogonal, para obtener una base ortonormal basta con dividir cada vector por su norma.
Descomposici´ o n QR La descomposici´on QR consiste en otra manera m´ as de poder factorizar matrices. Tal como el nombre lo dice, la idea es poder escribir: A = QR
Las condiciones que existen son: A debe ser una matriz de n × m de columnas L.I . Q es una matriz ortogonal, es decir, tiene columnas ortonormales (notar la incoherencia del nombre) y satisface QQT = I (Es decir, Q−1 = Q T ). Im(Q) = I m(A) R es una matriz triangular superior.
La forma de obtener esta factorizaci´on se basa en el Proceso de Gram-Schmidt (Existen otros m´etodos).
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
7
¿C´ omo calcular Q y R?
Sean a1 , a2 , . . . ,am los vectores columna de la matriz A, hallemos otros m vectores ortonormales a partir de estos, usando Gram-Schmidt.
• u1 = a1 , v1 =
u1 ||u1||
• u2 = a2 − (a2 · v1)v1 ,
v2 =
u2 ||u2 ||
• u3 = a3 − (a3 · v1)v1 − (a3 · v2 )v2 ,
v3 =
u3 ||u3 ||
As´ı, hasta finalmente llegar al u ´ltimo vector:
• um = am − (am · v1)v1 − (am · v2 )v2 − . . . − (am · vm−1 )vm−1,
vm =
um ||um ||
Finalmente, como uk = ||uk || vk , de lo anterior podemos obtener:
• a1 = ||u1 || v1 • a2 = (a2 · v1 )v1 + ||u2 || v2 • a3 = (a3 · v1 )v1 + (a3 · v2 )v2 + ||u3|| v3 As´ı hasta el u ´ltimo vector, es decir:
• am = (am · v1 )v1 + (am · v2 )v2 + (am · v3)v3 + . . . + (am · vm−1 )vm−1 + ||um || vm De esta manera hemos obtenido la factorizaci´on QR, ¿c´omo? :
||u || 0 ] 0 ... 1
A = QR = [v1
v2 . . .
vm
0
(a2 · v1 ) (a3 · v1) ||u2 || (a3 · v2) 0 ||u3 || .. .. . . 0 0
. . . (am · v1 ) . . . (am · v2 ) . . . (am · v3 )
...
.. .
...
||um ||
Otra opci´on para calcular R (y no tener que fijarse en cada uno de los productos punto que hay que calcular) es por el hecho de que como QT = Q −1 , luego, si A = QR ⇒ R = Q T A (a´ un es necesario usar Gram-Schmidt).
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
8
Diagonalizaci´ on Ortogonal Sea A una matriz cuadrada y sim´etrica (Es decir, A = A T ), entonces: Todos sus valores propios son reales. Es diagonalizable. De hecho, no es simplemente diagonalizable, sino que ortogonalmente diagonalizable . En el caso de A sim´etrica, vectores propios provenientes de valores propios distintos son ortogonales, ¿de qu´e sirve esto? Sabemos que si A es diagonalizable, entonces: A = P DP −1
Donde P es la matriz que tiene por columnas a los vectores propios, asociados a cada valor propio ubicado en la diagonal de D. Ahora sabemos que dichos vectores son ortogonales, por lo tanto si todos los valores propios son distintos, al normalizar cada vector propio, la matriz P es ortogonal, y P −1 = P T . ¿Qu´e sucede si de un valor propio salen dos o m´as vectores propios L.I ? Estos vectores no necesariamente ser´an ortogonales entre s´ı, pero a partir de ellos se pueden obtener nuevos vectores ortogonales entre s´ı a trav´es del proceso de Gram-Schmidt. Por lo tanto, se sigue cumpliendo la posibilidad de obtener P tal que P −1 = P T
Profesora: Carla Barrios (
[email protected]) Ayudante: Ignacio Labarca (
[email protected])
9
