Métodos de mínimos cuadrados. El procedimiento mas objetivo para ajustar una recta a un conjunto de datos presentados en un diagrama de dispersión se conoce como "el método de los mínimos cuadrados". La recta resultante presenta dos características importantes: 1. Es nula la suma de las desviaciones verticales de los puntos a partir de la recta de ajuste ∑ (Y - Y) = 0. ｰ
2. Es mínima la suma de los cuadrados de dichas desviaciones. Ninguna otra recta daría una suma menor de las desviaciones elevadas al cuadrado ∑ (Y - Y)² → 0 ｰ
(mínima). El procedimiento consiste entonces en minimizar los residuos al cuadrado Ci²
Re emplazando
nos queda
La obtención de los valores de a y b que minimizan esta función es un problema que se puede resolver recurriendo recurriendo a la derivación parcial de la función en términos de a y b: llamemos G a la función que se va a minimizar:
Tomemos las derivadas parciales de G respecto de a y b que son las incógnitas y las igualamos a cero; de esta forma se obtienen dos ecuaciones llamadas ecuaciones normales del modelo que pueden ser resueltas por cualquier método ya sea igualación o matrices para obtener los valores los valores de a y b.
Derivamos parcialmente la ecuación respecto de a
Primera ecuación normal
Derivamos parcialmente la ecuación respecto de b
Segunda ecuación normal
Los valores de a y b se obtienen resolviendo el sistema de ecuaciones resultante. Veamos el siguiente ejemplo: En un estudio económico se desea saber la relación entre el nivel de instrucción de las personas y el ingreso. EJEMPLO 1 Se toma una muestra aleatoria de 8 ciudades de una región geográfica de 13 departamentos y se determina por los datos del censo el porcentaje de graduados en educación superior y la mediana del ingreso de cada ciudad, los resultados son los siguientes: CIUDAD : 1 2 3 4 5 6 7 8 % de (X) Graduados : 7.2 6.7 17.0 12.5 6.3 23.9 6.0 10.2 Ingreso (Y) Mediana : 4.2 4.9 7.0 6.2 3.8 7.6 4.4 5.4 (0000)
Tenemos las ecuaciones normales
∑y = na + b∑x ∑xy = a∑x + b∑x²
Debemos encontrar los términos de las ecuaciones ∑y, ∑x, ∑xy, ∑ x² Por tanto procedemos de la siguiente forma:
Y
X
XY
X²
4.2
7.2
30.24
51.84
4.9
6.7
32.83
44.89
7.0
17.0 119.00 289.00
6.2
12.5
77.50
156.25
3.8
6.3
23.94
39.69
7.6
23.9 181.64 571.21
4.4
6.0
26.40
36.00
5.4
10.2
55.08
104.04
43.5
89.8 546.63 1292.92
Sustituyendo en las ecuaciones los resultados obtenidos tenemos: 43.50 = 8a + 89.8b 546.63 = 89.8a + 1292.92b multiplicamos la primera ecuación por (-89.8) y la segunda por (8) así: 43.50 = 8a + 89.8b (-89.8) 546.63 = 89.8a + 1292.92b (8) -3906.30 = -718.4a - 8064.04b 4373.04 = 718.4a + 10343.36b 466.74 = -0- 2279.32b
Este valor de b lo reemplazamos en cualquiera de las ecuaciones para obtener a así:
Reemplazando b = 0.20477 en la primera ecuación normal
43.5 = 8a + 89.8 (0.20477) 43.5 = 8a + 18.3880 43.5 - 18.3880 = 8a 25.1120 = 8a
Tenemos entonces que los coeficientes de regresión son : a = 3.139 y b = 0.20477. Por tanto la ecuación de regresión nos queda:
Significa entonces que por cada incremento en una unidad en X el valor de 0.20477
se aumenta en
Esta ecuación permite estimar el valor de para cualquier valor de X, por ejemplo: Una ciudad que tiene un porcentaje de graduados a nivel superior del 28% la mediana de ingreso para la ciudad será:
Los valores a y b también se pueden obtener de la siguiente forma: partiendo de las ecuaciones normales tenemos:
Si dividimos todos los términos de la ecuación (1) entre n nos queda:
Tenemos entonces que el primer termino es
el segundo termino es la incógnita a y el
tercer termino es la incógnita b multiplicada por
entonces
por tanto nos queda:
Reemplazando a en la ecuación (2) tenemos
a = 5.4375 – 0.20477 (11.2250) = 5.4375 – 2.2985 = 3.139 Se debe tener presente la diferencia entre el valor de
obtenido con la ecuación de
regresión y el valor de Y observado. Mientras es una estimación y su bondad en la estimación depende de lo estrecha que sea la relación entre las dos variables que se estudian; Y es el valor efectivo, verdadero obtenido mediante la observación del investigador. En el ejemplo Y es el valor mediano del ingreso que obtuvo el investigador ｰ
ｰ
utilizando todos los ingresos observados en cada ciudad y es el valor estimado con base en el modelo lineal utilizado para obtener la ecuación de regresión Los valores estimados y observados pueden no ser iguales por ejemplo la primera ciudad tiene un ingreso mediano observado de Y = 4.2 al reemplazar en la ecuación el porcentaje ｰ
de graduados obtenemos un
estimado de
Gráficamente lo anterior se puede mostrar así:
Claramente se observa en la gráfica que hay una diferencia entre el valor efectivo de Y y el valor estimado; esta diferencia se conoce como error en la estimación, este error se puede medir. A continuación se verá el procedimiento. ｰ
Error estándar en la estimación El error estándar de la estimación designado por sYX mide la disparidad "promedio" entre los valores observados y los valores estimados de
. Se utiliza la siguiente formula.
Debemos entonces calcular los valores de para cada ciudad sustituyendo en la ecuación los valores de los porcentajes de graduados de cada ciudad estudiada.
Y
X
4.2
7.2
4.6
-0.4
0.16
4.9
6.7
4.5
0.4
0.16
7.0
17.0
6.6
0.4
0.16
6.2
12.5
5.7
0.5
0.25
3.8
6.3
4.4
-0.6
0.36
7.6
23.9
8.0
-0.4
0.16
4.4
6.0
4.4
0.0
0.00
5.4
10.2
5.2
0.2
0.04
1.29
Syx = 0.46 (decenas de miles $)
Como esta medida trata de resumir la disparidad entre lo observado y lo estimado, es decir, trata de medir la diferencia promedio entre lo observado y lo estimado ó esperado de acuerdo al modelo, puede considerarse como un indicador del grado de precisión con que la ecuación de regresión, describe la relación entre las dos variables. Este error estándar se ve afectado por las unidades y sus cambios ya que es una medida absoluta, pues, se da en la misma unidad de medida que esta dada la variable Y; en el ejemplo 0.46 serán decenas de miles de pesos, razón por la cual no es posible comparar con las relaciones de variables dadas en distinta unidad de medida. Es necesario entonces calcular una medida que interprete o mida mejor el grado de relación entre las variables.
Mínimos cuadrados De Wikipedia, la enciclopedia libre Saltar a: navegación, búsqueda
El resultado del ajuste de un conjunto de datos a una función cuadrática.
Mínimos cuadrados es una técnica de análisis numérico encuadrada dentro de la optimización matemática, en la que, dados un conjunto de pares ordenados: (variable independiente, variable dependiente) y una familia de funciones, se i ntenta encontrar la función, dentro de dicha familia, que mejor se aproxime a los datos (un "mejor ajuste"), de acuerdo con el criterio de mínimo error cuadrático.
En su forma más simple, intenta minimizar la suma de cuadrados de las diferencias ordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes en los datos. Específicamente, se llama mínimos cuadrados promedio (LMS) cuando el número de datos medidos es 1 y se usa el método de descenso por gradiente para minimizar el residuo cuadrado. Se puede demostrar que LMS minimiza el residuo cuadrado esperado, con el mínimo de operaciones (por iteración), pero requiere un gran número de iteraciones para converger. Desde un punto de vista estadístico, un requisito implícito para que funcione el método de mínimos cuadrados es que los errores de cada medida estén distribuidos de forma aleatoria. El teorema de Gauss-Márkov prueba que los estimadores mínimos cuadráticos carecen de sesgo y que el muestreo de datos no ti ene que ajustarse, por ejemplo, a una distribución normal. También es importante que los datos recogidos estén bien escogidos, para que permitan visibilidad en las variables que han de ser resueltas (para dar más peso a un dato en particular, véase mínimos cuadrados ponderados).
La técnica de mínimos cuadrados se usa comúnmente en el ajuste de curvas. Muchos otros problemas de optimización pueden expresarse también en forma de mínimos cuadrados, minimizando la energía o maximizando la entropía.
Contenido [ocultar]
1 Historia 2 Formulación formal del problema bidimensional 3 Solución del problema de los mínimos c uadrados 3.1 Deducción analítica de la aproximación discreta mínimo cuadrática lineal o 3.1.1 Corolario 3.2 Deducción geométrica de la aproximación discreta mínimo cuadrática o lineal 4 Mínimos cuadrados y análisis de regresión 5 Referencias 6 Véase también 7 Enlaces externos
[editar] Historia
Karl Friedrich Gauss.
El día de Año Nuevo de 1801, el astrónomo italiano Giuseppe Piazzi descubrió el planeta enano Ceres. Fue capaz de seguir su órbita durante 40 días. Durante el curso de ese año, muchos científicos intentaron estimar su trayectoria con base en las observaciones de Piazzi (resolver las ecuaciones no lineales de Kepler de movimiento es muy difícil). La mayoría de evaluaciones fueron inútiles; el único cálculo suficientemente preciso para permitir a Zach, astrónomo alemán, reencontrar a Ceres al final del año fue el de un Carl Friedrich Gauss de 24 años (los fundamentos de su enfoque ya los había planteado en 1795, cuando aún tenía 18 años). Pero su método de mínimos cuadrados no se publicó hasta 1809, apareciendo en el segundo volumen de su trabajo sobre mecánica celeste, Theoria Motus Corporum Coelestium in sctionibus conicis solem ambientium. El francés Adrien-Marie Legendre desarrolló el mismo método de forma independiente en 1805.
En 1829 Gauss fue capaz de establecer la razón del éxito maravilloso de este procedimiento: simplemente, el método de mínimos cuadrados es óptimo en muchos aspectos. El argumento concreto se conoce como teorema de Gauss-Márkov.
[editar] Formulación formal del problema bidimensional Sea un conjunto de n puntos en el plano real, y sea una base de m funciones linealmente independientes en un espacio de funciones. Queremos encontrar una función que
que sea combinación lineal de las funciones base, de modo
, esto es:
Por tanto, se trata de hallar los m coeficientes c j que hagan que la función aproximante dé la mejor aproximación para los puntos dados . El criterio de "mejor aproximación" puede variar, pero en general se basa en aquél que minimice una "acumulación" del error individual (en cada punto) sobre el conjunto total. En primer lugar, el error (con signo positivo o negativo) de la función ( xk ,yk ), se define como:
en un solo punto,
pero tratamos de medir y minimizar el error en todo el conjunto de la aproximación, . En matemáticas, existen diversas formas de definir el error, sobre todo cuando éste se refiere a un conjunto de puntos (y no sólo a uno), a una función, etc. Dicho error (el error "total" sobre el conjunto de puntos considerado) suele definirse con alguna de las siguientes fórmulas: Error Máximo:
Error Medio:
Error Cuadrático Medio:
La aproximación mínimo cuadrada se basa en la minimización del error cuadrático medio o, equivalentemente, en la minimización del radicando de dicho error, el llamado error cuadrático, definido como:
Para alcanzar este objetivo, se utiliza el hecho que la función f debe poder describirse como una combinación lineal de una base de funciones. Los coeficientes de la combinación lineal serán los parámetros que queremos determinar. Por ejemplo, supongamos que f es una función cuadrática, lo que quiere decir que es una combinación lineal, , de las funciones f 1( x) = x2, f 2( x) = x y f 3( x) = 1 (m=3 en este caso), y que queremos determinar los valores de los coeficient es: , de modo que minimicen la suma (S ) de los cuadrados de los residuos:
Esto explica el nombre de mínimos cuadrados. A las funciones que multiplican a los coeficientes buscados, que en este caso son: x2, x y 1, se les conoce con el nombre de funciones base de la aproximación, y pueden ser funciones cualesquiera. Para ese caso general se deduce a continuación la fórmula de la mejor aproximación discreta (e.d. para un conjunto finito de puntos), lineal y según el criterio del error cuadrático medio, que es la llamada aproximación de mínimos cuadrados. Es posible generar otro tipo de aproximaciones, si se toman los errores máximo o medio, por ejemplo, pero la dificultad que entraña operar con ellos, debido al valor absoluto de su expresión, hace que sean difíciles de tratar y apenas se usen.
[editar] Solución del problema de los mínimos cuadrados La aproximación mínimo cuadrática consiste en minimizar el error cuadrático mencionado más arriba, y tiene solución general cuando se trata de un problema de aproximación lineal (lineal en sus coeficientes c j) cualesquiera que sean las funciones base: f j( x) antes mencionadas. Por lineal se entiende que la aproximación buscada se expresa como una combinación lineal de dichas funciones base. Para halla r esta expresión se puede seguir un camino analítico, expuesto abajo, mediante el cálc ulo multivariable, consistente en optimizar los coeficientes c j; o bien, alternativamente, seguir un camino geométrico con el uso de el álgebra li neal, como se explica más abajo, en la llamada deducción geométrica. Para los Modelos estáticos uniecuacionales, el método de mínimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su género, es el que proporciona la mejor aproximación.
[editar] Deducción analítica de la aproximación discreta mínimo cuadrática lineal Sea un conjunto de n pares con abscisas distintas, y sea un conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones), que se llamarán funciones base. Se desea encontrar una función f ( x) de dicho espacio, o sea, combinación lineal de las funciones base, tomando por ello la forma:
. Ello equivale por tanto a hallar los m coeficientes:
. En concreto, se desea
que tal función f ( x) sea la mejor aproximación a los n pares empleando, como criterio de "mejor", el criterio del mínimo error cuadrático medio de la función f ( x) con respecto a los puntos
.
El error cuadrático medio será para tal caso:
Minimizar el error cuadrático medio es equivalente a minimizar el error cuadrático, definido como el radicando del error cuadrático medio, esto es:
Así, los c j que minimizan E cm también minimizan E c, y podrán ser calculados derivando e igualando a cero este último:
Siendo i=1,2, . . .,m Se obtiene un sistema de m ecuaciones con m incógnitas, que recibe el nombre de "Ecuaciones Normales de Gauss" . Operando con ellas:
, para i=1,2, . . .,m
, para i=1,2, . . .,m Si se desarrolla la suma, se visualiza la ecuación "i-ésima" del sistema de m ecuaciones normales:
, para cada i=1,2, . . .,m Lo cual, en forma matricial, se expresa como:
Siendo (a,b)d el producto escalar discreto, definido para dos funciones dadas h(x) y g(x) como:
, y para una función h(x) y vector cualquiera u, como:
La resolución de dicho sistema permite obtener, para cualquier base de funciones derivables localmente, la función f(x) que sea mejor aproximación mínimo cuadrática al conjunto de puntos antes mencionado. La solución es óptima – esto es, proporciona la mejor aproximación siguiendo el criterio de mínimo error cuadrático – , puesto que se obtiene al optimizar el problema. [editar] Corolario
Si se tratara de hallar el conjunto de coeficientes {c j} tal que f ( x) pase exactamente por todos los pares , esto es, tales que f ( x) interpole a entonces tendría que cumplirse que:
,
Que en forma matricial se expresa como:
Esto establece un sistema de n ecuaciones y m incógnitas, y como en general n>m, quedaría sobredeterminado: no tendría siempre una solución general. Por tanto, la aproximación tratará en realidad de hallar el vector c que mejor aproxime
.
Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss coincide con , siendo A la matriz de coeficientes exactas, y como el término independiente de las ecuaciones normales de Gauss coincide con el vector , se tiene que los valores {c j} que mejor aproximan f(x) pueden calcularse como la solución al sistema: que es, precisamente, el sistema de las ecuaciones normales de Gauss.
[editar] Deducción geométrica de la aproximación discreta mínimo cuadrática lineal
La mejor aproximación deberá tender a interpolar la función de la que proviene el conjunto de pares ( xk , yk ), esto es, deberá tender a pasar exactamente por todos los puntos. Eso supone que se debería cumplir que:
Sustituyendo f(x) por su expresión como combinación lineal de una base de m funciones:
Esto es, se tendría que verificar exactamente un sistema de n ecuaciones y m incógnitas, pero como en general n>m, dicho sistema estaría sobredeterminado y, por tatno, sin solución general. De ahí surge la necesidad de aproximarlo. Dicho sistema podría expresarse en forma matricial como:
Esto es:
La aproximación trata de hallar el vector c aproximante que mejor aproxime el sistema Ac = b. Con dicho vector c aproximante, es posible definir el vector residuo como:
De manera que el mínimo error cuadrático supone minimizar el residuo, definiendo su tamaño en base a la norma euclídea o usual del residuo, que equivale al error cuadrático:
siendo (r ,r )2 el producto interior o escalar del vector residuo sobre sí mismo. Si atendemos al sistema Ac = b, entonces se ve claramente que al multiplicar A y c, lo que se realiza es una combinación lineal de las columnas de A:
El problema de aproximación será hallar aquella combinación lineal de columnas de A lo más cercana posible al vector b. Se comprueba que el conjunto de las columnas de A engendran un Span lineal: span( A1 ,A2,..., Am), al que el vector b no tiene porqué pertenecer (si lo hiciera, el sistema Ac=b tendría solución). Entonces, de los infinitos vectores del span( A1 ,A2,..., Am) que son combinación lineal de los vectores de la base, se tratará de hallar el más cercano al vector b. De entre todos ellos, el que cumple esto con respecto a la norma euclídea es la proyección ortogonal del b sobre span( A1 ,A2,..., Am), y que por tanto hace que el tamaño del vector r, que será el vector que una los extremos de los vectores b y proyección ortogonal de b sobre el span, sea mínimo, esto es, que minimiza su norma euclídea. Es inmediato ver que si el residuo une b con su proyección ortogonal, entonces es a su vez ortogonal al span( A1, A2,..., Am), y a cada uno de los vectores de la base, esto es, ortogonal a cada columna de A. La condición de minimización del residuo será:
Que es cierto si y sólo si:
A su vez, cada una de las m condiciones de perpendicularidad se puede agrupar en una sola:
Sustituyendo el residuo por su expresión:
Por tanto, la mejor aproximación mínimo cuadrada lineal para un conjunto de puntos discretos, sean cuales sean las funciones base, se obtiene al resolver el sistema cuadrado: .
A esta ecuación se le llama ecuación normal de Gauss, y es válida para cualquier conjunto de funciones base. Si estas son la unidad y la función x, entonces la aproximación se llama regresión lineal.
[editar] Mínimos cuadrados y análisis de regresión En el análisis de regresión, se sustituye la relación
por f ( x i) = y i + εi ,
siendo el término de perturbación ε una variable aleatoria con media cero. Obśervese que estamos asumiendo que los valores x son exactos, y que todos los errores están en los valores y. De nuevo, distinguimos entre regresión lineal, en cuyo caso la función f es lineal para los parámetros a ser determinados (ej., f ( x) = ax2 + bx + c), y regresión no lineal. Como antes, la regresión lineal es mucho más sencilla que la no lineal. (Es tentador pensar que la razón del nombre regresión lineal es que la gráfica de la función f ( x) = ax + b es una línea. Ajustar una curva f ( x) = ax2 + bx + c, estimando a, b y c por mínimos cuadrados es un ejemplo de regresión lineal porque el vector de estimadores mínimos cuadráticos de a, b y c es una transformación lineal del vector cuyos componentes son f ( xi) + εi). Los parámetros (a, b y c en el ejemplo anterior) se estiman con frecuencia mediante mínimos cuadrados: se toman aquellos valores que minimicen la suma S . El teorema de Gauss-Márkov establece que los estimadores mínimos cuadráticos son óptimos en el sentido de que son los estimadores lineales inses gados de menor varianza, y por tanto de menor error cuadrático medio, si tomamos f ( x) = ax + b estando a y b por determinar y con los términos de perturbación ε independientes y distribuidos idénticamente (véase el artículo si desea una explicación más detallada y con condiciones menos restrictivas sobre los términos de perturbación). La estimación de mínimos cuadrados para modelos lineales es notoria por su falta de robustez frente a valores atípicos (outliers). Si la distribución de los atípicos es asimétrica, los estimadores pueden estar sesgados. En presencia de cualquier valor atípico, los estimadores mínimos cuadráticos son ineficientes y pueden serlo en extremo. Si aparecen valores atípicos en los datos, son más apropiados los métodos de regresión robusta.
Mínimos Cuadrados en Excel ¡ Pregunta tu duda de Excel en el foro ! | ¡ Temas Candentes ! | recibe nuestro newsletter Recientemente un usuario planteó en el foro una pregunta sobre cómo resolver o realizar un ajuste por el método de los mínimos cuadrados. Es algo que tengo disperso por varios temas de los foros en incluso en el libro, y me ha parecido una buena idea recopilarlo todo en una entrada del blog. La solución depende de si queremos resolver un sistema de ecuaciones o de si símplemente queremos calcular un punto mediante un ajuste con una recta que minimice los errores para los datos disponibles. Para el caso de la recta, Excel tiene la función ESTIMACION.LINEAL que calcula los coeficientes que definen la recta. si necesitamos un ajuste con una función exponencial, tenemos la función ESTIMACION.LOGARITMICA. Estas funciones son matriciales y devuelven varios valores que definen la ecuación de la función ajustada e incluso el error del ajuste, así que hay que seleccionar varias celdas (para que quepa el resultado) e introducirlas con [Ctrl] [Mays] [Intro] como todas las funciones matriciales. Si no te interesan las ecuaciones de la recta (o de la función exponencial), y sólo quieres calcular el valor de dicha recta en un punto, entonces debes emplear la función TENDENCIA para la recta, o la función CRECIMIENTO para la función exponencial (no me preguntéis por qué le han puesto estos nombres, especialmente el nombre crecimiento).
Gráficos
Siempre me ha llamado la atención que Excel en sus gráficos sí ofrezca otras maneras para ajustar por mínimos cuadrados diferentes tipos de funciones. ¿por qué Excel no incorpora las funciones equivalentes para cada uno de estos tipos de ajuste? Bueno, tal vez sólo una minoría de sus usuarios las utilizaría, y esos usuarios tal vez estén en condiciones de calcular los coeficientes de las ecuaciones por otros métodos (como el que cuento a un poco más abajo).
Las líneas de tendencia de un gráfico, tienen entre sus opciones de configuración la posibilidad de mostrar sobre el gráfico la ecuación ajustada. Alguna vez he intentado emplear esta ecuación copiándola a mano en una celda, y no obtengo los resultados esperados, principalmente porque los coeficientes de la ecuación están redondeados y se pierde toda precisión. Como curiosidad para mostrar sobre el gráfico y mientras nadie lo compruebe, puede valer, pero lo que sería ciertamente útil es poder utilizar directamente la ecuación en una celda. Como digo, esto no es posible.
Resolución de un sistema de ecuaciones genérico Para un caso más genérico, por ejemplo para resolver un sistema de ecuaciones
sobredimensionado, con más ecuaciones que incógnitas, yo utilizo el método matricial para ajustar por mínimos cuadrados la solución. Se trata de premultiplicar ambos lados de la ecuación por la matriz transpuesta para tener una matriz cuadrada que poder invertir. [ A ]·[ x ] = [ B ] sistema inicial de ecuaciones en formato matricial, matriz A de coeficientes, matriz X de incógnitas, y matriz B de términos independientes. [ A ]t·[ A ]·[ x ] = [ A ] t·[ B ] premultiplicamos por la matriz transpuesta de los coeficientes (el resultado es una matriz cuadrada). [ x ] = ([ A ]t·[ A ])-1·[ A ] t·[ B ] la solución se obtendrá multiplicando ambos términos por la matriz inversa de esa matriz cuadrada. y esto expresado con funciones matriciales de Excel quedaría algo así (sí, ya sé que es un poco jaleo, pero es lo mismo que pone arriba): {= MMULT ( MMULT ( MINVERSA ( MMULT ( TRANSPONER (matrizA) ; matrizA ) ); TRANSPONER ( matrizA ) ); matrizB )} No olvides seleccionar un rango que ocupe el tamaño de la solución del sistema (tantas celdas como variables tenga la ecuación) y recuerda que las funciones matriciales se introducen con la combinación de teclas
