Ecuaciones Normales

Consideremos el problema de aproximar la solución de un sistema  , donde A es una matriz de mxn con  , y el rango, rank(A) = n, aquí b es un vector de mx1 y el vector x a ser determinado lo es de nx1.

El signo  usaremos para indicar la aproximación en el sentido de cuadrados mínimos, esto es, se minimiza la norma del residual r = Ax - b, en otras palabras, hemos de minimizar el residual

En forma equivalente, si consideramos la función cuadrática

la cual es una función diferenciable en x. Una condición necesaria para el mínimo de F(x) es que el vector gradiente sea cero, es decir:

Lo que nos conduce a un sistema de ecuacnines llamadas ecuaciones normales, las cuales son escritas:

La solución al sistema  es usualmente calculada por el siguiente algoritmo:

La matriz  es simétrica y es definida positiva y entonces podemos emplear la factorización de Cholesky para primero resover   y finalmente calcular x en la forma  .

Ejercicio

1. Modifique la rutina que genera la matriz de vandermonde, de manera que acepte vectores de dimensión n y segeneren m columnas.
2. Resuelva para la función de Runge con 8, 10, 13 datos el polinomio de grado 3, 4 y 8 que mejor ajuste a los datos, use la descomposición de Cholesky para resolver las ecuaciones normales.
3. Grafique los polinomios de ajuste sobre la misma gráfica y compare.
 

Desafortunadamente  es siempre una matriz mal-condiciona y su infuencia en la propagación de los errores es terrible.
Existen métodos que no calculan y resuelven  en forma directa usando la descomposición QR o bién tratando el problema original como un problema de minimización.