Aproximación por mínimos cuadrados

digamos que tengo una matriz a en una matriz y digamos que el tamaño de estas matrices de n por acá ok y que tengo la siguiente ecuación a por x es igual a b muy bien entonces esto inmediatamente me está diciendo que x como tiene cada columnas x debe vivir en rk ok y que además ve pues como es una multiplicación de de una matriz de n por k por un vector de k por uno digamos que es una matriz de k por uno entonces ve necesariamente tiene que vivir en rn ok estamos buscando un vector x nrk que al multiplicar la por esta matriz nos dé el vector b y ahora vamos a suponer además que esta ecuación no tiene solución verdad siempre buscamos la solución pero vamos a suponer que no hay solución no hay solución no hay solución a esta ecuación que es x igual a b entonces vamos a vamos a desarrollar un poquito y tengo esta matriz vamos a desarrollarla de la siguiente forma vamos a escribir la matriz como casi siempre le escribimos por sus columnas a1 a2 y así sucesivamente hasta acá verdad son estos as son son vectores y que multiplican a cierto vector x cuyas coordenadas digamos que es x 1 x 2 hasta xk ok y esto debe ser igual a nuestro vector b ahora bien esto por supuesto nos está diciendo que podemos expresar el lado izquierdo como x 1 x a 1 + x 2 x 2 esto ya lo hemos hecho en varios vídeos ok si si te causa extrañeza revisa los vídeos anteriores y finalmente xk por acá ok entonces fíjense muy bien estamos diciendo que esta multiplicación de una matriz por un vector nos da una combinación lineal y esa combinación lineal debe ser el vector b ok es decir si no hay solución a esta ecuación quiere decir que no importa que pesos que pesos estamos poniendo aquí que x1 x2 xk no importa que pesos le estemos dando a cada uno de estos vectores columna de la matriz eso me está diciendo que no va a haber una combinación lineal que nos dé exactamente b y eso se traduce en una sencilla en un sencillo hecho quiere decir que ve al no poder ser combinación lineal de las columnas de la matriz quiere decir que el vector b no se encuentra no se encuentra en el espacio columna de nuestra matriz a verdad pues sí si no puede ser una combinación lineal de esos vectores no puede estar en el espacio columna como se vería esto cómo se vería esto digamos que el espacio columna de nuestra matriz es como una especie de plano que digamos que es como un plano más o menos de esta forma okay digamos que este es el espacio columna este es el espacio columna de nuestra matriz y que por aquí tenemos a nuestro vector b entonces nuestro vector b apunta más o menos hacia acá y aquí es clarísimo que no se encuentra en nuestro espacio columna verdad entonces este es más o menos una representación gráfica de lo que estamos pintando y uno podría ponerse a decir bueno pues no hay solución vamos a llorar un rato pero no se trata de eso tenemos que buscarle solución a los problemas aunque no sean exactamente lo que busquemos inicialmente qué pasaría por ejemplo si yo pudiera encontrar un vector digamos que le voy a llamar x estrella digamos que este x estrella es tal que bueno x estrella donde a x estrella aunque no sea b aunque no sea b al menos que se parezca o que sea lo más cercano es lo más cercano lo más cercano digamos entre comillas en algún sentido es cercano es lo más cercano posible a nuestro vector b no estamos resolviendo el problema original de encontraron x que me resuelve esta ecuación sin embargo lo que estamos tratando de buscar es una solución lo más cercano posible a ver es decir que la distancia de x estrella al b sea mínima y quizás ya estás viendo hacia dónde va esta situación verdad porque sabemos que este vector a x estrella este que vamos a llamarle b pues necesariamente como es una combinación lineal de sus columnas se encuentra en el espacio columna verdad entonces si se encuentra en el espacio columna lo que estamos buscando es minimizar minimizar la distancia debe todos los x estrellas es decir vamos a minimizar esta distancia verdad vamos a minimizar esta distancia dónde la mínima distancia es debe a la multiplicación de a por equis estrella verdad y si esto es nuestro vector b quiere decir que se encuentra en el espacio columna y ya aseguró éste le está saliendo de qué es lo que estamos buscando porque justamente si queremos minimizar esta distancia vamos a necesitar este vector b que es a equis estrella correcto y como estamos sobre este sub espacio vectorial que es el espacio columna no le queda otra cosa más que a ese a este vector a este vector de aquí ser la proyección sobre el espacio columna de a de nuestro vector b eso es lo que estamos tratando de encontrar verdad entonces vamos a vamos a desarrollar un poquito más esto verdad porque si queremos calcular esta distancia digamos y este este vector de aquí es el vector b entonces lo podemos describir como la norma de la diferencia la norma de la diferencia se puede ver en un solo vector de la siguiente forma si yo tengo la coordenada 1 le restó la coordenada a 1 verdad la coordenada 2 le restó la coordenada 2 y así sucesivamente ok así sucesivamente hasta la coordenada n le restamos la coordenada n y esto sacamos su norma y si queremos minimizarlo es lo mismo que minimizar al cuadrado y ya saben que siempre sacamos este cuadrado para hacer las operaciones más fáciles verdad y ahora bien la norma al cuadrado quién es pues es nuestra nuestra primera coordenada al cuadrado verdad es la primera coordenada al cuadrado más la segunda coordenada b2 menos de 2 al cuadrado y así sucesivamente sumamos estos términos hasta obtener en menos de n al cuadrado y queremos minimizar esto entonces al inicio el problema digamos que nos motivaba era en hallar una solución mínima digamos a esta ecuación digo no podemos encontrar la solución a x igual a b pero podríamos ver si hay alguna solución lo más cercana posible verdad y ese necesariamente tiene que estar en el espacio columna eso nos lleva a que tenemos que minimizar esta suma de cuadrados y de ahí que esté a este a este señor de aquí l x estrella tiene un nombre muy particular y que es la solución por mínimos cuadrados este de aquí tiene nombre y se llama la solución por mínimos cuadrados y ya entenderás de dónde sale sale el nombre verdad queremos minimizar estas diferencias que por cierto están elevadas al cuadrado entonces si aquí tenemos nuestro nuestro vector b ok ahí tenemos nuestro vector b queremos encontrar el más cercano a este vector b de burro correcto entonces lo que vamos a hacer es lo siguiente no sabemos exactamente quién sea lo único que sabemos es que a equis estrella a equis estrella como queremos que sea la mínima distancia en el vídeo anterior vimos que el vector más cercano a otro que se encuentre sobre un sub espacio es necesariamente la proyección entonces queremos que esté a x estrella sea la proyección de b sobre nuestro espacio columna de la matriz entonces este a x estrella para que sea mínima la distancia debe ser la proyección sobre el espacio columna nuestro vector ve muy bien entonces esto es para que realmente estemos minimizando está esta distancia y que por lo tanto estamos encontrando el vector más cercano posible a ver entonces si tenemos esto vamos a notar lo siguiente qué pasaría si vamos a restar de ambos lados el vector de este vector este vector b devour muy bien entonces si por ejemplo del lado del lado izquierdo que tenemos a equis estrella a equis estrella le restamos le restamos el vector b vamos a restarle el vector b eso debe ser igual del otro lado tenemos la proyección la proyección sobre el espacio columna de la matriz de nuestro vector b y le estamos restando ve muy bien le estamos restando ve ahora cómo se ve eso si yo tengo fíjense muy bien en el lado derecho entonces tengo la proyección de b sobre el espacio columna y le voy a restar b eso es la diferencia de dos vectores es el vector que apunta de uno al otro verdad entonces esta diferencia es el que apunta hacia aquí y podemos ver que va de aquí a acá porque ve más este vector que es esta diferencia si yo tengo ve más esto las veces cancelan y me queda la proyección de b que es justamente este vector entonces este vector de aquí este naranja que es este este de aquí lo que un me está diciendo es que es ortogonal es ortogonal a todo el espacio columna verdad y eso lo sabíamos ya por construcción por como hemos definido las proyecciones eso quiere decir inmediatamente como este vector es este otro quiere decir que a equis estrella menos b se encuentra en el espacio columna perdón en el complemento ortogonal al espacio columna verdad porque éste forma un ángulo de 90 grados con todo el espacio muy bien pero sabemos además que también ya hemos visto en otros vídeos que el complemento ortogonal del espacio columna de una matriz no es otra cosa más que el espacio nulo izquierdo es decir el espacio nulo de nuestra matriz transpuesta o bien esto también me está diciendo como este vector a x estrella menos b se encuentra en el complemento ortogonal del espacio columna y ese es el espacio nulo izquierdo entonces este vector quiere decir que a x estrella menos b se encuentra en el espacio nulo de la matriz a transpuesta muy bien y eso algebraica mente se ve de esta forma quiere decir que si yo multiplico a transpuesta por a x estrella menos b donde recordemos que x estrella es nuestra solución o también le llaman la aproximación por mínimos cuadrados esto por estar en el espacio nulo de esta matriz nos tiene que dar el vector ok entonces si nos da el vector 0 eso al ir lo desarrollando podemos escribirlo de la siguiente forma porque esto lo podemos distribuir correcto nada más vamos antes de distribuir a repasar un poquito qué es lo que estábamos haciendo recordemos que tenemos a equis estrella me igual a b que perdón tenemos a x igual a b queremos resolver esto pero resulta que no hay solución no tenemos solución bueno en vez de ponernos a llorar porque no hay una solución podríamos pensar si encontrar algún vector x estrella tal que la distancia ave sea lo más cercano posible entonces eso nos decía que necesariamente tiene que ser la proyección sobre el espacio columna y de ser esto cierto quiere decir que se cumplen estas propiedades y llegamos a esto entonces si continuamos distribuyendo esta multiplicación vamos a tener que a transpuesta por equis estrella por a x estrella y luego menos a transpuesta por b es igual al vector cero y si sumamos este de ambos lados tenemos que ha transpuesto por a x estrella es igual a a transpuesta por el vector b y esto es lo que nos va a dar una nueva ecuación para resolver el problema de mínimos cuadrados para minimizar este problema entonces recordemos que teníamos a x a x igual a b tal que no tiene solución esto va sin solución sin solución muy bien entonces estábamos buscando nuestro x estrella tal que minimizará que minimiza minimiza esta distancia la distancia bebé a por equis estrella ok de todos los posibles x x estrella es el que hace que esta distancia sea mínima y eso nos lleva como dijimos a que éste tiene que ser la proyección sobre el espacio columna de la matriz del vector b ok entonces tenemos justamente que a x estrella a x estrella es igual a la proyección a la proyección sobre el espacio columna de la matriz debe ok y como tenemos esta relación si nos damos cuenta si la comparamos con esta esta roja que tenemos aquí al lado por ejemplo tenemos a x y si multiplicamos del lado izquierdo por a transpuesta esto me va a dar igual a transpuesta verdad por b por el vector b que es justamente esta relación entonces esta ecuación esta ecuación al resolverla es la que me va a dar el vector que va a ser el la solución por mínimos cuadrados mínimos cuadrados esta esta ecuación al resolverla entonces no tenemos que hay una matriz aquí la transpuesta a y hay un vector de este lado siempre que se pueda hallar una solución en esta ecuación ese vector x estrella va a ser nuestro mejor intento para hallar una solución de x igual a b que no la hay pero es nuestra solución más cercana que podemos dar entonces de esta forma hemos minimizado el error estamos minimizando la distancia de ax a b y eso será nuestra solución de mínimos cuadrados todo esto yo sé que está muy abstracto en este vídeo pero con suerte en el próximo nos daremos cuenta de que es un concepto muy pero muy útil