Il metodo dei minimi quadrati (con un cenno all'inversa di Moore-Penrose)
Consideriamo una matrice A nxk di rango k. Allora il sistema lineare
Ax=b
ha soluzioni se e solo se b appartiene allo spazio delle colonne di A. In generale se n>k questo non accade.
Tuttavia ha senso cercare una soluzione del sistema in senso debole. Definizione x si dice una soluzione secondo i minimi quadrati del sistema Ax=b se minimizza |Ax-b|,
cioè se
|Ax-b| £ |Az-b|
per ogni z Î Rk.
Una soluzione vera è anche soluzione secondo i minimi quadrati. La motivazione principale per la ricerca di
soluzioni secondo i minimi quadrati si ha nella soluzione di sistemi i cui coefficienti provengono da dati
sperimentali. Per gli errori nelle misurazioni si possono trovare delle equazioni tra loro incompatibili, mentre
teoricamente le equazioni corrispondenti ai dati non affetti da errori devono avere una soluzione. La soluzione
secondo i minimi quadrati approssima quindi la soluzione "ideale"
del sistema
non affetto da errori.
Teorema Sia A una matrice nxk di rango k con k
£ n. Allora il sistema Ax=b ha una unica soluzione secondo i minimi quadrati data da
x=(tAA)-1(tA)b
Dimostrazione (facoltativa) La soluzione si ottiene considerando
la proiezione ortogonale di b sul sottospazio vettoriale di equazione parametrica y=Ax.
La matrice A*
=(tAA)-1(tA)
si dice inversa di Moore-Penrose di A. Soddisfa la condizione
A*A =Ik da cui
AA*A=A, A * AA*=A* . Se A è quadrata allora l'inversa di Moore-Penrose coincide con l'inversa ordinaria. Se A è rettangolare l'inversa di Moore-Penrose generalizza la nozione di inversa. La soluzione secondo i minimi quadrati di Ax=b prende la forma suggestiva x=A*b.
Notiamo che se A è rettangolare allora
AA* non può essere invertibile perché
ha rango £ k.
Esempio Consideriamo dei punti sul piano
(xi, yi) per i=1,...,k.
La retta che approssima i punti secondo i minimi quadrati ha equazione y=mx+q dove i coefficienti m,q possono essere determinati risolvendo secondo i minimi quadrati il sistema di k equazioni nelle due incognite m, q dato da
m xi+q=yi
Con le notazioni precedenti abbiamo
A=
é ê ê ê
ê ê ë
x1
1
:
:
xn
1
ù ú ú ú
ú ú û
b=
é ê ê ê
ê ê ë
y1
:
yn
ù ú ú ú
ú ú û
Se i punti sono soltanto due allora il sistema ha una unica soluzione che corrisponde alla retta per i due punti. Se i punti sono più di due allora il sistema ha una soluzione vera soltanto quando i punti sono allineati, mentre la soluzione secondo i minimni quadrati esiste sempre.
Esercizio Calcolare la soluzione secondo i minimi quadrati del sistema di due equazioni in una incognita x=0, x=1. (Risposta x=0,5).
Esercizio Sia A una matrice nxk di rango n con n
£ k. Provare che la soluzione di lunghezza minima del sistema
Ax=b
è data da
x=tA(AtA)-1(b)
Suggerimento Calcolare la proiezione di 0 sul sottospazio affine delle soluzioni.