Projection orthogonale et moindres carrés

le meilleur Xb est l'ombre de y sur le plan : le résidu tombe à angle droit

1 · CRITÈRE

$$\hat\beta=\arg\min_{b\in\mathbb{R}^p}\ \|y-Xb\|^2 \iff X^\top\big(y-X\hat\beta\big)=0 \iff \hat y=X\hat\beta=\underbrace{X(X^\top X)^{-1}X^\top}_{H}\,y$$

2 · À TOI : DÉPLACE Xb DANS LE PLAN

$\mathbb{R}^3$ et le plan $\mathrm{Im}\,X=\mathrm{vect}(x_1,x_2)$ : glisse le point bleu $Xb$, glisse ailleurs pour tourner la vue

critère $\|y-Xb\|^2$ dans le plan des coefficients $(b_1,b_2)$ : glisse aussi ici

décentrage $\bar t$

$n=3$ observations, $X=(x_1\ x_2)$ avec $x_1=\mathbf{1}=(1,1,1)^\top$ (constante) et $x_2=t=(\bar t-1,\ \bar t,\ \bar t+1)^\top$ : la régression $y_i\approx b_1+b_2t_i$. Quadrillage du plan : droites $b_1=\text{cte}$ et $b_2=\text{cte}$. Flèches ← → ↑ ↓ pour bouger $b$ (Maj : plus vite).

3 · RAPPELS

Équations normales : $X^\top X\hat\beta=X^\top y$, solution unique si les colonnes de $X$ sont indépendantes. Elles disent $\langle x_j,\,y-\hat y\rangle=0$ pour chaque colonne ; avec la constante $x_1=\mathbf 1$, la somme des résidus est nulle.
$H=X(X^\top X)^{-1}X^\top$ est le projecteur orthogonal sur $\mathrm{Im}\,X$ : $H^2=H$, $H^\top=H$, $\operatorname{tr}H=p$ ; son complément $I-H$ projette sur l'orthogonal, de dimension $n-p$ (ici une droite : le résidu a une seule direction possible).
Pythagore, pour tout $b$ : $$\|y-Xb\|^2=\|y-\hat y\|^2+\|X(b-\hat\beta)\|^2=\|y-\hat y\|^2+(b-\hat\beta)^\top X^\top X\,(b-\hat\beta).$$ Les lignes de niveau du critère sont des ellipses centrées en $\hat\beta$ : ce sont les cercles de centre $\hat y$ du plan, lus dans les coordonnées $b$.
$\hat y$ ne dépend que du plan, pas de sa base : décentrer $t$ ne bouge ni $\hat y$ ni le résidu, seulement les coefficients ($\hat\beta_1=\bar y-\hat\beta_2\bar t$). Plus $\bar t$ est grand, plus $x_1$ et $x_2$ sont proches et plus les ellipses s'allongent : c'est la colinéarité.
Avec la constante, Pythagore dans $\mathbf 1^\perp$ donne l'analyse de variance $\|y-\bar y\mathbf 1\|^2=\|\hat y-\bar y\mathbf 1\|^2+\|y-\hat y\|^2$, et $R^2$ est le carré du cosinus de l'angle entre $y-\bar y\mathbf 1$ et $\hat y-\bar y\mathbf 1$.