La régression ridge

un peu de biais contre beaucoup de variance : il existe toujours un λ qui bat les moindres carrés

1 · CRITÈRE ET THÉORÈME D'EXISTENCE

$$\hat\beta(\lambda)=\arg\min_{b}\ \|y-Xb\|^2+\lambda\|b\|^2=(X^\top X+\lambda I)^{-1}X^\top y$$

$$\text{Hoerl et Kennard (1970) :}\quad \exists\,\lambda>0,\quad \mathbb{E}\|\hat\beta(\lambda)-\beta\|^2\;<\;\mathbb{E}\|\hat\beta_{\text{MCO}}-\beta\|^2$$

$$\text{il suffit que }\ 0<\lambda<\frac{\sigma^2}{\alpha_{\max}^2},\qquad \alpha=V^\top\beta \ \text{ (coordonnées de } \beta \text{ dans la base propre de } X^\top X)$$

2 · À TOI : FAIS VARIER λ

plan $(\beta_1,\beta_2)$ : ellipses des MCO, cercle de la pénalité, estimateurs sur 80 échantillons

critère : erreur quadratique moyenne $\mathbb{E}\|\hat\beta(\lambda)-\beta\|^2$ — glisse pour changer λ

$\lambda$ corrélation $\rho$ bruit $\sigma$

Plan fixe $X^\top X=n\left(\begin{smallmatrix}1&\rho\\ \rho&1\end{smallmatrix}\right)$, $n=20$, vrai $\beta=(1{,}5\,;\,0{,}5)$, erreurs gaussiennes. Points gris : $\hat\beta_{\text{MCO}}$ ; points bleus : $\hat\beta(\lambda)$ sur les mêmes échantillons. Courbe noire : chemin $\lambda\mapsto\hat\beta(\lambda)$ du premier échantillon.

3 · RAPPELS

Avec $X^\top X=V\,\mathrm{diag}(d_j)\,V^\top$ et $\alpha=V^\top\beta$ : $$\mathbb{E}\|\hat\beta(\lambda)-\beta\|^2=\underbrace{\sigma^2\sum_j\frac{d_j}{(d_j+\lambda)^2}}_{\text{variance}} +\underbrace{\lambda^2\sum_j\frac{\alpha_j^2}{(d_j+\lambda)^2}}_{\text{biais}^2}.$$
Pourquoi le théorème : en $\lambda=0$, la variance décroît avec une pente $-2\sigma^2\sum_j 1/d_j^2<0$, tandis que le biais² part à plat (il est d'ordre $\lambda^2$). Un petit $\lambda$ fait donc toujours gagner.
Colinéarité : une petite valeur propre $d_j$ fait exploser la variance $\sigma^2/d_j$ des MCO. La ridge rétrécit chaque direction propre du facteur $d_j/(d_j+\lambda)$, donc surtout les directions mal estimées.
$(X^\top X+\lambda I)$ est inversible pour tout $\lambda>0$, même si $p>n$ : la solution existe et est unique.
Forme contrainte : minimiser $\|y-Xb\|^2$ sous $\|b\|^2\le t$. L'optimum est le point où une ellipse des MCO touche le cercle.
Le $\lambda^\star$ optimal dépend de $\beta$ et $\sigma$, inconnus : en pratique on le choisit par validation croisée ou GCV.