La régression lasso
le losange a des coins : des coefficients deviennent exactement nuls
1 · CRITÈRE ET CONDITIONS D'OPTIMALITÉ
$$\hat\beta(\lambda)=\arg\min_{b}\ \tfrac12\|y-Xb\|^2+\lambda\|b\|_1,\qquad \|b\|_1=|b_1|+|b_2|$$
$$\text{KKT :}\quad x_j^\top\big(y-X\hat\beta\big)=\lambda\,\mathrm{signe}(\hat\beta_j)\ \text{ si } \hat\beta_j\neq0,\qquad \big|x_j^\top\big(y-X\hat\beta\big)\big|\le\lambda\ \text{ si } \hat\beta_j=0$$
$$\text{tout s'annule dès que }\ \lambda\ \ge\ \lambda_{\max}=\|X^\top y\|_\infty$$
2 · À TOI : FAIS VARIER λ
plan \((\beta_1,\beta_2)\) : ellipses des MCO, losange de la pénalité, estimateurs sur 80 échantillons
chemin \(\lambda\mapsto\hat\beta_j(\lambda)\) du premier échantillon, et part des échantillons où \(\hat\beta_j\neq0\) — glisse pour changer λ