Le compromis biais-variance
un polynôme trop simple se trompe toujours de la même façon ; trop souple, il se trompe à chaque échantillon différemment
1 · DÉCOMPOSITION
2 · À TOI : FAIS VARIER LE DEGRÉ
Gauche : points bleus = l'échantillon, tirets gris = vraie fonction \(f\), courbe orange = \(\hat f_d\). Avec « Autres échantillons » : 30 ajustements sur 30 nouveaux échantillons et, en trait épais foncé, leur moyenne \(\mathbb E\hat f_d\) (son écart à \(f\) est le biais, la dispersion autour d'elle la variance). Comme dans le cours : degrés 0 à 10, biais et variance moyennés sur \(x\in[0{,}05\,;\,0{,}95]\) (au bord, les polynômes de haut degré explosent). Les rares ajustements divergents (\(|\hat f|\gt10\) sur cet intervalle) sont écartés de la moyenne et comptés : sinon un seul d'entre eux suffit à fausser biais et variance.
3 · RAPPELS
- Le bruit \(\sigma^2\) est incompressible : aucune règle, même la vraie \(f\), ne fait mieux en moyenne.
- Les modèles sont emboîtés : quand \(d\) croît, le biais ne peut que diminuer (et l'erreur d'apprentissage aussi) ; à \(d=n-1\), le polynôme interpole les \(n\) points et l'erreur d'apprentissage est nulle.
- La variance croît avec le nombre de paramètres : pour les moindres carrés, aux points du plan d'expérience, \(\frac1n\sum_i\operatorname{Var}\hat f(x_i)=\sigma^2\,\frac{d+1}{n}\). Elle explose ensuite entre les points et au bord.
- Le meilleur degré dépend de \(n\) et de \(\sigma\) : plus de données ou moins de bruit autorisent un modèle plus souple.
- En pratique \(f\) est inconnue : on n'a ni le biais ni la variance, seulement une estimation de l'erreur totale par un jeu de validation ou par validation croisée, et on choisit \(d\) au minimum de cette estimation.