Le compromis biais-variance

un polynôme trop simple se trompe toujours de la même façon ; trop souple, il se trompe à chaque échantillon différemment

1 · DÉCOMPOSITION

$$y=f(x)+\varepsilon,\quad f(x)=\sin(2\pi x),\quad x\sim\mathcal U[0,1],\quad \varepsilon\sim\mathcal N(0,\sigma^2), \qquad \hat f_d=\arg\min_{\deg p\le d}\ \sum_{i=1}^n\big(y_i-p(x_i)\big)^2$$
$$\mathbb E\big[(Y-\hat f_d(x))^2\big] =\underbrace{\sigma^2}_{\text{bruit}} +\underbrace{\big(\mathbb E\hat f_d(x)-f(x)\big)^2}_{\text{biais}^2} +\underbrace{\operatorname{Var}\hat f_d(x)}_{\text{variance}} \qquad\text{(espérance sur les échantillons d'apprentissage, moyenne sur } x)$$

2 · À TOI : FAIS VARIER LE DEGRÉ

l'ajustement de degré \(d\) sur un échantillon de \(n\) points (et, en option, sur 30 autres échantillons)
biais², variance et bruit en fonction du degré (200 échantillons) : glisse pour changer \(d\)

Gauche : points bleus = l'échantillon, tirets gris = vraie fonction \(f\), courbe orange = \(\hat f_d\). Avec « Autres échantillons » : 30 ajustements sur 30 nouveaux échantillons et, en trait épais foncé, leur moyenne \(\mathbb E\hat f_d\) (son écart à \(f\) est le biais, la dispersion autour d'elle la variance). Comme dans le cours : degrés 0 à 10, biais et variance moyennés sur \(x\in[0{,}05\,;\,0{,}95]\) (au bord, les polynômes de haut degré explosent). Les rares ajustements divergents (\(|\hat f|\gt10\) sur cet intervalle) sont écartés de la moyenne et comptés : sinon un seul d'entre eux suffit à fausser biais et variance.

3 · RAPPELS