Ce minimum est le meilleur risque accessible dans la classe \(\mathcal F\). Le risque de Bayes est le minimum obtenu sur l’ensemble de toutes les règles de décision.
Sous le coût 0-1 : la règle MAP
Pour une observation \(x\), le risque conditionnel associé à la décision \(k\) est
où \(z \sim p\) est indépendante de \(D_n\) : une observation jamais vue. Dans l’intégrale, \(D_n\) est fixé — donc \(R(f^*(D_n))\) reste aléatoire en \(D_n\).
\(f^*(D_n)\) a été choisie pour être bonne sur \(D_n\). Elle est donc meilleure sur \(D_n\) que sur tout autre échantillon \(D_{n'}\) tiré de la même loi.
Un taux d’erreur mesuré sur les données d’apprentissage n’est pas un résultat. C’est une mesure de mémorisation.
Dans un rapport, présenter l’erreur d’apprentissage comme une performance du modèle constitue une erreur méthodologique majeure.
Voir le phénomène
Figure 8
Même vraie fonction, mêmes 25 observations, trois espaces \(\mathcal F\) de capacités croissantes. À droite, l’erreur d’apprentissage est beaucoup plus faible, mais la courbe s’écarte de la vraie fonction entre les observations.
\(n\) grand → la borne s’effondre exponentiellement
\(|\mathcal F|\) grand → la borne se dégrade
Et si \(\mathcal F\) est infinie ?
\(|\mathcal F|\) n’a plus de sens : on lui substitue la capacité, ou dimension de Vapnik-Chervonenkis.
En classification, la VC-dimension est le plus grand \(n\) tel qu’il existe un ensemble de \(n\) points que \(\mathcal F\) peut séparer quel que soit l’étiquetage.
On dit alors que \(\mathcal F\)pulvérise ces points.
VC-dimension d’un classifieur linéaire dans \(\mathbb R^2\)
Trois points, oui, quel que soit l’étiquetage. Quatre points, non.
La VC-dimension d’une droite dans le plan vaut \(3 = d + 1\).
Capacité contre erreur
Figure 9
La courbe est obtenue en moyennant les erreurs sur 200 échantillons.
Le risque quadratique, en détail
Supposons \(Z = (X, Y)\) et \(L(Y, f(X)) = (Y - f(X))^2\). Le risque
Biais — \(\mathcal F\) ne contient pas la solution optimale. Le modèle est trop pauvre pour le problème.
Variance — avec un autre échantillon \(D_{n'}\) tiré de la même loi, on aurait obtenu une fonction différente.
Bruit — même la solution optimale se trompe : pour un même \(x\), plusieurs \(y\) sont possibles.
Seuls les deux premiers dépendent de vous.
Biais et variance en régression non linéaire
Figure 10
40 échantillons différents, trois capacités. À gauche : toutes les courbes se ressemblent, mais aucune ne colle. À droite : elles collent, mais chacune autrement.
Le compromis est forcé
Figure 11
Quand la capacité de \(\mathcal F\) croît, le biais diminue et la variance augmente. On ne peut pas gagner sur les deux tableaux.
Sur-apprentissage et sous-apprentissage
Capacité trop grande → sur-apprentissage : le modèle apprend l’échantillon par cœur, bruit compris.
Capacité trop petite → sous-apprentissage : le modèle rate la structure.
Aucun des deux n’est visible sur l’erreur d’apprentissage seule. Le sur-apprentissage y est invisible par construction : \(\hat R(f^*, D_n)\) décroît avec la capacité et ne remonte jamais.
On ne restreint plus \(\mathcal F\) : on rend la complexité coûteuse.
L’élagage des arbres CART et
la régression ridge sont deux exemples de pénalisation de la complexité.
Second remède : arrêter à temps
Applicable si l’apprentissage est itératif.
Au lieu de minimiser le risque empirique jusqu’au bout :
à chaque itération, estimer l’erreur de généralisation ;
arrêter quand elle cesse de diminuer.
C’est le principe de l’early stopping, omniprésent en apprentissage profond. Il exige des données distinctes de celles qui servent à ajuster le modèle afin d’estimer l’erreur de généralisation.
En résumé
Le risque empirique est sans biais à \(f\) fixée, plus après optimisation.
L’erreur d’apprentissage est optimiste : ce n’est pas un résultat.
L’erreur se décompose en biais² + variance + bruit.
Augmenter la capacité échange du biais contre de la variance.
Deux remèdes : pénaliser la complexité, ou arrêter tôt.
En pratique
Trois problèmes distincts
Choisir la complexité de \(\mathcal F\) — sélection de modèle
Ajuster les paramètres à complexité fixée
Estimer le risque de la fonction retenue
Ce sont trois questions distinctes. Les traiter sur les mêmes données est l’erreur méthodologique la plus courante — et la plus coûteuse.
Les dangers du « en même temps »
En théorie, les risques sont des espérances.
En pratique, on manipule des moyennes sur un échantillon fini.
Chaque fois qu’on utilise les mêmes données pour décider et pour évaluer, on se spécialise un peu plus sur elles.
Tout jeu de données ayant servi à prendre une décision est discrédité pour l’évaluation.
Chaque observation sert une fois à la validation et \(K-1\) fois à l’apprentissage.
Une hypothèse cachée
Le découpage aléatoire suppose les observations interchangeables.
Faux avec une dépendance temporelle : Deux relevés espacés de cinq minutes sont presque le même relevé.
Répartir au hasard des observations voisines place des quasi-jumelles de part et d’autre du découpage. Le modèle retrouve en test ce qu’il a mémorisé en apprentissage.
Deux découpages, trois chiffres
Figure 14
Parc de stations simulé. Cible : station en tension trente minutes plus tard.
Ce que la figure établit
La validation croisée aléatoire annonce 6,5 %. Le découpage chronologique mesure 8,5 %.
Deux points d’écart, sur le même modèle et les mêmes données. Le premier chiffre est faux.
Quand les observations se suivent dans le temps, le jeu de test est ce qui vient après. Jamais un tirage au hasard.
La référence de persistance
Prédire que l’état futur sera l’état actuel. Aucun apprentissage.
Elle atteint 7,9 % — mieux que le modèle honnêtement évalué.
Le classifieur constant est la référence minimale. Sur des données temporelles, la persistance en est une seconde, souvent bien plus exigeante.
Un modèle qui ne la bat pas n’a rien appris d’utile.
Sélectionner et estimer, simultanément
Pour à la fois trouver la bonne complexité et estimer le risque de la fonction retenue, il faut trois ensembles disjoints :
apprentissage — ajuster les paramètres à complexité fixée
validation — choisir la complexité
test — estimer le risque final, une seule fois
Si vous avez regardé le jeu de test plus d’une fois, ce n’est plus un jeu de test.
Petits jeux de données
Stratégies pour les pauvres :
une validation croisée pour choisir la complexité ;
une double validation croisée (imbriquée) pour choisir la complexité et estimer son risque.
Avec \(n = 150\), la double validation croisée limite le gaspillage de données tout en séparant la sélection du modèle de l’estimation de son risque.
Un taux d’erreur ne suffit pas
Sur les scores simulés qui servent aux figures suivantes — 35 % de malades —, répondre toujours « sain » donne 64,8 % de bonnes réponses.
Le chiffre est flatteur. Le classifieur ne détecte aucun malade.
Sous déséquilibre, l’exactitude globale récompense la classe majoritaire. Il faut compter les erreurs séparément.
La matrice de confusion
Figure 15
Quatre effectifs, obtenus en croisant la vérité et la décision.
Réalité versus prédiction
Réellement malade
Réellement sain
Prédit malade
VP — vrai positif
FP — faux positif
Prédit sain
FN — faux négatif
VN — vrai négatif
Les deux diagonales suffisent à tout reconstruire :
La moyenne harmonique s’effondre dès qu’un des deux termes est faible. Une précision de 1 et un rappel de 0,02 donnent \(F_1 \approx 0{,}04\), là où la moyenne arithmétique afficherait 0,51.
\(F_1\) ignore les vrais négatifs. Sur un problème très déséquilibré, c’est un avantage, pas un oubli.
Tout dépend du seuil
Figure 16
Le modèle ne change pas. Seule la valeur au-delà de laquelle on décide « malade » change.
Interpréter les métriques
Annoncer une précision sans annoncer le seuil ne veut rien dire.
Le seuil 0,5 n’a rien de particulier : il correspond à la règle MAP, donc à l’hypothèse implicite que les deux erreurs ont le même coût.
Le seuil est un paramètre de décision, pas un paramètre du modèle. Il se choisit à partir des coûts.
La courbe ROC
Figure 17
Chaque seuil donne un couple \((\mathrm{FPR}, \mathrm{TPR})\). Les parcourir tous trace la courbe.
Lire une courbe ROC
Le coin supérieur gauche est le classifieur parfait
La diagonale est le tirage au hasard.
L’AUC est l’aire sous la courbe. Elle vaut la probabilité qu’un malade tiré au hasard reçoive un score supérieur à celui d’un sain.
Une seule valeur, indépendante du seuil et de la prévalence.
La courbe précision-rappel
Figure 18
Mêmes seuils, autre projection. La référence du hasard n’est plus la diagonale, mais la prévalence.
Laquelle choisir
Figure 19
Même modèle, deux prévalences. L’AUC bouge à peine, la précision moyenne s’effondre.
La raison
La ROC conditionne par la vérité : \(\mathrm{TPR}\) et \(\mathrm{FPR}\) ont chacun leur propre dénominateur. Changer la proportion de positifs ne les déplace pas.
La précision, elle, mélange les deux classes à son dénominateur. Elle chute dès que les négatifs deviennent nombreux
Classes équilibrées, ou comparaison de modèles entre eux : la ROC suffit.
Positifs rares, et coût réel des fausses alertes : la courbe précision-rappel est la seule honnête.
En pratique
from sklearn.metrics import (confusion_matrix, classification_report, roc_auc_score, average_precision_score)confusion_matrix(y_test, y_pred)classification_report(y_test, y_pred) # précision, rappel, F1 par classeproba = modele.predict_proba(X_test)[:, 1]roc_auc_score(y_test, proba) # AUCaverage_precision_score(y_test, proba) # aire sous précision-rappel
Les deux dernières prennent un score, pas une décision. Leur passer y_pred revient à n’évaluer qu’un seul seuil.
Le fléau de la dimension
Figure 20
En grande dimension, toutes les paires de points ont sensiblement la même distance. La notion de « voisin » se vide de son sens.
Le fléau de la dimension
Les méthodes fondées sur une distance (\(k\)-PPV, noyaux) perdent leur fondement.
Le volume à couvrir croît exponentiellement : à densité d’échantillonnage constante, \(n\) devrait croître comme \(c^d\).
Ajouter une variable non informative dégrade le modèle.
En bref
Apprendre = minimiser un risque qu’on ne sait pas calculer.
L’erreur d’apprentissage est optimiste ; seule une donnée jamais vue mesure quelque chose.
Biais et variance s’échangent ; le compromis est forcé.
Trois rôles, trois jeux de données. Un jeu ayant servi à décider est discrédité.
