Produit scalaire, orthogonalité, changement de base
Cours 6 — Algèbre linéaire et analyse de données
L3 GBI — Université d’Évry
Mesurer
Une question sans réponse
Deux gènes, leurs profils d’expression dans \(n\) échantillons.
Ont-ils le même comportement ?
Rien dans les cours 1 à 5 ne permet de répondre.
Ce qui manque
Longueur, distance, angle.
Une seule opération suffit Le produit scalaire engendre à lui seul les trois notions.
Produit scalaire
\[\langle \mathbf{x}, \mathbf{y} \rangle = \sum_{i=1}^{n} x_i\, y_i = \mathbf{x}^{\intercal}\mathbf{y}\]
Deux vecteurs entrent, un nombre sort.
Notation également rencontrée : \(\mathbf{x} \cdot \mathbf{y}\).
Propriétés
\[\langle \mathbf{x}, \mathbf{y} \rangle = \langle \mathbf{y}, \mathbf{x} \rangle\] \[\langle \lambda\mathbf{x} + \mu\mathbf{x}', \mathbf{y} \rangle = \lambda\langle \mathbf{x}, \mathbf{y} \rangle + \mu\langle \mathbf{x}', \mathbf{y} \rangle\] \[\langle \mathbf{x}, \mathbf{x} \rangle \geqslant 0, \qquad \langle \mathbf{x}, \mathbf{x} \rangle = 0 \iff \mathbf{x} = \mathbf{0}\]
Symétrie, linéarité, positivité.
Norme et distance
Norme
\[\|\mathbf{x}\| = \sqrt{\langle \mathbf{x}, \mathbf{x} \rangle} = \sqrt{x_1^2 + \dots + x_n^2}\]
La longueur du vecteur. En dimension 2, le théorème de Pythagore.
Vecteur unitaire
\(\|\mathbf{u}\| = 1\).
Tout vecteur non nul se normalise :
\[\mathbf{u} = \frac{\mathbf{x}}{\|\mathbf{x}\|}, \qquad \|\mathbf{u}\| = 1\]
La direction est conservée, la longueur ramenée à \(1\).
Distance
\[d(\mathbf{x}, \mathbf{y}) = \|\mathbf{x} - \mathbf{y}\| = \sqrt{\sum_{i=1}^{n} (x_i - y_i)^2}\]
La distance euclidienne, en dimension quelconque.
Inégalité de Cauchy-Schwarz
Théorème \[\bigl| \langle \mathbf{x}, \mathbf{y} \rangle \bigr| \leqslant \|\mathbf{x}\| \cdot \|\mathbf{y}\|\]
Égalité si et seulement si \(\mathbf{x}\) et \(\mathbf{y}\) sont colinéaires.
Conséquence
Pour \(\mathbf{x}, \mathbf{y}\) non nuls :
\[-1 \ \leqslant \ \frac{\langle \mathbf{x}, \mathbf{y} \rangle}{\|\mathbf{x}\|\,\|\mathbf{y}\|} \ \leqslant \ 1\]
Un nombre entre \(-1\) et \(1\).
Inégalité triangulaire
\[\|\mathbf{x} + \mathbf{y}\| \leqslant \|\mathbf{x}\| + \|\mathbf{y}\|\]
Un détour n’est jamais plus court que la ligne droite.
Conséquence directe de Cauchy-Schwarz.
Angle et corrélation
Définition de l’angle
\[\cos \theta = \frac{\langle \mathbf{x}, \mathbf{y} \rangle}{\|\mathbf{x}\|\,\|\mathbf{y}\|}, \qquad \theta \in [0, \pi]\]
Cauchy-Schwarz garantit que cette définition a un sens.
Lecture géométrique
Figure 1
L’angle ne dépend que des directions, pas des longueurs.
Données centrées
\(\tilde{\mathbf{x}} = \mathbf{x} - \bar{x}\,\mathbf{1}\) : la variable, moyenne retranchée.
\[\operatorname{var}(\mathbf{x}) = \frac{1}{n}\|\tilde{\mathbf{x}}\|^2, \qquad \operatorname{cov}(\mathbf{x},\mathbf{y}) = \frac{1}{n}\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle\]
Variance et covariance : une norme et un produit scalaire.
La corrélation est un cosinus
Résultat central \[\operatorname{cor}(\mathbf{x}, \mathbf{y}) = \frac{\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle}{\|\tilde{\mathbf{x}}\|\,\|\tilde{\mathbf{y}}\|} = \cos \theta\]
Le coefficient de corrélation est le cosinus de l’angle entre les variables centrées.
Trois valeurs à lire
| \(\cos\theta\) | Angle | Interprétation |
|---|---|---|
| \(1\) | \(0\) | même direction — profils proportionnels |
| \(0\) | \(\pi/2\) | directions orthogonales — décorrélation |
| \(-1\) | \(\pi\) | directions opposées — profils inversés |
Une corrélation nulle devient une perpendicularité.
Un calcul complet
\(\mathbf{x} = (2,\, 4,\, 6,\, 8)\), \(\mathbf{y} = (1,\, 3,\, 2,\, 4)\).
\[\tilde{\mathbf{x}} = (-3,\, -1,\, 1,\, 3), \qquad \tilde{\mathbf{y}} = (-1{,}5,\, 0{,}5,\, -0{,}5,\, 1{,}5)\]
\[\langle \tilde{\mathbf{x}}, \tilde{\mathbf{y}} \rangle = 8, \quad \|\tilde{\mathbf{x}}\| = \sqrt{20}, \quad \|\tilde{\mathbf{y}}\| = \sqrt{5} \ \Longrightarrow \ \cos\theta = \frac{8}{10} = 0{,}8\]
Pourquoi cela compte
Un tableau de \(p\) variables : \(p\) vecteurs, leurs angles deux à deux.
Vers l’ACP Des variables très corrélées pointent presque dans la même direction. Elles occupent moins de \(p\) dimensions.
Orthogonalité
Définition
\[\mathbf{x} \perp \mathbf{y} \iff \langle \mathbf{x}, \mathbf{y} \rangle = 0\]
Le vecteur \(\mathbf{0}\) est orthogonal à tout vecteur.
Théorème de Pythagore
Théorème \[\mathbf{x} \perp \mathbf{y} \iff \|\mathbf{x} + \mathbf{y}\|^2 = \|\mathbf{x}\|^2 + \|\mathbf{y}\|^2\]
\[\|\mathbf{x}+\mathbf{y}\|^2 = \|\mathbf{x}\|^2 + 2\langle \mathbf{x},\mathbf{y}\rangle + \|\mathbf{y}\|^2\]
Le double produit disparaît.
Famille orthogonale
Vecteurs non nuls, orthogonaux deux à deux.
\[\forall i \neq j, \quad \langle \mathbf{v}_i, \mathbf{v}_j \rangle = 0\]
Propriété Une famille orthogonale est toujours libre.
Orthogonalité et liberté
Une combinaison nulle, mise en produit scalaire avec \(\mathbf{v}_k\) :
\[\Bigl\langle \sum_i \alpha_i \mathbf{v}_i, \ \mathbf{v}_k \Bigr\rangle = \alpha_k \|\mathbf{v}_k\|^2 = 0\]
\(\mathbf{v}_k \neq \mathbf{0}\), donc \(\alpha_k = 0\). Pour tout \(k\).
L’orthogonalité offre la liberté.
Base orthonormée
Une base orthogonale, dont tous les vecteurs sont unitaires.
\[\langle \mathbf{u}_i, \mathbf{u}_j \rangle = \delta_{ij}\]
La base canonique de \(\mathbb{R}^n\) en est une.
Coordonnées sans système
L’avantage décisif Dans une base orthonormée, les coordonnées sont de simples produits scalaires. \[\mathbf{x} = \sum_{i=1}^{n} \langle \mathbf{x}, \mathbf{u}_i \rangle \, \mathbf{u}_i\]
Aucun système à résoudre. Aucun inverse à calculer.
Identification des coefficients
\(\mathcal{B}\) est une base : la décomposition existe et est unique.
\[\mathbf{x} = \sum_{j=1}^{n} \alpha_j \mathbf{u}_j\]
Produit scalaire des deux membres avec \(\mathbf{u}_i\) :
\[\langle \mathbf{x}, \mathbf{u}_i \rangle = \sum_{j=1}^{n} \alpha_j \langle \mathbf{u}_j, \mathbf{u}_i \rangle = \sum_{j=1}^{n} \alpha_j\, \delta_{ji} = \alpha_i\]
Le même geste qu’à la slide « Orthogonalité et liberté ».
Deux hypothèses, deux rôles
Partage des rôles Base : la décomposition existe. Orthonormalité : ses coefficients se calculent sans système.
Base orthogonale non normée : \(\alpha_i = \dfrac{\langle \mathbf{x}, \mathbf{u}_i \rangle}{\|\mathbf{u}_i\|^2}\).
Les vecteurs unitaires font disparaître le dénominateur.
Comparaison
| Base | Coordonnées |
|---|---|
| quelconque | résoudre \(B\boldsymbol{\alpha} = \mathbf{x}\) |
| orthonormée | \(\alpha_i = \langle \mathbf{x}, \mathbf{u}_i \rangle\) |
Les bases orthonormées seront fournies dans ce cours. Leur construction n’est pas au programme.
Une base orthonormée du plan
Les vecteurs du cours 5, normalisés :
\[\mathbf{u}_1 = \frac{1}{\sqrt{2}}\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \qquad \mathbf{u}_2 = \frac{1}{\sqrt{2}}\begin{pmatrix} -1 \\ 1 \end{pmatrix}\]
Unitaires, et orthogonaux : \(\langle \mathbf{u}_1, \mathbf{u}_2 \rangle = \tfrac{1}{2}(-1 + 1) = 0\).
Les coordonnées, sans calcul
\(\mathbf{x} = (4, 2)\) :
\[\langle \mathbf{x}, \mathbf{u}_1 \rangle = \frac{4+2}{\sqrt{2}} = 3\sqrt{2}, \qquad \langle \mathbf{x}, \mathbf{u}_2 \rangle = \frac{-4+2}{\sqrt{2}} = -\sqrt{2}\]
Deux produits scalaires, là où le cours 5 résolvait un système.
Mêmes directions qu’au cours 5, où \([\mathbf{x}]_{\mathcal{B}} = (3, -1)\) : la normalisation change l’échelle, pas la lecture.
Produit scalaire et coordonnées
\[\langle \mathbf{x}, \mathbf{y} \rangle = \sum_{i=1}^{n} \alpha_i \beta_i, \qquad \alpha_i = \langle \mathbf{x}, \mathbf{u}_i \rangle, \ \beta_i = \langle \mathbf{y}, \mathbf{u}_i \rangle\]
Condition Cette formule vaut dans une base orthonormée. Nulle part ailleurs.
Norme dans une base orthonormée
\[\|\mathbf{x}\|^2 = \sum_{i=1}^{n} \langle \mathbf{x}, \mathbf{u}_i \rangle^2\]
Pythagore, en dimension \(n\).
À retenir pour l’ACP La norme se répartit sur les axes d’une base orthonormée. Chaque axe en porte une part.
Changement de base
Matrice de passage
\(\mathcal{B} = (\mathbf{b}_1, \dots, \mathbf{b}_n)\) : la matrice \(P\) dont les colonnes sont les \(\mathbf{b}_j\).
\[P = \bigl[\, \mathbf{b}_1 \ \big| \ \dots \ \big| \ \mathbf{b}_n \,\bigr]\]
\(\mathcal{B}\) est une base : \(P\) est inversible.
Les deux formules
\[\mathbf{x} = P\,[\mathbf{x}]_{\mathcal{B}} \qquad \Longleftrightarrow \qquad [\mathbf{x}]_{\mathcal{B}} = P^{-1}\mathbf{x}\]
La formule du cours 5, avec son nom.
\(P\) reconstruit le vecteur ; \(P^{-1}\) le décode.
Le sens du produit
\(P\) transporte des coordonnées \(\mathcal{B}\) vers des coordonnées canoniques.
Source d’erreurs \(P\) contient les vecteurs de la nouvelle base, exprimés dans l’ancienne. Jamais l’inverse.
Matrice orthogonale
Une matrice carrée dont les colonnes forment une base orthonormée.
\[P^{\intercal}P = I_n \qquad \Longleftrightarrow \qquad P^{-1} = P^{\intercal}\]
L’inverse s’obtient par simple transposition.
Le produit \(P^{\intercal}P\)
Le coefficient \((i,j)\) de \(P^{\intercal}P\) :
\[(P^{\intercal}P)_{ij} = \langle \mathbf{u}_i, \mathbf{u}_j \rangle = \delta_{ij}\]
L’orthonormalité des colonnes, écrite matriciellement.
Un exemple
La rotation d’angle \(\theta\) :
\[ P = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} \]
Colonnes unitaires et orthogonales.
\[P^{-1} = P^{\intercal} = \begin{pmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{pmatrix} \]
Ce que préserve une matrice orthogonale
\[\langle P\mathbf{x}, P\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle, \qquad \|P\mathbf{x}\| = \|\mathbf{x}\|\]
Longueurs, angles, distances : tout est conservé.
Interprétation Un changement de base orthonormée est une rotation du repère. Les données ne bougent pas ; le point de vue change.
Récapitulatif
| Notion | Formule | Usage |
|---|---|---|
| Produit scalaire | \(\mathbf{x}^{\intercal}\mathbf{y}\) | tout le reste en découle |
| Norme | \(\sqrt{\langle \mathbf{x},\mathbf{x}\rangle}\) | longueur, variance |
| Angle | \(\cos\theta = \frac{\langle \mathbf{x},\mathbf{y}\rangle}{\|\mathbf{x}\|\|\mathbf{y}\|}\) | corrélation |
| Orthogonalité | \(\langle \mathbf{x},\mathbf{y}\rangle = 0\) | décorrélation, liberté |
| Base orthonormée | \(\alpha_i = \langle \mathbf{x},\mathbf{u}_i\rangle\) | coordonnées immédiates |
| Passage | \([\mathbf{x}]_{\mathcal{B}} = P^{-1}\mathbf{x}\), \(P^{-1}=P^{\intercal}\) | changement de repère |