Quiz d’entraînement sur les projections orthogonales et les moindres carrés avec une leçon interactive pas à pas
Utilisez la série de questions plus bas sur la page pour vous entraîner aux projections orthogonales et aux moindres carrés : vecteurs les plus proches dans des sous-espaces, décompositions \(v=p+r\) avec \(p\in S\) et \(r\perp S\), projection sur une droite, matrices de projection avec \(P^2=P\) et \(P^T=P\), formules de projection sur l’espace des colonnes comme \(A(A^TA)^{-1}A^T\) lorsque \(A\) est de rang plein en colonnes, équations normales \(A^TAx=A^Tb\), orthogonalité du résidu, meilleurs ajustements constants et ce qui change lorsque \(A^TA\) est singulière. Ouvrez la leçon pour des exemples corrigés concis et des vérifications rapides.
Répondez à la série de questions et révisez vos erreurs à la fin.
Comment fonctionne cet entraînement sur les projections et les moindres carrés
1. Faites la série de questions : répondez à des questions sur les projections, les résidus, les matrices de projection, les équations normales et les meilleurs ajustements.
2. Ouvrez la leçon : revoyez les formules, les tests de reconnaissance, les exemples corrigés et les vérifications à réponse unique.
3. Réessayez : revenez à la série de questions et décidez d’abord si le problème demande un vecteur le plus proche, une matrice de projection, une condition sur le résidu ou un coefficient des moindres carrés.
Ce que vous allez apprendre dans la leçon sur les projections orthogonales et les moindres carrés
Géométrie des projections orthogonales
Vecteur le plus proche : \(\operatorname{proj}_S(v)\) est l’unique point de \(S\) le plus proche de \(v\)
Leçon sur les projections orthogonales et les moindres carrés
1 / 8
Vue d’ensemble de la leçon
Objectif : Construire une méthode fiable pour les projections et les moindres carrés : décomposer un vecteur en une partie dans un sous-espace et une erreur orthogonale, calculer des projections sur des droites et des espaces des colonnes, reconnaître les matrices de projection orthogonale, résoudre les équations normales et savoir ce qui reste vrai lorsque les colonnes de \(A\) sont dépendantes.
Critères de réussite
Énoncer la décomposition orthogonale \(v=p+r\), avec \(p\in S\) et \(r\perp S\).
Utiliser la formule de droite \(\operatorname{proj}_{\operatorname{span}(u)}(v)=\dfrac{v\cdot u}{u\cdot u}u\).
Reconnaître qu’une matrice de projection orthogonale vérifie \(P^2=P\) et \(P^T=P\).
Utiliser \(QQ^T\) pour un sous-espace dont les colonnes de \(Q\) forment une base orthonormée, et \(Q^Tb\) pour les coefficients des moindres carrés.
Utiliser \(A(A^TA)^{-1}A^T\) lorsque \(A\) est de rang plein en colonnes.
Déduire les moindres carrés de l’orthogonalité du résidu \(A^T(b-A\hat{x})=0\).
Séparer le vecteur ajusté \(A\hat{x}\) du vecteur de coefficients \(\hat{x}\).
Traiter les cas de rang déficient sans supposer que \(A^TA\) est inversible.
Vocabulaire clé
Projection : le vecteur le plus proche dans un sous-espace.
Résidu : l’erreur \(r=v-p\) ou \(r=b-A\hat{x}\).
Complément orthogonal : \(S^\perp=\{w:w\cdot s=0\text{ pour tout }s\in S\}\).
Matrice de projection : une application linéaire \(P\) avec \(P^2=P\) ; les projections orthogonales vérifient aussi \(P^T=P\).
Espace des colonnes : tous les vecteurs \(Ax\), les sorties ajustées possibles de \(A\).
Équations normales : \(A^TA\hat{x}=A^Tb\), équivalentes à l’orthogonalité du résidu.
Vérification rapide initiale
Vérification initiale : Si \(p=\operatorname{proj}_S(v)\), que sait-on de \(v-p\) ?
Indice : la condition de point le plus proche équivaut à dire que l’erreur est perpendiculaire à chaque direction du sous-espace.
Une projection signifie une partie dans le sous-espace plus une erreur perpendiculaire
Objectif d’apprentissage : reconnaître la géométrie derrière chaque calcul de projection et de moindres carrés.
Idée clé
Pour un sous-espace \(S\) d’un espace à produit intérieur, tout vecteur \(v\) se décompose sous la forme \[v=p+r,\qquad p\in S,\quad r\in S^\perp.\] Le vecteur \(p\) est \(\operatorname{proj}_S(v)\), et \(r\) est le résidu. Le théorème de Pythagore donne \(\|v-s\|^2=\|r\|^2+\|p-s\|^2\) pour tout \(s\in S\), donc \(p\) est le vecteur le plus proche dans \(S\).
Liste de reconnaissance
Identifier le sous-espace cible \(S\).
Trouver un candidat \(p\in S\).
Vérifier \(v-p\perp S\), en général avec des produits scalaires contre les vecteurs d’une base de \(S\).
Si les deux conditions sont satisfaites, \(p\) est la projection.
Exemple corrigé
Exemple : Projetez \(v=(1,0)\) sur la droite \(S=\operatorname{span}((1,1))\).
Un vecteur de la droite est de la forme \(p=t(1,1)\). L’erreur \(v-p=(1-t,-t)\) doit être orthogonale à \((1,1)\), donc \((1-t)+(-t)=0\). Ainsi \(1-2t=0\), donc \(t=\tfrac12\) et \(p=(\tfrac12,\tfrac12)\).
À vous
À vous : Quelle est la projection de \((1,0)\) sur \(\operatorname{span}((1,1))\) ?
Indice : le coefficient est \(\dfrac{(1,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=\dfrac12\).
Utiliser un seul coefficient de produit scalaire
Objectif d’apprentissage : calculer rapidement les projections sur une droite sans supposer par erreur que le vecteur directeur est unitaire.
Idée clé
Si \(u≠0\), la projection de \(v\) sur \(\operatorname{span}(u)\) est \[\operatorname{proj}_{u}(v)=\frac{v\cdot u}{u\cdot u}u.\] Si \(u\) est un vecteur unitaire, cela se simplifie en \((v\cdot u)u\).
Notes sur les formules
Le dénominateur est \(u\cdot u=\|u\|^2\), pas seulement \(\|u\|\).
Si \(v\) est déjà sur la droite, sa projection est \(v\).
Si \(v\perp u\), la projection est \(0\).
Le résidu \(v-\operatorname{proj}_u(v)\) est perpendiculaire à \(u\).
Exemple corrigé
Exemple : Projetez \(v=(2,0)\) sur \(\operatorname{span}((1,1))\).
Le coefficient est \(\dfrac{(2,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=\dfrac{2}{2}=1\). La projection est donc \(1(1,1)=(1,1)\).
À vous
À vous : Quelle est la projection de \((2,0)\) sur la droite engendrée par \((1,1)\) ?
Indice : le produit scalaire avec \((1,1)\) vaut \(2\), et \((1,1)\cdot(1,1)=2\).
Les matrices de projection orthogonale sont idempotentes et symétriques
Objectif d’apprentissage : reconnaître les matrices de projection à partir de tests algébriques et lire leur image, leur noyau, leur rang et leur trace.
Idée clé
Une projection vérifie \(P^2=P\) : une fois un vecteur projeté, le projeter à nouveau ne change rien. C’est une projection orthogonale exactement lorsque le résidu est perpendiculaire à l’image ; dans les coordonnées standard, cela signifie \(P^T=P\).
Tests matriciels
\(P^2=P\) : projection ou application idempotente.
\(P^T=P\) : projection orthogonale dans l’espace euclidien.
\(\operatorname{Range}(P)\) est le sous-espace cible, et la valeur propre \(1\) correspond aux vecteurs de l’image.
\(\ker P=S^\perp\) pour une projection orthogonale sur \(S\), et \(I-P\) projette sur \(S^\perp\).
Les valeurs propres sont seulement \(0\) et \(1\), donc \(\operatorname{tr}P=\operatorname{rank}P\).
Exemple corrigé
Exemple : La projection sur l’axe des \(x\) envoie \((x,y)\) sur \((x,0)\). Quelles propriétés possède sa matrice ?
La matrice est \(\operatorname{diag}(1,0)\). L’appliquer deux fois donne la même matrice, donc \(P^2=P\). Elle est égale à sa transposée, donc \(P^T=P\). Son image est l’axe des \(x\) et son noyau est l’axe des \(y\).
À vous
À vous : Quelles identités sont vérifiées par toute matrice de projection orthogonale \(P\) ?
Indice : projeter deux fois ne change rien, et les matrices de projection orthogonale sont symétriques.
Projection sur \(\operatorname{Col}(A)\)
Objectif d’apprentissage : choisir la bonne formule de projection à partir des colonnes disponibles.
Idée clé
Si \(Q\) a des colonnes orthonormées qui engendrent \(S\), alors la matrice de projection sur \(S\) est \(P=QQ^T\). Si \(A\) est de rang plein en colonnes mais que ses colonnes ne sont pas nécessairement orthonormées, alors \[P=A(A^TA)^{-1}A^T.\] Les deux formules produisent le vecteur le plus proche dans \(\operatorname{Col}(A)\).
Étapes pour l’espace des colonnes
Si les colonnes sont orthonormées, utilisez \(QQ^T\) pour la matrice de projection.
Pour les coefficients des moindres carrés avec des colonnes orthonormées \(Q\), utilisez \(\hat{x}=Q^Tb\).
Si les colonnes sont indépendantes mais pas orthonormées, utilisez \(A(A^TA)^{-1}A^T\).
Si les colonnes sont dépendantes, réduisez à une base indépendante ou utilisez la pseudo-inverse.
Vérifiez toujours que la sortie appartient à l’espace des colonnes et que le résidu est orthogonal à cet espace.
Exemple corrigé
Exemple : Soit \(Q\) avec pour unique colonne unitaire \(q=(1/\sqrt2,1/\sqrt2)\). Que fait \(QQ^T\) ?
Il projette tout vecteur \((a,b)\) sur la droite \(y=x\), ce qui donne \(\left(\dfrac{a+b}{2},\dfrac{a+b}{2}\right)\). Par exemple, \((2,0)\) est envoyé sur \((1,1)\).
À vous
À vous : Si \(Q\) a des colonnes orthonormées, quelle est la matrice de projection sur \(\operatorname{Col}(Q)\) ?
Indice : des colonnes orthonormées donnent \(Q^TQ=I\), donc la formule complète se simplifie.
Les moindres carrés sont une projection sur un espace des colonnes
Objectif d’apprentissage : traduire un système incompatible \(Ax\approx b\) en problème de projection.
Idée clé
Une solution des moindres carrés minimise \(\|b-Ax\|\). Le vecteur ajusté \(A\hat{x}\) est la projection de \(b\) sur \(\operatorname{Col}(A)\), donc le résidu \(r=b-A\hat{x}\) est orthogonal à chaque colonne de \(A\). C’est exactement \(A^Tr=0\), ou \(A^TA\hat{x}=A^Tb\).
Faits sur les équations normales
Les équations normales sont \(A^TA\hat{x}=A^Tb\).
Si \(A\) est de rang plein en colonnes, \(A^TA\) est inversible et le vecteur de coefficients \(\hat{x}\) est unique.
Si \(A=Q\) a des colonnes orthonormées, alors \(\hat{x}=Q^Tb\).
Le vecteur ajusté \(A\hat{x}\) est la projection de \(b\) sur \(\operatorname{Col}(A)\).
Le résidu est perpendiculaire à chaque colonne de \(A\).
Exemple corrigé
Exemple : Trouvez le meilleur ajustement constant aux données \(1,3,5\).
Ajuster une constante \(c\) signifie projeter \((1,3,5)\) sur la droite engendrée par \((1,1,1)\). Le coefficient est la moyenne \(c=(1+3+5)/3=3\). Le résidu est \((-2,0,2)\), dont les composantes ont une somme égale à \(0\), donc il est orthogonal à la direction constante.
À vous
À vous : En moindres carrés, à quel espace le résidu \(b-A\hat{x}\) est-il orthogonal ?
Indice : les équations normales disent que \(A^T(b-A\hat{x})=0\), donc chaque colonne a un produit scalaire nul avec le résidu.
Quand les coefficients ne sont pas uniques, le vecteur ajusté l’est quand même
Objectif d’apprentissage : éviter d’abuser des formules avec inverse lorsque les colonnes de \(A\) sont dépendantes.
Idée clé
Si \(A\) n’est pas de rang plein en colonnes, alors \(A^TA\) est singulière. Il peut y avoir plusieurs vecteurs de coefficients des moindres carrés \(\hat{x}\), car des coefficients différents peuvent donner le même vecteur ajusté. La géométrie conserve pourtant un unique vecteur le plus proche \(p\in\operatorname{Col}(A)\), donc \(A\hat{x}=p\) est unique.
Faits en cas de rang déficient
\(A^TA\) est inversible exactement lorsque les colonnes de \(A\) sont indépendantes.
Les équations normales caractérisent toujours les minimiseurs des moindres carrés, mais elles peuvent avoir plusieurs solutions.
La projection \(p=A\hat{x}\) est unique.
La pseudo-inverse \(A^+b\) donne la solution des moindres carrés de plus petite norme de coefficients.
Exemple corrigé
Exemple : Supposons que les deux colonnes de \(A\) soient \((1,0)\), et que \(b=(2,1)\). Que se passe-t-il ?
L’espace des colonnes est l’axe des \(x\), donc le vecteur ajusté est la projection \(p=(2,0)\). Tous les coefficients vérifiant \(x_1+x_2=2\) donnent le même vecteur ajusté, donc les coefficients ne sont pas uniques. Le résidu est \(b-p=(0,1)\), perpendiculaire à l’axe des \(x\).
À vous
À vous : Si \(A\) est de rang déficient, qu’est-ce qui peut encore être vrai pour les moindres carrés ?
Indice : le point le plus proche dans un sous-espace est unique même lorsque plusieurs vecteurs de coefficients le produisent.
La plupart des erreurs confondent le vecteur de coefficients avec la projection
Objectif d’apprentissage : terminer avec une liste compacte des erreurs courantes sur les projections et les moindres carrés.
Pièges courants
Direction non unitaire : divisez par \(u\cdot u\) lors d’une projection sur \(\operatorname{span}(u)\).
Projection ou résidu : \(p\in S\), tandis que \(v-p\in S^\perp\).
Matrice de projection : \(P^2=P\) seul ne suffit pas pour une projection orthogonale ; vérifiez aussi la symétrie.
Formule en rang plein : \(A(A^TA)^{-1}A^T\) exige des colonnes indépendantes.
Moindres carrés : \(A\hat{x}\) est la projection de \(b\), pas nécessairement \(b\) lui-même.
Rang déficient : \(\hat{x}\) peut ne pas être unique, mais \(A\hat{x}\) est unique.
Exemple corrigé
Exemple : Si \(v=(2,2)\) appartient déjà à la droite \(y=x\), quelle est sa projection sur cette droite ?
La projection est \(v\) lui-même : \((2,2)\). Un vecteur déjà dans le sous-espace a un résidu nul, et zéro est orthogonal à tout sous-espace.
À vous
À vous : Quel est le meilleur ajustement constant au sens des moindres carrés pour les données \(1,3,5\) ?
Indice : un meilleur ajustement constant est la moyenne des valeurs données.
Résumé final
Projection signifie \(v=p+r\) avec \(p\in S\) et \(r\perp S\).
Pour une droite, utilisez \(\dfrac{v\cdot u}{u\cdot u}u\).
Les matrices de projection orthogonale vérifient \(P^2=P\) et \(P^T=P\).
\(\ker P=S^\perp\) pour la projection sur \(S\), et \(I-P\) projette sur \(S^\perp\).
Pour des colonnes orthonormées \(Q\), la matrice de projection est \(QQ^T\) et les coefficients des moindres carrés sont \(Q^Tb\).
Pour \(A\) de rang plein en colonnes, la matrice de projection sur l’espace des colonnes est \(A(A^TA)^{-1}A^T\).
Les moindres carrés rendent \(b-A\hat{x}\) orthogonal à \(\operatorname{Col}(A)\).
Les équations normales sont \(A^TA\hat{x}=A^Tb\).
Le rang déficient peut rendre \(\hat{x}\) non unique, tandis que \(A\hat{x}\) reste l’unique projection.
Étape suivante : fermez cette leçon et réessayez le quiz. Pour chaque problème, identifiez d’abord le sous-espace cible, puis décidez si vous avez besoin d’une projection vectorielle, d’une matrice de projection ou d’une condition de résidu des moindres carrés.
