Orthogonale Projektionen & Methode der kleinsten Quadrate
Übungsquiz zu orthogonalen Projektionen & zur Methode der kleinsten Quadrate mit interaktiver Schritt-für-Schritt-Lektion
Nutze das Quiz weiter unten auf der Seite, um orthogonale Projektionen und die Methode der kleinsten Quadrate zu üben: nächstgelegene Vektoren in Unterräumen, Zerlegungen \(v=p+r\) mit \(p\in S\) und \(r\perp S\), Projektion auf eine Gerade, Projektionsmatrizen mit \(P^2=P\) und \(P^T=P\), Spaltenraumformeln wie \(A(A^TA)^{-1}A^T\), wenn \(A\) vollen Spaltenrang hat, Normalgleichungen \(A^TAx=A^Tb\), Residualorthogonalität, beste konstante Anpassungen und was sich ändert, wenn \(A^TA\) singulär ist. In der Lektion findest du knappe ausgearbeitete Beispiele und kurze Kontrollfragen.
Beantworte die Fragensammlung und prüfe deine Fehler am Ende.
So funktioniert diese Übung zu Projektionen und zur Methode der kleinsten Quadrate
1. Bearbeite das Übungsset: Beantworte Fragen zu Projektionen, Residuen, Projektionsmatrizen, Normalgleichungen und besten Anpassungen.
2. Öffne die Lektion: Wiederhole die Formeln, Erkennungstests, ausgearbeiteten Beispiele und Kontrollfragen mit genau einer richtigen Antwort.
3. Erneut versuchen: Kehre zum Fragenset zurück und entscheide zuerst, ob die Aufgabe nach einem nächstgelegenen Vektor, einer Projektionsmatrix, einer Residualbedingung oder einem Kleinste-Quadrate-Koeffizienten fragt.
Was du in der Lektion zu orthogonalen Projektionen und zur Methode der kleinsten Quadrate lernst
Geometrie orthogonaler Projektionen
Nächstgelegener Vektor: \(\operatorname{proj}_S(v)\) ist der eindeutige Punkt in \(S\), der \(v\) am nächsten liegt
Lektion zu orthogonalen Projektionen & zur Methode der kleinsten Quadrate
1 / 8
Lektionsüberblick
Ziel: Entwickle einen zuverlässigen Ablauf für Projektionen und die Methode der kleinsten Quadrate: Zerlege einen Vektor in einen Unterraumanteil plus orthogonalen Fehler, berechne Projektionen auf Geraden und Spaltenräume, erkenne orthogonale Projektionsmatrizen, löse Normalgleichungen und weiß, was wahr bleibt, wenn die Spalten von \(A\) abhängig sind.
Erfolgskriterien
Formuliere die orthogonale Zerlegung \(v=p+r\) mit \(p\in S\) und \(r\perp S\).
Nutze die Geradenformel \(\operatorname{proj}_{\operatorname{span}(u)}(v)=\dfrac{v\cdot u}{u\cdot u}u\).
Erkenne, dass eine orthogonale Projektionsmatrix \(P^2=P\) und \(P^T=P\) erfüllt.
Nutze \(QQ^T\) für einen Unterraum mit orthonormalen Basisspalten \(Q\) und \(Q^Tb\) für die Kleinste-Quadrate-Koeffizienten.
Nutze \(A(A^TA)^{-1}A^T\), wenn \(A\) vollen Spaltenrang hat.
Leite die Methode der kleinsten Quadrate aus der Residualorthogonalität \(A^T(b-A\hat{x})=0\) her.
Unterscheide den angepassten Vektor \(A\hat{x}\) vom Koeffizientenvektor \(\hat{x}\).
Behandle rangdefiziente Fälle, ohne anzunehmen, dass \(A^TA\) invertierbar ist.
Wichtige Begriffe
Projektion: der nächstgelegene Vektor in einem Unterraum.
Residuum: der Fehler \(r=v-p\) oder \(r=b-A\hat{x}\).
Orthogonales Komplement: \(S^\perp=\{w:w\cdot s=0\text{ für alle }s\in S\}\).
Projektionsmatrix: eine lineare Abbildung \(P\) mit \(P^2=P\); orthogonale Projektionen erfüllen zusätzlich \(P^T=P\).
Spaltenraum: alle Vektoren \(Ax\), also die möglichen angepassten Ausgaben von \(A\).
Normalgleichungen: \(A^TA\hat{x}=A^Tb\), äquivalent zur Residualorthogonalität.
Schneller Vorabcheck
Vorabcheck: Wenn \(p=\operatorname{proj}_S(v)\), was gilt für \(v-p\)?
Hinweis: Die Bedingung für den nächstgelegenen Punkt ist äquivalent dazu, dass der Fehler senkrecht zu jeder Richtung im Unterraum steht.
Projektion bedeutet Unterraumanteil plus senkrechter Fehler
Lernziel: Erkenne die Geometrie hinter jeder Projektions- und Kleinste-Quadrate-Rechnung.
Kernidee
Für einen Unterraum \(S\) eines Innenproduktraums lässt sich jeder Vektor \(v\) zerlegen als \[v=p+r,\qquad p\in S,\quad r\in S^\perp.\] Der Vektor \(p\) ist \(\operatorname{proj}_S(v)\), und \(r\) ist das Residuum. Der Satz des Pythagoras liefert \(\|v-s\|^2=\|r\|^2+\|p-s\|^2\) für jedes \(s\in S\), also ist \(p\) der nächstgelegene Vektor in \(S\).
Erkennungs-Prüfenliste
Bestimme den Zielunterraum \(S\).
Finde einen Kandidaten \(p\in S\).
Prüfe \(v-p\perp S\), meistens durch Skalarprodukte mit einer Basis von \(S\).
Wenn beide Bedingungen erfüllt sind, ist \(p\) die Projektion.
Ausgearbeitetes Beispiel
Beispiel: Projiziere \(v=(1,0)\) auf die Gerade \(S=\operatorname{span}((1,1))\).
Ein Vektor auf der Geraden hat die Form \(p=t(1,1)\). Der Fehler \(v-p=(1-t,-t)\) muss orthogonal zu \((1,1)\) sein, also \((1-t)+(-t)=0\). Damit gilt \(1-2t=0\), also \(t=\tfrac12\) und \(p=(\tfrac12,\tfrac12)\).
Übe selbst
Aufgabe: Was ist die Projektion von \((1,0)\) auf \(\operatorname{span}((1,1))\)?
Hinweis: Der Koeffizient ist \(\dfrac{(1,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=\dfrac12\).
Nutze einen Skalarprodukt-Koeffizienten
Lernziel: Berechne Geradenprojektionen schnell, ohne versehentlich anzunehmen, dass der Richtungsvektor Einheitslänge hat.
Kernidee
Wenn \(u≠0\), ist die Projektion von \(v\) auf \(\operatorname{span}(u)\) gleich \[\operatorname{proj}_{u}(v)=\frac{v\cdot u}{u\cdot u}u.\] Wenn \(u\) ein Einheitsvektor ist, vereinfacht sich das zu \((v\cdot u)u\).
Formelhinweise
Der Nenner ist \(u\cdot u=\|u\|^2\), nicht nur \(\|u\|\).
Wenn \(v\) bereits auf der Geraden liegt, ist die Projektion \(v\).
Wenn \(v\perp u\), ist die Projektion \(0\).
Das Residuum \(v-\operatorname{proj}_u(v)\) ist senkrecht zu \(u\).
Ausgearbeitetes Beispiel
Beispiel: Projiziere \(v=(2,0)\) auf \(\operatorname{span}((1,1))\).
Der Koeffizient ist \(\dfrac{(2,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=\dfrac{2}{2}=1\). Daher ist die Projektion \(1(1,1)=(1,1)\).
Übe selbst
Aufgabe: Was ist die Projektion von \((2,0)\) auf die von \((1,1)\) aufgespannte Gerade?
Hinweis: Das Skalarprodukt mit \((1,1)\) ist \(2\), und \((1,1)\cdot(1,1)=2\).
Orthogonale Projektionsmatrizen sind idempotent und symmetrisch
Lernziel: Erkenne Projektionsmatrizen an algebraischen Tests und lies ihr Bild, ihren Kern, Rang und ihre Spur ab.
Kernidee
Eine Projektion erfüllt \(P^2=P\): Sobald ein Vektor projiziert wurde, ändert erneutes Projizieren nichts mehr. Sie ist genau dann eine orthogonale Projektion, wenn das Residuum senkrecht zum Bild steht; in Standardkoordinaten bedeutet das \(P^T=P\).
Matrixtests
\(P^2=P\): Projektion oder idempotente Abbildung.
\(P^T=P\): orthogonale Projektion im euklidischen Raum.
\(\operatorname{Range}(P)\) ist der Zielunterraum, und der Eigenwert \(1\) gehört zu Vektoren im Bild.
\(\ker P=S^\perp\) für eine orthogonale Projektion auf \(S\), und \(I-P\) projiziert auf \(S^\perp\).
Eigenwerte sind nur \(0\) und \(1\), also \(\operatorname{tr}P=\operatorname{rank}P\).
Ausgearbeitetes Beispiel
Beispiel: Die Projektion auf die \(x\)-Achse schickt \((x,y)\) auf \((x,0)\). Welche Eigenschaften hat ihre Matrix?
Die Matrix ist \(\operatorname{diag}(1,0)\). Zweimaliges Anwenden ergibt dieselbe Matrix, also \(P^2=P\). Sie ist gleich ihrer Transponierten, also \(P^T=P\). Ihr Bild ist die \(x\)-Achse und ihr Kern ist die \(y\)-Achse.
Übe selbst
Aufgabe: Welche Identitäten gelten für jede orthogonale Projektionsmatrix \(P\)?
Hinweis: Zweimaliges Projizieren ändert nichts, und orthogonale Projektionsmatrizen sind symmetrisch.
Auf \(\operatorname{Col}(A)\) projizieren
Lernziel: Wähle die passende Projektionsformel aus den Spalten, die du hast.
Kernidee
Wenn \(Q\) orthonormale Spalten hat, die \(S\) aufspannen, dann ist die Projektionsmatrix auf \(S\) gleich \(P=QQ^T\). Wenn \(A\) vollen Spaltenrang hat, aber nicht unbedingt orthonormale Spalten, dann gilt \[P=A(A^TA)^{-1}A^T.\] Beide Formeln liefern den nächstgelegenen Vektor in \(\operatorname{Col}(A)\).
Schritte für den Spaltenraum
Wenn die Spalten orthonormal sind, nutze \(QQ^T\) für die Projektionsmatrix.
Für Kleinste-Quadrate-Koeffizienten bei orthonormalen Spalten \(Q\) nutze \(\hat{x}=Q^Tb\).
Wenn die Spalten unabhängig, aber nicht orthonormal sind, nutze \(A(A^TA)^{-1}A^T\).
Wenn Spalten abhängig sind, reduziere auf eine unabhängige Basis oder nutze die Pseudoinverse.
Prüfe immer, dass die Ausgabe im Spaltenraum liegt und das Residuum orthogonal zum Spaltenraum ist.
Ausgearbeitetes Beispiel
Beispiel: Sei \(Q\) die einzelne Einheitsspalte \(q=(1/\sqrt2,1/\sqrt2)\). Was bewirkt \(QQ^T\)?
Es projiziert jeden Vektor \((a,b)\) auf die Gerade \(y=x\) und ergibt \(\left(\dfrac{a+b}{2},\dfrac{a+b}{2}\right)\). Zum Beispiel wird \((2,0)\) auf \((1,1)\) geschickt.
Übe selbst
Aufgabe: Wenn \(Q\) orthonormale Spalten hat, was ist die Projektionsmatrix auf \(\operatorname{Col}(Q)\)?
Hinweis: Orthonormale Spalten liefern \(Q^TQ=I\), daher fällt die allgemeine Formel zusammen.
Die Methode der kleinsten Quadrate ist eine Projektion auf einen Spaltenraum
Lernziel: Übersetze ein inkonsistentes System \(Ax\approx b\) in ein Projektionsproblem.
Kernidee
Eine Lösung nach der Methode der kleinsten Quadrate minimiert \(\|b-Ax\|\). Der angepasste Vektor \(A\hat{x}\) ist die Projektion von \(b\) auf \(\operatorname{Col}(A)\), also ist das Residuum \(r=b-A\hat{x}\) orthogonal zu jeder Spalte von \(A\). Das ist genau \(A^Tr=0\), oder \(A^TA\hat{x}=A^Tb\).
Fakten zu Normalgleichungen
Die Normalgleichungen sind \(A^TA\hat{x}=A^Tb\).
Wenn \(A\) vollen Spaltenrang hat, ist \(A^TA\) invertierbar und der Koeffizientenvektor \(\hat{x}\) eindeutig.
Wenn \(A=Q\) orthonormale Spalten hat, dann gilt \(\hat{x}=Q^Tb\).
Der angepasste Vektor \(A\hat{x}\) ist die Projektion von \(b\) auf \(\operatorname{Col}(A)\).
Das Residuum steht senkrecht auf jeder Spalte von \(A\).
Ausgearbeitetes Beispiel
Beispiel: Finde die beste konstante Anpassung an die Daten \(1,3,5\).
Eine konstante Anpassung \(c\) bedeutet, \((1,3,5)\) auf die von \((1,1,1)\) aufgespannte Gerade zu projizieren. Der Koeffizient ist der Mittelwert \(c=(1+3+5)/3=3\). Das Residuum ist \((-2,0,2)\), dessen Einträge sich zu \(0\) summieren, also ist es orthogonal zur konstanten Richtung.
Übe selbst
Aufgabe: Bei der Methode der kleinsten Quadrate ist das Residuum \(b-A\hat{x}\) orthogonal zu welchem Raum?
Hinweis: Die Normalgleichungen sagen \(A^T(b-A\hat{x})=0\), also hat jede Spalte Skalarprodukt null mit dem Residuum.
Wenn Koeffizienten nicht eindeutig sind, ist der angepasste Vektor es trotzdem
Lernziel: Vermeide es, Inversenformeln zu weit anzuwenden, wenn Spalten von \(A\) abhängig sind.
Kernidee
Wenn \(A\) keinen vollen Spaltenrang hat, ist \(A^TA\) singulär. Es kann viele Kleinste-Quadrate-Koeffizientenvektoren \(\hat{x}\) geben, weil verschiedene Koeffizienten denselben angepassten Vektor ergeben können. Die Geometrie hat aber weiterhin einen eindeutigen nächstgelegenen Vektor \(p\in\operatorname{Col}(A)\), also ist \(A\hat{x}=p\) eindeutig.
Fakten zu rangdefizienten Fällen
\(A^TA\) ist genau dann invertierbar, wenn die Spalten von \(A\) unabhängig sind.
Normalgleichungen charakterisieren weiterhin Kleinste-Quadrate-Minimierer, können aber mehrere Lösungen haben.
Die Projektion \(p=A\hat{x}\) ist eindeutig.
Die Pseudoinverse \(A^+b\) liefert die Kleinste-Quadrate-Lösung mit der kleinsten Koeffizientennorm.
Ausgearbeitetes Beispiel
Beispiel: Angenommen, beide Spalten von \(A\) sind \((1,0)\), und \(b=(2,1)\). Was passiert?
Der Spaltenraum ist die \(x\)-Achse, also ist der angepasste Vektor die Projektion \(p=(2,0)\). Alle Koeffizienten mit \(x_1+x_2=2\) ergeben denselben angepassten Vektor, daher sind die Koeffizienten nicht eindeutig. Das Residuum ist \(b-p=(0,1)\), senkrecht zur \(x\)-Achse.
Übe selbst
Aufgabe: Wenn \(A\) rangdefizient ist, was kann bei der Methode der kleinsten Quadrate trotzdem gelten?
Hinweis: Der nächstgelegene Punkt in einem Unterraum ist eindeutig, auch wenn mehrere Koeffizientenvektoren ihn erzeugen.
Die meisten Fehler verwechseln den Koeffizientenvektor mit der Projektion
Lernziel: Schließe mit einer kompakten Prüfenliste für häufige Fehler bei Projektionen und der Methode der kleinsten Quadrate ab.
Häufige Fallen
Nicht normierter Richtungsvektor: Teile durch \(u\cdot u\), wenn du auf \(\operatorname{span}(u)\) projizierst.
Projektion vs. Residuum: \(p\in S\), während \(v-p\in S^\perp\).
Projektionsmatrix: \(P^2=P\) allein reicht für eine orthogonale Projektion nicht; prüfe auch Symmetrie.
Methode der kleinsten Quadrate: \(A\hat{x}\) ist die Projektion von \(b\), nicht unbedingt \(b\) selbst.
Rangdefizienz: \(\hat{x}\) muss nicht eindeutig sein, aber \(A\hat{x}\) ist eindeutig.
Ausgearbeitetes Beispiel
Beispiel: Wenn \(v=(2,2)\) bereits auf der Geraden \(y=x\) liegt, was ist seine Projektion auf diese Gerade?
Die Projektion ist \(v\) selbst: \((2,2)\). Ein Vektor, der bereits im Unterraum liegt, hat Residuum null, und null ist orthogonal zu jedem Unterraum.
Übe selbst
Aufgabe: Was ist die beste konstante Kleinste-Quadrate-Anpassung für die Daten \(1,3,5\)?
Hinweis: Eine beste konstante Anpassung ist der Mittelwert der Datenwerte.
Abschluss-Wiederholung
Projektion bedeutet \(v=p+r\) mit \(p\in S\) und \(r\perp S\).
Für eine Gerade nutze \(\dfrac{v\cdot u}{u\cdot u}u\).
Orthogonale Projektionsmatrizen erfüllen \(P^2=P\) und \(P^T=P\).
\(\ker P=S^\perp\) für die Projektion auf \(S\), und \(I-P\) projiziert auf \(S^\perp\).
Für orthonormale Spalten \(Q\) ist die Projektionsmatrix \(QQ^T\), und die Kleinste-Quadrate-Koeffizienten sind \(Q^Tb\).
Für vollen Spaltenrang von \(A\) ist die Spaltenraum-Projektionsmatrix \(A(A^TA)^{-1}A^T\).
Bei der Methode der kleinsten Quadrate ist \(b-A\hat{x}\) orthogonal zu \(\operatorname{Col}(A)\).
Normalgleichungen sind \(A^TA\hat{x}=A^Tb\).
Rangdefizienz kann dazu führen, dass \(\hat{x}\) nicht eindeutig ist, während \(A\hat{x}\) die eindeutige Projektion bleibt.
Nächster Schritt: Schließe diese Lektion und versuche das Quiz erneut. Bestimme bei jeder Aufgabe zuerst den Zielunterraum und entscheide dann, ob du eine Vektorprojektion, eine Projektionsmatrix oder eine Residualbedingung aus der Methode der kleinsten Quadrate brauchst.
Übungsset
Übungsfragen zu Orthogonal Projections & Least Squares mit sofortiger Punktzahl
Beantworte alle 10 Fragen unten und erhalte danach deine Punktzahl sowie eine Fehlerübersicht, damit du genau weißt, was du verbessern kannst.
0/10beantwortet
Frage 1Nicht beantwortet
Was ist die orthogonale Projektion von \((1,2)\) auf die \(x\)-Achse?
Richtige Antwort: A. \((1,0)\)
Erklärung: Die Projektion auf die \(x\)-Achse behält die erste Koordinate und setzt die zweite auf null.
Frage 2Nicht beantwortet
Wenn \(u\) ein Einheitsvektor ist, ist die Projektion von \(v\) auf \(\operatorname{span}(u)\):
Richtige Antwort: A. \((v\cdot u)u\)
Erklärung: Für einen Einheitsvektor ist die skalare Komponente \(v\cdot u\).
Frage 3Nicht beantwortet
Was ist die Projektion von \((1,0)\) auf die von \((1,1)\) aufgespannte Gerade?
Richtige Antwort: C. \((1/2,1/2)\)
Erklärung: Der Projektionskoeffizient ist \(\frac{(1,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=1/2\).
Frage 4Nicht beantwortet
Welche Identität gilt immer für eine orthogonale Projektion \(P\)?
Richtige Antwort: C. \(P^2=P\)
Erklärung: Zweimaliges Projizieren ist dasselbe wie einmaliges Projizieren.
Frage 5Nicht beantwortet
Welche Symmetrieeigenschaft gilt für eine orthogonale Projektionsmatrix \(P\)?
Richtige Antwort: D. \(P^T=P\)
Erklärung: Orthogonale Projektionsmatrizen sind symmetrisch.
Frage 6Nicht beantwortet
Die Kleinste-Quadrate-Lösung von \(Ax\approx b\) erfüllt:
Richtige Antwort: C. \(A^TAx=A^Tb\)
Erklärung: Die Normalgleichungen sind \(A^TAx=A^Tb\).
Frage 7Nicht beantwortet
In der Methode der kleinsten Quadrate ist das Residuum \(b-Ax\) orthogonal zu:
Richtige Antwort: C. Dem Spaltenraum von \(A\)
Erklärung: Die Normalgleichungen bedeuten, dass das Residuum orthogonal zum Spaltenraum von \(A\) ist.
Frage 8Nicht beantwortet
Der nächste Vektor in einem Unterraum \(S\) zu einem Vektor \(v\) ist:
Richtige Antwort: D. Die orthogonale Projektion von \(v\) auf \(S\)
Erklärung: Die orthogonale Projektion ist die beste Approximation aus dem Unterraum.
Frage 9Nicht beantwortet
Was ist die Projektion von \((2,2)\) auf die Gerade \(y=x\)?
Richtige Antwort: A. \((2,2)\)
Erklärung: Der Vektor liegt bereits auf der Geraden \(y=x\), also ist seine Projektion er selbst.
Frage 10Nicht beantwortet
Wenn \(v=p+r\), wobei \(p\in S\) und \(r\perp S\), was ist \(p\)?
Richtige Antwort: D. Die Projektion von \(v\) auf \(S\)
Erklärung: Das ist die orthogonale Zerlegung, also ist \(p\) die Projektion auf \(S\).
