Ортогональные проекции и метод наименьших квадратов
Практический тест по ортогональным проекциям и методу наименьших квадратов с пошаговым интерактивным уроком
Используйте вопросы ниже на странице, чтобы отработать ортогональные проекции и метод наименьших квадратов: ближайшие векторы в подпространствах, разложения \(v=p+r\) с \(p\in S\) и \(r\perp S\), проекцию на прямую, матрицы проекций с \(P^2=P\) и \(P^T=P\), формулы для столбцового пространства, такие как \(A(A^TA)^{-1}A^T\), когда \(A\) имеет полный столбцовый ранг, нормальные уравнения \(A^TAx=A^Tb\), ортогональность невязки, наилучшие постоянные аппроксимации и то, что меняется, когда \(A^TA\) вырождена. Откройте урок, чтобы увидеть краткие разобранные примеры и быстрые проверки.
Ответьте на набор вопросов и разберите ошибки в конце.
Как работает эта практика по проекциям и методу наименьших квадратов
1. Выполните набор практики: ответьте на вопросы о проекциях, невязках, матрицах проекций, нормальных уравнениях и наилучших аппроксимациях.
2. Откройте урок: повторите формулы, проверки распознавания, разобранные примеры и задания с одним ответом.
3. Попробуйте снова: вернитесь к набору вопросов и сначала определите, что требуется в задаче: ближайший вектор, матрица проекции, условие на невязку или коэффициент метода наименьших квадратов.
Что вы изучите в уроке об ортогональных проекциях и методе наименьших квадратов
Геометрия ортогональной проекции
Ближайший вектор: \(\operatorname{proj}_S(v)\) — единственная точка в \(S\), ближайшая к \(v\)
Урок: ортогональные проекции и метод наименьших квадратов
1 / 8
Обзор урока
Цель: Построить надежный алгоритм для проекций и метода наименьших квадратов: раскладывать вектор на часть в подпространстве и ортогональную ошибку, вычислять проекции на прямые и столбцовые пространства, распознавать матрицы ортогональных проекций, решать нормальные уравнения и понимать, что остается верным, когда столбцы \(A\) зависимы.
Критерии успеха
Формулировать ортогональное разложение \(v=p+r\), где \(p\in S\) и \(r\perp S\).
Использовать формулу для прямой \(\operatorname{proj}_{\operatorname{span}(u)}(v)=\dfrac{v\cdot u}{u\cdot u}u\).
Распознавать, что матрица ортогональной проекции удовлетворяет \(P^2=P\) и \(P^T=P\).
Использовать \(QQ^T\) для подпространства с ортонормированными столбцами базиса \(Q\).
Использовать \(A(A^TA)^{-1}A^T\), когда \(A\) имеет полный столбцовый ранг.
Выводить метод наименьших квадратов из ортогональности невязки \(A^T(b-A\hat{x})=0\).
Отличать аппроксимирующий вектор \(A\hat{x}\) от вектора коэффициентов \(\hat{x}\).
Работать со случаями неполного ранга, не предполагая, что \(A^TA\) обратима.
Ключевая лексика
Проекция: ближайший вектор в подпространстве.
Невязка: ошибка \(r=v-p\) или \(r=b-A\hat{x}\).
Ортогональное дополнение: \(S^\perp=\{w:w\cdot s=0\text{ for all }s\in S\}\).
Матрица проекции: линейное отображение \(P\) с \(P^2=P\); ортогональные проекции также удовлетворяют \(P^T=P\).
Столбцовое пространство: все векторы \(Ax\), возможные аппроксимирующие выходы \(A\).
Предварительная проверка: Если \(p=\operatorname{proj}_S(v)\), что верно для \(v-p\)?
Подсказка: условие ближайшей точки эквивалентно тому, что ошибка перпендикулярна каждому направлению в подпространстве.
Проекция означает часть в подпространстве плюс перпендикулярная ошибка
Цель обучения: Распознавать геометрию, стоящую за каждым вычислением проекции и методом наименьших квадратов.
Ключевая идея
Для подпространства \(S\) пространства со скалярным произведением каждый вектор \(v\) можно разложить как \[v=p+r,\qquad p\in S,\quad r\in S^\perp.\] Вектор \(p\) — это \(\operatorname{proj}_S(v)\), а \(r\) — невязка. Теорема Пифагора дает \(\|v-s\|^2=\|r\|^2+\|p-s\|^2\) для каждого \(s\in S\), поэтому \(p\) является ближайшим вектором в \(S\).
Контрольный список распознавания
Определите целевое подпространство \(S\).
Найдите кандидата \(p\in S\).
Проверьте \(v-p\perp S\), обычно беря скалярные произведения с базисом \(S\).
Если оба условия выполнены, \(p\) является проекцией.
Разобранный пример
Пример: Спроецируйте \(v=(1,0)\) на прямую \(S=\operatorname{span}((1,1))\).
Вектор на прямой имеет вид \(p=t(1,1)\). Ошибка \(v-p=(1-t,-t)\) должна быть ортогональна \((1,1)\), поэтому \((1-t)+(-t)=0\). Значит, \(1-2t=0\), так что \(t=\tfrac12\) и \(p=(\tfrac12,\tfrac12)\).
Попробуйте
Попробуйте: Какова проекция \((1,0)\) на \(\operatorname{span}((1,1))\)?
Используйте один коэффициент из скалярного произведения
Цель обучения: Быстро вычислять проекции на прямую, не предполагая ошибочно, что направляющий вектор имеет единичную длину.
Ключевая идея
Если \(u≠0\), то проекция \(v\) на \(\operatorname{span}(u)\) равна \[\operatorname{proj}_{u}(v)=\frac{v\cdot u}{u\cdot u}u.\] Если \(u\) — единичный вектор, это упрощается до \((v\cdot u)u\).
Замечания к формулам
Знаменатель — это \(u\cdot u=\|u\|^2\), а не просто \(\|u\|\).
Если \(v\) уже лежит на прямой, проекция равна \(v\).
Пример: Спроецируйте \(v=(2,0)\) на \(\operatorname{span}((1,1))\).
Коэффициент равен \(\dfrac{(2,0)\cdot(1,1)}{(1,1)\cdot(1,1)}=\dfrac{2}{2}=1\). Следовательно, проекция равна \(1(1,1)=(1,1)\).
Попробуйте
Попробуйте: Какова проекция \((2,0)\) на прямую, порожденную \((1,1)\)?
Подсказка: скалярное произведение с \((1,1)\) равно \(2\), и \((1,1)\cdot(1,1)=2\).
Матрицы ортогональных проекций идемпотентны и симметричны
Цель обучения: Распознавать матрицы проекций по алгебраическим проверкам и читать их образ, ядро, ранг и след.
Ключевая идея
Проекция удовлетворяет \(P^2=P\): если вектор уже спроецирован, повторная проекция ничего не меняет. Это ортогональная проекция ровно тогда, когда невязка перпендикулярна образу; в стандартных координатах это означает \(P^T=P\).
Проверки матриц
\(P^2=P\): проекция или идемпотентное отображение.
\(P^T=P\): ортогональная проекция в евклидовом пространстве.
\(\ker P\) — ортогональное дополнение для ортогональной проекции.
Собственные значения только \(0\) и \(1\), поэтому \(\operatorname{tr}P=\operatorname{rank}P\).
Разобранный пример
Пример: Проекция на ось \(x\) переводит \((x,y)\) в \((x,0)\). Какие свойства имеет ее матрица?
Матрица равна \(\operatorname{diag}(1,0)\). Двукратное применение дает ту же матрицу, поэтому \(P^2=P\). Она равна своей транспонированной, поэтому \(P^T=P\). Ее образ — ось \(x\), а ядро — ось \(y\).
Попробуйте
Попробуйте: Какие тождества выполняются для каждой матрицы ортогональной проекции \(P\)?
Подсказка: повторная проекция ничего не меняет, а матрицы ортогональных проекций симметричны.
Проецирование на \(\operatorname{Col}(A)\)
Цель обучения: Выбирать правильную формулу проекции по имеющимся столбцам.
Ключевая идея
Если \(Q\) имеет ортонормированные столбцы, порождающие \(S\), то матрица проекции на \(S\) равна \(P=QQ^T\). Если \(A\) имеет полный столбцовый ранг, но ее столбцы не обязательно ортонормированы, то \[P=A(A^TA)^{-1}A^T.\] Обе формулы дают ближайший вектор в \(\operatorname{Col}(A)\).
Шаги для столбцового пространства
Если столбцы ортонормированы, используйте \(QQ^T\).
Если столбцы независимы, но не ортонормированы, используйте \(A(A^TA)^{-1}A^T\).
Если столбцы зависимы, перейдите к независимому базису или используйте псевдообратную матрицу.
Всегда проверяйте, что результат лежит в столбцовом пространстве, а невязка ортогональна столбцовому пространству.
Разобранный пример
Пример: Пусть \(Q\) имеет один единичный столбец \(q=(1/\sqrt2,1/\sqrt2)\). Что делает \(QQ^T\)?
Она проецирует любой вектор \((a,b)\) на прямую \(y=x\), получая \(\left(\dfrac{a+b}{2},\dfrac{a+b}{2}\right)\). Например, \((2,0)\) переходит в \((1,1)\).
Попробуйте
Попробуйте: Если \(Q\) имеет ортонормированные столбцы, какова матрица проекции на \(\operatorname{Col}(Q)\)?
Подсказка: ортонормированные столбцы дают \(Q^TQ=I\), поэтому полная формула упрощается.
Метод наименьших квадратов — это проекция на столбцовое пространство
Цель обучения: Переводить несовместную систему \(Ax\approx b\) в задачу о проекции.
Ключевая идея
Решение методом наименьших квадратов минимизирует \(\|b-Ax\|\). Аппроксимирующий вектор \(A\hat{x}\) — это проекция \(b\) на \(\operatorname{Col}(A)\), поэтому невязка \(r=b-A\hat{x}\) ортогональна каждому столбцу \(A\). Это ровно \(A^Tr=0\), или \(A^TA\hat{x}=A^Tb\).
Факты о нормальных уравнениях
Нормальные уравнения: \(A^TA\hat{x}=A^Tb\).
Если \(A\) имеет полный столбцовый ранг, \(A^TA\) обратима.
Аппроксимирующий вектор \(A\hat{x}\) — это проекция \(b\) на \(\operatorname{Col}(A)\).
Невязка перпендикулярна каждому столбцу \(A\).
Разобранный пример
Пример: Найдите наилучшую постоянную аппроксимацию для данных \(1,3,5\).
Аппроксимировать постоянной \(c\) значит проецировать \((1,3,5)\) на прямую, порожденную \((1,1,1)\). Коэффициент равен среднему \(c=(1+3+5)/3=3\). Невязка равна \((-2,0,2)\), сумма ее компонент равна \(0\), поэтому она ортогональна постоянному направлению.
Попробуйте
Попробуйте: В методе наименьших квадратов невязка \(b-A\hat{x}\) ортогональна какому пространству?
Подсказка: нормальные уравнения говорят, что \(A^T(b-A\hat{x})=0\), поэтому скалярное произведение каждого столбца с невязкой равно нулю.
Когда коэффициенты не единственны, аппроксимирующий вектор все равно единственен
Цель обучения: Не злоупотреблять формулами с обратной матрицей, когда столбцы \(A\) зависимы.
Ключевая идея
Если \(A\) не имеет полного столбцового ранга, то \(A^TA\) вырождена. Векторов коэффициентов метода наименьших квадратов \(\hat{x}\) может быть много, потому что разные коэффициенты могут давать один и тот же аппроксимирующий вектор. Геометрически ближайший вектор \(p\in\operatorname{Col}(A)\) все равно единственен, поэтому \(A\hat{x}=p\) единственен.
Факты о неполном ранге
\(A^TA\) обратима тогда и только тогда, когда столбцы \(A\) независимы.
Нормальные уравнения по-прежнему характеризуют минимизаторы метода наименьших квадратов, но могут иметь несколько решений.
Проекция \(p=A\hat{x}\) единственна.
Псевдообратная матрица \(A^+b\) дает решение метода наименьших квадратов с наименьшей нормой коэффициентов.
Разобранный пример
Пример: Пусть оба столбца \(A\) равны \((1,0)\), а \(b=(2,1)\). Что происходит?
Столбцовое пространство — это ось \(x\), поэтому аппроксимирующий вектор является проекцией \(p=(2,0)\). Любые коэффициенты с \(x_1+x_2=2\) дают один и тот же аппроксимирующий вектор, поэтому коэффициенты не единственны. Невязка равна \(b-p=(0,1)\) и перпендикулярна оси \(x\).
Попробуйте
Попробуйте: Если \(A\) имеет неполный ранг, что все равно может быть верно для метода наименьших квадратов?
Подсказка: ближайшая точка в подпространстве единственна, даже если ее дают несколько векторов коэффициентов.
Большинство ошибок путают вектор коэффициентов с проекцией
Цель обучения: Завершить компактным контрольным списком типичных ошибок в проекциях и методе наименьших квадратов.
Типичные ошибки
Ненормированный направляющий вектор: делите на \(u\cdot u\), когда проецируете на \(\operatorname{span}(u)\).
Проекция и невязка: \(p\in S\), а \(v-p\in S^\perp\).
Матрица проекции: одного условия \(P^2=P\) недостаточно для ортогональной проекции; также проверьте симметричность.
Формула полного ранга: \(A(A^TA)^{-1}A^T\) требует независимых столбцов.
Метод наименьших квадратов: \(A\hat{x}\) — это проекция \(b\), не обязательно сам \(b\).
Неполный ранг: \(\hat{x}\) может быть не единственным, но \(A\hat{x}\) единственен.
Разобранный пример
Пример: Если \(v=(2,2)\) уже лежит на прямой \(y=x\), какова его проекция на эту прямую?
Проекция — это сам \(v\): \((2,2)\). Вектор, уже лежащий в подпространстве, имеет нулевую невязку, а ноль ортогонален каждому подпространству.
Попробуйте
Попробуйте: Какова наилучшая постоянная аппроксимация методом наименьших квадратов для данных \(1,3,5\)?
Подсказка: наилучшая постоянная аппроксимация — это среднее значение данных.
Итоговое повторение
Проекция означает \(v=p+r\), где \(p\in S\) и \(r\perp S\).
Для прямой используйте \(\dfrac{v\cdot u}{u\cdot u}u\).
Матрицы ортогональных проекций удовлетворяют \(P^2=P\) и \(P^T=P\).
Для ортонормированных столбцов \(Q\) матрица проекции равна \(QQ^T\).
Для \(A\) полного столбцового ранга матрица проекции на столбцовое пространство равна \(A(A^TA)^{-1}A^T\).
Метод наименьших квадратов делает \(b-A\hat{x}\) ортогональным \(\operatorname{Col}(A)\).
Нормальные уравнения: \(A^TA\hat{x}=A^Tb\).
Неполный ранг может сделать \(\hat{x}\) неединственным, тогда как \(A\hat{x}\) остается единственной проекцией.
Следующий шаг: Закройте этот урок и попробуйте пройти тест снова. В каждой задаче сначала определите целевое подпространство, затем решите, нужна ли вам проекция вектора, матрица проекции или условие на невязку метода наименьших квадратов.
Набор практики
Практические вопросы по теме Orthogonal Projections & Least Squares с мгновенным результатом
Ответьте на все 10 вопросов ниже, затем получите итоговый результат и разбор ошибок, чтобы точно понять, что улучшить.
0/10отвечено
Вопрос 1Нет ответа
Чему равна ортогональная проекция \((1,2)\) на ось \(x\)?
Правильный ответ: A. \((1,0)\)
Объяснение: Проекция на ось \(x\) сохраняет первую координату, а вторую делает нулевой.
Вопрос 2Нет ответа
Если \(u\) — единичный вектор, то проекция \(v\) на \(\operatorname{span}(u)\) равна:
Правильный ответ: A. \((v\cdot u)u\)
Объяснение: Для единичного вектора скалярная компонента равна \(v\cdot u\).
Вопрос 3Нет ответа
Чему равна проекция \((1,0)\) на прямую, порожденную \((1,1)\)?
