Имя материала: Математика в экономике

Автор: Солодовников А.С.

§ 5.1. метод наименьших квадратов

 

Рассмотрим систему линейных уравнений

(5.1)

аи хх +al2x2 +... + alnxn = blt

, х-, + ... + а     х_ = 6_

a2lx + а22х2 +- + а2Пхп = Ь2>

~т -*1 ' ат2х2'' ■- ' "тплп-"т-Предположим, что система (5.1) является результатом теоретического

Пусть функция ошибки S(x) задана одной из формул (5.2), (5.3), (5.4) или еще каким-либо образом. Произвольный вектор х считается приближенным решением системы (5.1), если связанная с ним ошибка S(x) не превосходит заранее заданного критического значения є . Нетрудно видеть, что приближенное решение системы (5.1) сводится к отысканию точки х*, в которой функция S(x) принимает наименьшее значение (т. е. точки минимума). Действительно, пусть точка минимума х* уже найдена. Тогда возможны два случая:

)Б(х*)<гкр, 2)S(x,)>EKfr

В первом случае х* есть наилучшее приближенное решение — задача решена. Во втором случае система (5.1) не имеет приближенных решений.

Алгоритм поиска точки минимума существенно зависит от вида функции S(x). Этот алгоритм является наиболее простым, если S(x) задана формулой (5.2), что, возможно, объясняет большую популярность определения ошибки системы именно формулой (5.2).

исследования, а вектор х =

результатом практических наблю-

хп )

дений. В каком случае можно утверждать, что фактические данные х подтверждают теорию?

Если вектор х является решением системы (5.1), то данные подтверждают теорию. Такой случай, однако, встречается редко. Поэтому считается, что полученные данные х не опровергают теорию, если вектор х является хотя бы приближенным решением системы (5.1).

Уточним смысл приближенного решения. Назовем /-Й ошибкой системы (5.1), связанной с вектором х, следующую разность:

еі = {аІХхх + аах2 + ... + аіпХп) - Ь{.

Ошибку S(x) всей системы (5.1) можно определить по крайней мере одним из трех способов:

S(x) = e2x+e22 + ... + е£ (5.2)

S(x) = |e1| + |e2| + ... + |eJ, (5.3)

S(jt) = max{|e,|,|e2|      ej. (5.4)

Методом наименьших квадратов называется способ решения системы (5.1) , основанный на нахождении точки х*, в которой сумма квадратов ошибок (5.2) принимает наименьшее значение. Обычно для нахождения минимума функции S(x) вычисляются ее производные. Однако такой подход не является единственно возможным. Ниже мы дадим геометрическую интерпретацию функции S(x) и найдем ее точку минимума, не выходя за рамки линейной алгебры.

Рассмотрим сначала случай, когда число уравнений т = 3, а число неизвестных п = 2. Перепишем систему (5.1) в векторном виде

ххА1+х2Л2 = В, (5.5)

где

 

а1

 

(

а2

 

 

«21

 

а22

; В =

b2

й31

 

 

 

ъг

* J

Определим вектор ошибок системы (5.5):

Подпись: allxl+a{2x1-bl
Подпись: = xxA + X2A2- В.
Из определения вектора ошибок Д следует, что S(x) = e2 + e22 + e23 = A2.

Пусть С = х]А1 +х2А2 — линейная комбинация векторов А | нА2, соответствующая вектору х = (хх; х2). Тогда вектор ошибок Д можно представить как

Д = С - В = ВС.

Следовательно, S(x) = |Д|2 — это квадрат расстояния между точками В и С.

Пусть Я — плоскость в Л3, состоящая из всех точек С вида С = х]А] + х2А2, а В* — проекция точки В на плоскость Я. Для точки минимума х* = (х\; х*2) функции S(x) точка х*1А1+х]А2 является точкой плоскости Я, для которой квадрат расстояния до В будет наименьшим. Следовательно, точка хА1 + хА2 — ближайшая к В точка плоскости Я. Поэтому хА t + х*]А2 = В* — проекция В на Я.

Из элементарной геометрии известно, что вектор ВВ* перпендикулярен плоскости Я. Отсюда следует, что скалярные произведения (А{, ВВ*) и (А2, ВВ*) равны нулю. Находим;

(А |, ВВ*) = (А,, А{)х + (А,, А$х - (А,, В), (А2, ВВ*) = (А2,А ,)*; + (А2, А2)х*2 - (А2, В).

Следовательно, вектор х*= (х\; дг^.для которого сумма квадратов ошибок S(x) минимальна, удовлетворяет системе линейных урав-

нении

(5.6)

(A],A])xi +(А1,А2)х2 = (АиВ), (А,, А2)х2 + (А2, А2)х2 = (А2, В).

— матрица коэффициентов системы (5.1). Пусть At (i= 1,2,...,/и) — /-Й столбец матрицы А и В — столбец свободных членов системы (5.1). Приведенные выше рассуждения позволяют предположить, что наилучшее приближенное решение х* системы (5.1) является точным решением системы

(AhAx)x +(AuA1)x2 + ... + (А],Ап)хп = (А],В), (A^AJxi +(А2,Аг)х2 +... + (А2,Ап)хп = (А2, В), (5.7)

 

(Ат, Ах)х1+ (Ат, Аг)х2 + ... + (Ат, Ап) хп = (Ат, В),

аналогичной системе (5.6).

Дадим алгебраическое доказательство этого утверждения. Рас-

Т

смотрим матрицу А А. Ее элементами являются скалярные произве-

т

дения строк матрицы А  на столбцы матрицы А. Так как строки

т

матрицы А  — это столбцы матрицы А, то элементами матрицы

т

А А являются все возможные скалярные произведения столбцов

матрицы А друг на друга. Отсюда следует, что матрица коэффи-

т

циентов системы (5.7) совпадаете матрицей А А. Рассмотрим вектор

А В. Его координатами являются скалярные произведения строк

т

матрицы А (т. е. столбцов А ) на вектор В. Следовательно, вектор

т

свободных членов системы (5.7) совпадает с вектором А В. Итак, система (5.7) в матричной записи имеет вид:

АтАх = АтВ. <5-8)

Теорема 1. Если столбцы матрицы А линейно независимы, то система (5.8) имеет единственное решение х*, и это решение является единственной точкой минимума функции S(x) = Ах - В2 — суммы квадратов ошибок системы (5.1).

Доказательство. Предположим сначала, что матрица А А вырождена. Тогда для некоторого ненулевого вектора у имеем А Ау = 0. Отсюда (А Ау, у) = (Ау, А у) = 0 . Поэтому Ау - 0, что означает линейную зависимость столбцов матрицы А. Это противоре-

т

чит условию теоремы 1. Следовательно, матрица А А невырождена. Поэтому х =(А А) А В — единственное решение системы (5.8).

Пусть С = хА| + х-^А2 + ...+ хпАп — произвольная линейная комбинация столбцов матрицы А. Для вектора-столбцах = (х,, х2,..., хп)т имеем С= Ах. Пусть В = Ах. Докажем, что скалярное произведение векторов ВВ и ВС равно нулю. Действительно, ВС =С-В = = Ах - Ах = Ау, где у — х — х. Далее,

(BCtB~B) = (Ау, Ах -В) = (Ау, А (А ТА)~]А ТВ-В) = = (у,А ТА(А ТА)КА ТВ-АтВ) = (у,АТВ-А ТВ) = 0. Для квадрата расстояния от В до С получаем неравенство

ВС2 = (ВС, ВС) = (ВВ + ВС,ВВ + ВС) =

= (ВВ, В~В) + 2 (ВСЛВ) + (В+С,ВС) = | В~В |2 + | вс |2 > | В~В |2,

которое означает, что В — ближайшая к В линейная комбинация столбцов матрицы А. Так как |ВС|2 = 0 <=> В = С, то последнее полученное неравенство является строгим для С  В. Следовательно, В = Ах — это единственная ближайшая к В точка вида Ах. Для завершения доказательства теоремы 1 осталось напомнить, что S(x) — это квадрат расстояния от точки Ах до точки В.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 |