Имя материала: Эконометрика

Автор: А.И. Новиков

2.1. метод наименьших квадратов

Рассмотрим задачу «наилучшей» аппроксимации набора наблюдений (х„ у,), і = ],п линейным уравнением (2.2).

На рис. 8 приведены диаграмма рассеяния наблюдений и линия регрессии.

Величина j>, описывается как расчетное значение переменной у, соответствующее х,. Наблюдаемые значения у, не лежат в точности на линии регрессии, т.е. не совпадают с уг

Определим остаток е, в і-м наблюдении как разность между фактическим и расчетным значениями зависимой переменной, т.е.

е, =У,-Уг

Неизвестные значения (а, Ь) определяются методом наименьших квадратов (МНК).

X X,

X

 

Рис.8

Суть МНК заключается в минимизации суммы квадратов остатков:

Q = Iе? = 1>< - Я)2 = Х(Я - о - bxf -> min.

Здесь (х„ у,) — известные значения наблюдения (числа), (а, Ь) — неизвестные.

Запишем необходимые условия экстремума:

 

После преобразования получим следующую систему нормальных уравнений:

а + Ьх - у,

[ах + Ьх2 = 5су. Решение системы: _ cov(x, у) _ ху - ху

•   ~  var(*)  ~x1-{xf (2.3) а - у - Ьх.

Линия регрессии (расчетное значение зависимой переменной):

у - а + Ьх,  или  у - у - Ь(х - х).

Линия регрессии проходит через точку (х, у), и выполняются равенства

ё = 0,  у = у.

Коэффициент b есть угловой коэффициент регрессии, он показывает, на сколько единиц в среднем изменяется переменная у при увеличении независимой переменной х на единицу.

Постоянная а дает прогнозируемое значение зависимой переменной при х = 0. Это может иметь смысл в зависимости от того, как далеко находится х = 0 ог выборочных значений х.

После построения уравнения регрессии наблюдаемые значения у можно представить как

у і = у і +- е,-.

(2.4)

Остатки е,, как и ошибки є,-, являются случайными величинами, однако они, в отличие от ошибок є„ наблюдаемы. Докажем, что cov(j), е) = 0. Действительно, используя равенства

y = a + bx,  е-у-а-Ъх,  cov(x, у) - Z)var(x) = 0, получим

cov(j), е) - cov(o + bx, у - а - bx) - 6cov(x, у) - b2 var(x) = = 6[cov(x, у) - Z)var(x)] = 0. Можно показать, что

Подпись:
где г — коэффициент корреляции между х и у, a Sx, Sy — их стандартные отклонения.

Если коэффициент г уже рассчитан, то можно получить коэффициенты (а, Ь) парной регрессии.

Определим выборочные дисперсии величин у, у, е:

var(>') = — УД J, - у)2 — дисперсия наблюдаемых значений у;

п

var(j>) = —^(Уі - у)2 — дисперсия расчетных значений у;

п

var(e) = — V (е,- - е)2 = — Уе2 — дисперсия остатков.

п п

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 |