Имя материала: Эконометрика.Конспект лекций

Автор: Ангелина Витальевна Яковлева

1. классический метод наименьших квадратов для модели множественной регрессии

Общий вид линейного уравнения множественной регрессии:

 

где yt — значение i -ой зависимой переменной, i = 1,n; x1;,xki       значения независимых переменных; в0,      0n— параметры уравнения регрессии, подлежащие оценке;

єл — случайные ошибки множественного уравнения регрессии.

Чтобы найти оценки неизвестных параметров линейного уравнения множественной регрессии, используется обычный метод наименьших квадратов. Его суть состоит в нахождении вектора оценки в, который минимизировал бы сумму квадратов отклонений (остатков) наблюдаемых значений зависимой переменной y от модельных значений y. рассчитанных на основании построенного уравнения регрессии.

Рассмотрим матричную форму функционала F метода наименьших квадратов:

n

F = Е (Уі — у ) = (Y — Xв)T X (Y — Xв) - min,

i=1

Y

— вектор значений зависимой переменной размерности n X 1;

yn

 

X

1

1 1

 

— вектор значений независимой переменной размерности n х (k + 1)

Первый столбец является единичным, так как в уравнении регрессии параметр в0 умножается на 1.

Для того чтобы найти минимум функции (F), нужно вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Полученная стационарная система уравнений может быть записана как:

 

fe = 0

 

F = 0,

 

где

в=

в1

— вектор оцениваемых параметров уравнения регрессии.

Общий вид стационарной системы уравнений

можно записать как:

 

— = - 2 XTY + 2 XTX в = 0.

 

В результате решения системы нормальных уравнений получим следующие МНК-оценки неизвестных параметров уравнения регрессии:

Рассмотрим применение метода наименьших квадратов на примере модели множественной линейной регрессии с двумя переменными:

Уі =Л +Axu + Л х2і + £і ,

где і = 1, п.

Для нахождения оценок неизвестных параметров данного уравнения регрессии минимизируем выражение:

F = 2 (У           - в Х1- -    2X2i ) ■

•min.

=1

Стационарная система уравнений для модели множественной линейной регрессии с двумя переменными строится следующим образом:

dF

-т = -2XtY + 2XtX в,,

dF

-^ = -2 XtY + 2XtX в, dF

-^ = -2 XtY + 2 XtX в2.

 

После элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:

п х~во +в 12 Х + в2 2 х2і = 2 y,

п

|Л 2 хи+в12 х2+А 2 хи х х2і =22y х ^ ,

І=1 i=1

пп п

=1

пп

А 2 х2і +А 2 х1і х х2і +в2 2 х2 =2 yiх Х2і .

 

Данная система называется системой нормальных уравнений относительно коэффициентов во, в1 и в2 для зависимости

 

Уі =в, +в1Х1і +в2Х2і +єі .

Система нормальных уравнений является квадратной, т. е. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты ва, ві и в г можно найти с помощью метода Крамера или метода Гаусса.

Метод Крамера заключается в следующем. Единственное решение квадратной системы линейных уравнений определяется по формуле:

А j

K =-^-, j = 1,n,

J Д

где A — основной определитель квадратной системы линейных уравнений;

Aj — определитель, полученный из основного определителя путем замены j-го столбца на столбец свободных членов. Если основной определитель системы A равен нулю и все определители Aj также равны нулю, то данная система имеет бесконечное множество решений.

Если основной определитель системы A равен нулю и хотя бы один из определителей Aj также равен нулю, то система решений не имеет.

Метод Гаусса применяется в основном для решения систем линейных уравнений, когда количество неизвестных параметров не совпадает с количеством уравнений.

Однако его используют и для решения квадратных систем линейных уравнений.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 |