Имя материала: Эконометрика.Конспект лекций

Автор: Ангелина Витальевна Яковлева

Лекция № 4. оценка дисперсии случайной ошибки регрессии. состоятельность и несмещенность мнк-оценок. теорема гаусса — маркова

 

В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходимость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии случайной ошибки линейного уравнения парной регрессии является величина:

n

2e2

Gє) = Sє) = (1) n — 2

где n — объем выборки;

ei — остатки регрессионной модели:

et = Уі — y = Уі — р 0 — Р1 xi. Оценка дисперсии, вычисляемая по формуле (1), также называется исправленной дисперсией.

В случае множественной линейной регрессии оценка дисперсии случайной ошибки вычисляется по формуле:

n

2 *

 

где k — число оцениваемых параметров модели регрессии.

Оценкой матрицы ковариаций случайных ошибок Cov(e) будет являться оценочная матрица ковариаций:

С(е) = Si 2(£)xln, (2)

где In — единичная матрица.

Оценка дисперсии случайной ошибки уравнения регрессии подчиняется х2 (хи-квадрат) закону распределения с (n — k — 1) степенями свободы, где k — число оцениваемых параметров.

Докажем несмещенность оценки дисперсии, т. е. необходимо доказать, что E(S2 (є)) = G 2(е).

Примем без доказательства следующее выражения: E(S 2(є)) = — XG2(є),

 

S2(є) = -n- XS 2(є), n— 1

где G2(e) — генеральная дисперсия случайной ошибки;

S2(e) — выборочная дисперсия случайной ошибки;

Si 2(є) — выборочная оценка дисперсии случайной ошибки. Тогда:

E(s 2(є)) = е( -п- X S 2(є)) = -п- E(s 2(е)) = nn — 1

-X        XGє) = Gє),

n- 1 n

что и требовалось доказать.

Таким образом, S2(є) является несмещенной оценкой для G2(e).

Теоретически можно предположить, что оценка любого параметра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:

константы, т. е. истинного значения параметра;

случайной ошибки Cov(x,e), вызывающей вариацию параметра регрессии.

На практике такое разложение невозможно в связи с неизвестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНК-оценок: состоятельности, несмещенности и эффективности.

Докажем, что значение МНК-оценки /?, зависит от величины случайной ошибки е.

МНК-оценка параметра регрессии (вх рассчитывается по формуле:

~ = Cov(x, y) Pl     G2(x) •

Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:

Cov(x, y) = Cov(x,( (0 + (1x + е)) = Cov(x, (0) + Cov(x, (1x) + Cov (x, є).

Дальнейшие преобразования полученного выражения проводятся исходя из свойств ковариации:

1) ковариация между переменной x и какой-либо константой A равна нулю:

Cov(x, A) = 0, где A = const;

2) ковариация переменной х с самой собой равна дисперсии этой переменной: 2

Следовательно, на основании свойств ковариации можно записать, что:

Cov(x, в0) = 0, так как во = const;

 

Cov(x, в1 х) = в1 xCov(x, х) = в1 xG 2( х).

Таким образом, ковариация между зависимой и независимой переменными Cov(x, y) может быть представлена в виде выражения:

Cov(x, y) = exG 2{х) +Cov (х, є).

(3)

В результате несложных преобразований МНК-оценка параметра уравнения регрессии в1 принимает вид:

Из формулы (3) следует, что МНК-оценка в действительно мо-

жет быть представлена как сумма константы ві и случайной ошибки Cov(x, є), которая и вызывает вариацию данного параметра регрессии.

Аналогично доказывается, что и оценка параметра регрессии в0, полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки S2 (є) могут быть представлены как сумма постоянной составляющей (константы) и случайной компоненты, которая зависит от ошибки уравнения регрессии є.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 |