Имя материала: Эконометрика

Автор: Кремер Н.Ш.

4.3. ковариационная матрица и ее выборочная оценка

Вариации оценок параметров будут в конечном счете определять точность уравнения множественной регрессии. Для их измерения в многомерном регрессионном анализе рассматривают так называемую ковариационную матрицу вектора оценок параметров £ , являющуюся матричным аналогом дисперсии од-

ной переменной:

а00 а01

1А =

>/?0

'рр J

где элементы а0 — ковариации (или корреляционные моменты) оценок параметров р, и Р7. Ковариация двух переменных определяется как математическое ожидание произведения отклонений этих переменных от их математических ожиданий (см. § 2.4). Поэтому

(4.13)

Ковариация характеризует как степень рассеяния значений двух переменных относительно их математических ожиданий, так и взаимосвязь этих переменных.

В силу того, что оценки bp полученные методом наименьших квадратов, являются несмещенными оценками параметров Р7,

т. е. M{bj)=$j, выражение (4.13) примет вид:

0,=М[(6,-р,.)(6,.-р,.)].

Рассматривая ковариационную матрицу У , легко заметить, что на ее главной диагонали находятся дисперсии оценок параметров регресии, ибо

о, =M[(bj -fijlbj-Vj) = M(bj -Р7)2=^у. (4.14)

В сокращенном виде ковариационная матрица вектора оценок параметров У   имеет вид:

14=м[(*-эх*-эУ

(в этом легко убедиться, перемножив векторы (b - р) и (b - р)). Учитывая (4.12), преобразуем это выражение:

 

І ь = мі^(хху X's] [(хху X's

= м[(ххУ1 х'ег' х{хху ]=

=(хху х'м(еє')х(ххУ ,

 

(4.15)

ибо элементы матрицы X — неслучайные величины.

Матрица м(єє') представляет собой ковариационную матрицу вектора возмущений

 

 

I   =Af(ee') =

Оі/(є?) Л/(є,є2) ... М(£18„)Л м{г2гх) М{в1)    ... М(є2є„)

 

М{епех) М(гпг2) ... м(є2)

в которой все элементы, не лежащие на главной диагонали, равны нулю в силу предпосылки 4 о некоррелированности возмущений є, и Sj между собой (см. (3.25)), а все элементы, лежащие на главной диагонали, в силу предпосылок 2 и 3 регрессионного анализа (см. (3.23) и (3.24)) равны одной и той же дисперсии а2:

М(є?)=Л/(є, - О)2 = D{z] ) = а2. Поэтому матрица

М(єє') = ст2£„,

где isw — единичная матрица я-го порядка. Следовательно, в силу (4.15) ковариационная матрица вектора оценок параметров:

ИЛИ

(4.16)

 

Итак, с помощью обратной матрицы (хх)~] определяется не

только сам вектор b оценок параметров (4.8), но и дисперсии и ковариации его компонент.

4.4. Доказательство теоремы Гаусса—Маркова. Оценка дисперсии возмущений

Теперь мы имеем возможность привести доказательство теоремы Гаусса—Маркова, сформулированной в § 4.2.

Выше (§ 4.2) мы уже показали, что оценка метода наименьших квадратов b = (Х'Х)~{ X'Y есть несмещенная оценка для вектора параметров р, т. е. М(Ь) = р. Любую другую оценку Ь вектора р без ограничения общности можно представить в виде

б^Р^Г + С] У,

 

где С — некоторая матрица размера (р+1)хп.

Так как рассматриваемые в теореме оценки относятся к классу несмещенных оценок, то и М(Ь) = р или М(Ь) = = M[(X'X)-lX' + c]y = $.

Учитывая, что матрица в квадратных скобках — неслучайная, а в силу предпосылки 2 регрессионного анализа M(s)=0, получим

М(Ь{) = [(Х'Х)-1 X' + С] m(y) = [(Х'Х)~{ X' + С]Х р = = [(Х'Х)'1 Х'Х + СХ] Р = (Е + СДГ)Р = Р,

 

откуда следует, что СХ = 0. Далее

ь, - р=[да)-1 х'+с] y - р=[(хху1 х'+с] с#р+є) - р =

= да)-1 Х'Х$+ CYp +[(Х'Х)-1 Х'+С] є - р=[(Х'Х)-1 X'+С] є,

 

так как СХ= 0, (Х'Х)~1 Х'Х Р = £р = р.

Теперь с помощью преобразований, аналогичных проведенным при получении формул (4.15), (4.16), найдем, что ковариационная матрица вектора оценок Ь, т. е.

I hi =M[(bl -РХЬ. -P)'] = a2(^)_1 +ст2СС,

или, учитывая (4.16),

Z^Z^cr.

Диагональные элементы матрицы СС неотрицательны1, ибо они равны суммам квадратов элементов соответствующих строк этой матрицы. А так как диагональные элементы матриц У L и

У    есть дисперсии компонент векторов оценок Ьц и bh то дис-

ъ

персия >о2ь (/=1,2,..., /Н-1). Это означает, что оценки коэффициентов регрессии, найденных методом наименьших квадратов, обладают наименьшей дисперсией, что и требовалось доказать.

Итак, мы доказали, что оцека b метода наименьших квадратов является «наилучшей» линейной оценкой параметра р. Перейдем теперь к оценке еще одного параметра — дисперсии возмущений а2.

Рассмотрим вектор остатков е, равный в соответствии с (4.2') е= Y- ХЬ.

В силу (4.2) и (4.8)

е = (Х$ + е) - Х[(Х'Х)-Х Х'(Х$ + г)] =

= Хр + 8 - Х(Х'Х)~1 {Х'Х)$ - Х(Х'Х)~Х Х'г =

= Х$ + є - ХЕ$ - Х(Х'Х)~] Х'г,

или     е = г-Х(Х'Х)-хХ'г

(учли, что произведение (X' Х)~Х(Х' Х)=Е, т. е. равно единичной матрице Ер+ (/?+1)-го порядка).

Найдем транспонированный вектор остатков е'. Так как при транспонировании матрица (Х'Х)~Х не меняется, т. е.

[(Х'Х)~Х]'= 1(Х'Х)Т] = (Х'Х)-

то

е9 = [г-Х(Х'Х)-х Х'е]=е'-е'Х(Х'Х)-хХ'.

Теперь

1 Матрица СС так же, как и ковариационные матрицы ^     и 2^ ^ »является

неотрицательно определенной (см. §11.8). В этом смысле можно записать, что матрица У     >У    , т.е. вектор оценок £ = (Z'A)-1^' К, полученный методом

наименьших квадратов, обладает меньшим рассеиванием относительно параметра р по сравнению с любым другим вектором несмещенных оценок.

М(е'е)=М[(ё-ёХ(Х'Х)-* X')(z-X(X'X)-] X' є)]= =М{г'г)-М [г'Х(Х'ХГх X' г]~М [г'Х(X' Х)~х Х'г)} + +М[ёХ(Х'Х)~х(Х'Х) (ХХ)~хХ'г. Так как последние два слагаемых взаимно уничтожаются, то

М(е'е)=М(г'г)-М[г'Х(Х'Х)-1 Хг]. (4.17) Первое слагаемое выражения (4.17)

М(г'е) = М £є? ] = £Л/(є2)=]Га2 = па1, (4.18)

і=    /    /=1 i=l

ибо в силу предпосылок 2,3 регрессионного анализа M{ej )=М(є, - О)2 = £>(є,) = а2. Матрица В —X(X'X)~l X' симметрическая (§ 11.8), так как

В'= [Х(Х'Х)-*Х']'= Х(Х'ХГХ Х',т. е. В'= В.

п

Поэтому е'Ве представляет квадратическую форму

им

ее математическое ожидание

 

Последнюю сумму можно разбить на две составляющие суммы элементов на главной диагонали матрицы В и вне ее:

 

Второе слагаемое равно нулю в силу предпосылки 4 регрессионного анализа, т.е. А/(єІ-є7-)=0. Сумма диагональных элементов

матрицы В образует след матрицы tr(5)(§ 11.8). Получим

М(є'Вє) = І>йа2 = а2^Ьц = g4t(B). (4.19) Заменив матрицу В ее выражением, получим

М(е'Ве) = g2tr[X(X'X)~l X'] = а2ьфСХу1(ХХ) =

= o2tr(Ep+l)=o2{p + ),

так как след матрицы не меняется при ее транспонировании (см. § 11.14), т. е. tr(v4C)= tr(С4), а след единичной матрицы (т.е. сумма ее диагональных элементов) равен порядку этой матрицы. Теперь по формуле (4.17), учитывая (4.18) и (4.19), получим:

М(е'ё) = псу2 - а2(р+1)=(п - р - 1) а2, т. е.

(п л

м(е'е) = М 5>2 = (л-р-і)а2. (4в20)

і= )

Равенство (4.20) означает, что несмещенная оценка s2 параметра а2или выборочная остаточная дисперсия ^определяется по формуле:

Подпись: 2
Подпись: 2>/66    -   1=1 (4.21)

п-р- п-р-1

Полученная формула легко объяснима. В знаменателе выражения (4-21) стоит я - (р + 1), а не п—2, как это было выше в (3.26). Это связано с тем, что теперь (р+1) степеней свободы (а не две) теряются при определении неизвестных параметров, число которых вместе со свободным членом равно (р+1).

Можно показать, что рассмотренные в этом параграфе оценки b и s2 параметров (3 и а2 при выполнении предпосылки 5 регрессионного анализа о нормальном распределении вектора возмущений є (є ~ Nn (0;о2Еп)) являются независимыми. Для этого в данном случае достаточно убедиться в некоррелированности оценок bus2.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 |