Имя материала: Введение в эконометрику

Автор: Кристофер Доугерти

2.5. регрессия по методу наименьших квадратов с одной независимой переменной

Рассмотрим случай, когда имеется п наблюдений двух переменных хну. Предположив, что у зависит от х, мы хотим подобрать уравнение

у = а + Ьх. (2.22)

Расчетное значение зависимой переменной у{ и остаток е, для наблюдения / заданы уравнениями (2.18) и (2.21). Мы хотим выбрать а и Ь, чтобы минимизировать величину S:

$ = 1*? = *,2 + ... + <|. (2.23) Можно обнаружить, что величина S минимальна, когда

(2.24)

ь=Со(х,у)

Var(x) и

а = у-Ьх. (2.25)

 

Варианты выражения для b Так как

Cov(x, у) = -^(х-х)(у-у) = -^ху-ху; (2.26) п п

и

Var(x) = - X (х - х)2 = - X х2 - х2, (2.27) мы можем получить следующие выражения для Ъ:

_ Cov(x,y) _ Ъ^-х)(у-у) _ \%(*-*№-У).

Var(x)        ІУ(х-х)2    Х(*-^)2    ' <2-28>

л

1

Ь = 1

X ху - ху v

Il^_-"lx2-,x2- (2-29)

п

Ъху- пху

В дальнейшем в тексте будет использоваться первоначальное определение b= Cov (jc, >>)/Var (х) и это выражение, вероятно, легче всего запомнить. На практике для вычисления коэффициентов регрессии используется компьютер, поэтому нет смысла запоминать альтернативные выражения. Зная определения выборочной дисперсии и ковариации, вы всегда сможете вывести эти выражения.

 

Вывод выражений для аиЬ^

 

Вывод выражений для а и Ъ будет осуществляться в соответствии с той же процедурой, которая использовалась в двух примерах в разделе 2.3, и предлагается сравнивать общий вариант с примерами на каждом этапе. Начнем с того, что выразим квадрат /-го остатка через а и b и наблюдения значений х и у:

ef = (у і - у і f = (у g -a- bxt )2 = у] +a2 + b2xf - lay і + 2abxi - 2bxiyi. (2.30) Суммируя по всем п наблюдениям, запишем S в виде:

S = £ у] + па1 + b2 £х2 - 2аУ£уі + 2abLxt - 2bL xft. (2.31)

Заметим, что данное выражение для Sявляется квадратичной формой по а и Ь, и ее коэффициенты определяются выборочными значениями х и у. Мы можем влиять на величину S, только задавая значения а и Ь. Значения х и у, которые определяют положение точек на диаграмме рассеяния, уже не могут быть изменены после того, как мы взяли определенную выборку. Полученное уравнение представляет собой обобщенный вариант уравнений (2.4) и (2.13).

Условия первого порядка для минимума, то есть dS/da = 0 и dS/db = 0, принимают вид:

dS

= 2ап- 2Ly( + 7bLxi = 0; (2.32) da

= 2bL xj + 2ayLxi-lLxiyi = 0. (2.33) db

Эти уравнения известны как нормальные уравнения для коэффициентов регрессии и представляют собой обобщенные варианты уравнений (2.7), (2.8), (2.14) и (2.15) в двух примерах. Уравнение (2.32) позволяет выразить а через

у, х и пока неизвестное Ъ. Подставив пу вместо Еу, и пх вместо lxi9 получим:

 

2ап-2пу + 2Ьпх = 0. (2.34)

Следовательно,

а = у-Ьх. (2.35)

1 Те, кто не знаком с дифференциальным исчислением, могут пропустить следующую часть данного раздела.

Подставив выражение для а в уравнение (2.33) и помня, что їх, равно пх, имеем:

2ЬЪxj + 2пху - 2Ъпх - 2І xtyt = 0. (2.36) После деления на 2п и перегруппировки получим:

*{ Іxf ~ я*) = І*іУі - *У- (2.37)

С учетом формул (2.26) и (2.27) это выражение можно переписать в следующем виде:

War(x) = Cov(x,y), (2.38)

и, таким образом, мы получим уравнение (2.24). Найдя из этого выражения Ь, выразим затем а из уравнения (2.25). Тот, кто знаком с условиями второго порядка, без труда сможет убедиться, что они удовлетворены.

Во втором числовом примере, приводимом в разделе 2.3, Со(х,у)= 1,0;

Var (х) = 0,67; у = 4,67; х = 2,00. Следовательно,

 

£ = 1,00/0,67 = 1,5; (2.39)

а = у - Ьх = 4,67 -1,5(2,00) = 1,67, (2.40) что подтверждает исходные вычисления.

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 |