Имя материала: Введение в эконометрику

Автор: Кристофер Доугерти

2.3. регрессия по методу наименьших квадратов: два примера1

 

Пример 1

 

Приведем действительно простой пример всего с двумя наблюдениями для того, чтобы продемонстрировать механизм процесса: как показано на рис. 2.4, наблюдаемое значение у =3, когда х = 1, и у — 5 при х =2.

Оценим коэффициенты а и b уравнения

$ = а+Ьх. (2.3)

У 7

6

5 4

3 2 1

 

 

Р2

Очевидно, что при наличии всего двух наблюдений мы можем получить точное соответствие, проведя линию регрессии через две точки, однако сделаем вид, что мы этого не понимаем. Вместо этого придем к тому же выводу, используя метод регрессии.

Если* = 1, тоР = (а + Ь) в соответствии с уравнением регрессии. Еслих = 2, то у = а + 2Ь. Следовательно, мы можем составить табл. 2.1.

1 Тем, кто не знаком с дифференциальным исчислением, этот раздел можно пропустить.

Значениеу{ (величина^ в точке Л, на рис. 2.3) равно (а + Ь), а значение j)2 = = а + 2Ь. Следовательно, остаток е{ для первого наблюдения, который определяется как (у{ — у{), равен (3 — а — Ь), а остаток е2, который определяется как (у2 — j>2), равен (5 — а — 2Ь). Следовательно,

S = e*+e2 =(3-л- b)2 + (5-д-2b)2 = = (9 + a2 + b2-6a-6b + 2ab) + (25 + a2 +4b2-a-20b + 4ab) = = 2д2 + 5b2 +6ab-6a- 26b + 34.

 

 

(2.4)

Теперь мы хотим выбрать такие значения а и Ь, чтобы значение S было минимальным. Для этого мы используем дифференциальное исчисление и находим значения а и Ь, удовлетворяющие следующим соотношениям:

1г-« £-«

да db

(2.5)

 

— = 4а + 6А-16; = 106 + 6а - 26. да 36

(2.6)

Таким образом, мы имеем:

2а + 36-8 = 0

(2.7)

За+ 56-13 = 0. (2.8)

Решив эти два уравнения, получим а = 1 и b = 2. Следовательно, уравнение регрессии будет иметь следующий вид:

р=1+2х. (2.9)

 

8

л

У- У 7

6

5 4

з Ь

2 1

о

 

Рис. 2.5. Пример с тремя наблюдениями

Для того чтобы проверить, что мы пришли к правильному выводу, вычислим остатки:

е, = 3-а-6 = 3-1-2 = 0;

 

е2 =5-0-26 = 5-1-4 = 0.

(2-Ю) (2.П)

 

Таким образом, оба остатка равны нулю, что означает, что линия регрессии проходит точно через обе точки, что мы, разумеется, знали с самого начала. Если у вас всего два наблюдения, то проводите прямую через эти две точки. В данном случае в проведении регрессионного анализа нет необходимости.

 

Пример 2

Используем пример, рассмотренный в предыдущем разделе, и добавим третье наблюдение: у = 6 при х = 3. Три наблюдения, показанные на рис. 2.5, не лежат на одной прямой, поэтому точное соответствие получить невозможно. В этом случае для вычисления положения прямой мы должны использовать регрессию по методу наименьших квадратов.

Начнем с задания стандартного уравнения

у = а + Ьх. (2.12)

Для значений х, равных 1, 2 и 3, расчетные значения>> равны соответственно (а + Ь), (а + 2Ь) и (а + ЪЬ) они приведены в табл. 2.2.

 

Таблица 2.2

X

У

9

е

1

3

a+ b

3- a- b

2

5

а+ 2Ь

5- a-2b

3

6

а+ ЗЬ

6- a-3b

 

Следовательно,

S = e]+e +е] =(3-а-Ь)2 +(5-а-2Ь)2+(6-а-ЗЬ)2 =

= (9 + а2 + Ь2 - 6а - 6Ь + 2аЬ) + (25 + а2 + 4Ь2 - 10а - 20Ь + АаЬ) +

+(36 + а2 + 9Ь2 - 12а - 36Ь + 6аЬ) = За2 + Ш2 + 2аЪ - 28а - 62Ь + 70.    (2.13)

Условия dS/да = 0 и bS/bb = 0 дают:

6а+Ш-28 = 0   (2.14)

и

28Ь+ 12а-62 = 0.        (2.15)

Решая эти уравнения, получим а = 1,67 и Ь= 1,50. Следовательно, уравнение регрессии имеет следующий вид:

j>= 1,67+ l,50x.          (2.16)

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 | 78 | 79 | 80 | 81 | 82 | 83 | 84 | 85 | 86 | 87 | 88 | 89 | 90 | 91 | 92 | 93 | 94 | 95 | 96 | 97 | 98 | 99 | 100 | 101 | 102 | 103 | 104 |