Имя материала: Эконометрика Книга первая Часть 1

Автор: Носко Владимир Петрович

Тема 1.2 метод наименьших квадратов. прямолинейный характер связи между двумя экономическими факторами

Обсудим вопрос о том, каким образом по имеющимся наблюдениям можно (хотя бы приблизительно) восстановить гипотетическую линейную связь между переменными, если таковая действительно существует. Как было сказано, проблема состоит в том, что даже при действительном существовании линейной связи между двумя переменными истинные значения параметров a и Р такой связи обычно остаются неизвестными, и судить об этих истинных значениях можно лишь приближенно, оценивая а и Р на основании ограниченного количества имеющихся в распоряжении данных наблюдений (статистических таблиц).

Ранее отмечалось, что если между переменными х и у существует теоретическая (усредненная) линейная связь в виде

у = а + fix,

то наблюдаемые значения xt,yt, і = 1, п, этих переменных связаны линейной моделью наблюдений

 

Если а и Р — истинные значения параметров линейной модели связи, то

 

представляет собой ошибку {error, или disturbance) в /-м наблюдении. Заметим, что в англоязычной литературе параметру а соответствует термин intercept, а параметру Р — slope.

Если в качестве эконометрической модели выбрана линейная модель, то поиск подходящих оценок для а и р можно осуществлять, например, путем нахождения на диаграмме рассеяния прямой, проходящей через точку (х, у) -«центр» системы точек (хх,ух), (хп,уп) и наилучшим образом выражающей направление вытянутости этой системы (облака) точек.

Пусть прямая

у = а*+ р*х

рассматривается в числе прочих в процессе такого поиска (так что а + Р*х=у). Тогда для /-го наблюдения будем иметь расхождение причем значения є* могут быть как положительными, так и отрицательными. При изменении значений а* и /Г будут изменяться и расхождения є, є*„. Конечно, хотелось бы подобрать а* и /Г таким образом, чтобы е - ... = є*п = 0. Однако это невозможно, если точки (х{, ух),(хп9уп) не лежат на одной прямой. Поэтому приходится останавливать свой выбор на значениях а* и /Г, минимизирующих некий подходящий показатель, характеризующий совокупность расхождений в целом.

В качестве такого показателя можно взять, например, сумму квадратов

п

расхождений ^(s*)2 и тогда остановить свой выбор на прямой у = а* + Р*х,

для которой эта сумма минимальна1. Соответствующие этой прямой значения а* и /Г обозначим символами а и J3 .

Поскольку прямая   у = а* + Р*х   проходит через точку (х, у)9 то

у = а* + р*х . Отсюда

а = у-рх,

и для поиска «наилучшей» прямой у = а + /Зх достаточно определить ее угловой коэффициент р, при этом d = y-J3x. Изменяя значения /Г и следя за

п

изменением значений ^(є*)2, можно, в принципе, найти искомое р с любой

наперед заданной точностью. Заметим, однако, что если во всех наблюдениях переменная х принимает одно и то же значение, то хх = ... = хп = х,

є* =у(-(а +р*х) = у(-у9

 

В этом случае сумма ^(є*)2 одинакова для любой прямой у = а + Р х, про-

 

ходящей через точку (xf у).

Соотношение у = а + J3 х представляет подобранную модель линейной

1 Такой выбор удобен с точки зрения простоты вычислений и простоты математических выводов. Однако можно использовать и другие показатели, характеризующие совокупность расхождений в целом, — например, сумму абсолютных величин расхождений.

связи, которая служит аппроксимацией для «истинной» модели у = а + Рх линейной связи между переменными х и у. В подобранной модели наблюдае-

можных значений а /Г, претендующих на роль оценок параметров а и Д следует выбирать такую пару а**, /3**, для которой

±(у,-а" -/Г*,.)2 = min 5>,-a -fxf.

/ = 1     / = 1

Иначе говоря, выбирается такая пара а**9 для которой сумма квадратов расхождений оказывается наименьшей. Получаемые при этом оценки называются оценками наименьших квадратов (НК-оценками) или LS-оцен-ками (least squares estimates). Можно показать, что они совпадают с ранее

определенными оценками а и /?:

a** = d, J3**=fi.

Заметим, что при построении оценок наименьших квадратов заранее не требуется, чтобы соответствующая прямая проходила через точку (х, у); этот факт является свойством оценок наименьших квадратов. Наличие такого свойства докажем чуть позднее (см. Приложение П-1.2а в конце темы), а сейчас рассмотрим, как практически найти указанные оценки аир.

Идеально, если бы существовала возможность прямого вычисления значений а и Р по какой-нибудь формуле на основе известных значений xi9 yi9 і = 1,п. В связи с этим заметим, что функция

 

/ = 1

как функция двух переменных описывает поверхность z = Q(a*9 /?*) в трехмерном пространстве с прямоугольной системой координат а*9 /?*, z, так что

поиск пары а, /? сводится к известной математической задаче — определению точки минимума функции двух переменных.

Соответствующие выкладки приводятся в Приложении П-1.2а, здесь же укажем только конечное решение:

п

 

Р = —п           •

2>,-*)2

/=1

а-у - Р~х.

Разумеется, такое решение может существовать и быть единственным только при выполнении условия £(^-х)2^о.

/=і

которое называется условием идентифицируемости. Оно означает, что не все значения xl9 хп совпадают между собой1. При невыполнении этого условия все точки (xi9yt)9 і = 1,п, лежат на одной вертикальной прямой х = х.

Обратим еще раз внимание на полученное выражение для /?. Нетрудно заметить, что в это выражение входят уже знакомые нам суммы квадратов

2>,--Зс)2

из определений выборочной дисперсии Var(x) = —                    и выборочной

п-

п

Х(*, -*)(>>,-50

ковариации Cov(x9y) = —   .

п-

Так что в этих терминах

-Cov(x9y) Var(x)

 

Отсюда, в частности, видно, что знак /? совпадает со знаком ковариации

Cov(x, у), поскольку Var(x) > 0, и что значения J3 близки к нулю, если кова-риация между наблюдаемыми значениями переменных х и у близка к нулю.

Однако близость J3 к нулю здесь следует понимать как относительную, с учетом реальных значений выборочной дисперсии Var(x).

В качестве одного из примеров проанализируем в дальнейшем статистические данные о годовом потреблении свинины у на душу населения в США (в фунтах) и оптовых ценах на свинину х (в долларах за фунт) за период с 1948 по 1961 г. (табл. 1.3). Если использовать для этих данных линейную

модель связи, то коэффициент J3 оценивается по этим данным как J3 = -24.925. Если же оптовую цену на свинину указать не в долларах, а в центах, то получим значение Р = -0.24925.

В дальнейшем всегда будем предполагать, что это условие выполнено.

Таким образом, изменяя единицу измерения переменной х (или переменной у)9 можно получать существенно различные значения J3 — от сколь угодно малых до сколь угодно больших. Близость значений ft к нулю всегда должна интерпретироваться с оглядкой на используемые единицы измерения переменных х и у.

ХУЛ

Уаг(у) ' Var(x)

Действительно,

 

Cov(x,y) _ r^Varjx) ^Var(y)

Var(x)

Var(x)

откуда и вытекает указанное представление.

На основе последнего соотношения иногда оценивают модели со стандартизованными переменными (standardized variables). Стандартизованная переменная — это безразмерная переменная, которая получается из исходной переменной делением всех значений последней на ее стандартное отклонение. Если хст и уСТ — стандартизованные варианты переменных х и у, то

Ґ          Л         (

Var(xCT) = Var

JVar(x)

= 1,   Var(yCT) = Var

JVar(y)

= 1,

и при оценивании модели для стандартизованных переменных

Лт,/=(« + /?*ст,/) + */

получаем:

Var(xCT)

 

*ст' Уст '

В модели со стандартизованными переменными значение /? показывает, на сколько стандартных отклонений изменяется в среднем переменная у при изменении переменной х на одно стандартное отклонение.

В нашем примере с уровнями безработицы переменная х представляет уровень безработицы среди цветного населения, а переменная у - уровень безработицы среди белого населения. Применим метод наименьших квадратов для оценивания параметров модели линейной связи между этими переменными, исходя из модели наблюдений

yt =(а + Рхі) + єі,   / = 1,...,л. Вычисление а и /? по приведенным выше формулам дает значения Р = 0.020415/0.162976 = 0.125, а = ^-/?х = 3.118-0.125-6.576 = 2.294. Таким образом, «наилучшая» прямая имеет вид

j/ = 2.294+ 0.125*.

Примем ее в качестве аппроксимации для истинной модели линейной связи между переменными х и у. Эта аппроксимация указывает на то, что при изменении переменной х на 1 единицу (измерения х) переменная у изменяется в среднем на 0.125 единицы (измерения у). Если в этом же примере перейти к стандартизованным переменным, то получим: /? = 0.461, а = 20.280. Это указывает на то, что при изменении переменной х на одно стандартное отклонение переменная у изменяется «в среднем» на 0.461 ее стандартного отклонения.

Факт горизонтальности прямой у = а + fix при /? = 0 (Cov(x,y) = 0) и наличие у этой прямой наклона при Р*0 (Cov(x,y)*0) позволяют произвести

некоторую детализацию структуры остатков et =yt-a + Рхг Нанесем на диаграмму рассеяния на рис. 1.3 график прямой у = 2.294 + 0.125* и отметим на этой диаграмме точку А = (7.1, 3.3), соответствующую данным о безработице в США в июне 1968 г. (рис. 1.8). Опустим из этой точки перпендикуляр на ось абсцисс. Он пересекает прямую

5,5     6,0     6,5     7,0     7,5   ZVET       у = у В ТОЧКЄ В = (7.1, 3.118) И ПрЯ-

Рис 18 мую у = а + Рх вточкеС=(7.1, 3.183),

так что расстояние по вертикали от точки А до прямой у = у, равное АВ = 3.3 - 3.118 = 0.182, раскладывается в сумму

АВ = АС+СВ.

Отсюда находим, что расстояние по вертикали от точки А до прямой у = а + /3х равно

АС = АВ -СВ = 0.182 -(3.183 -3.118) = 0.117. Вообще, для любой точки (xt, у;) на диаграмме рассеяния можно записать:

Уі-У = (Уі-Уі) + (Уі-У), где yt = a + Р xt — ордината точки «наилучшей» прямой, имеющей абсциссу дс,-.

Возведем обе части последнего представления в квадрат и просуммируем левые и правые части полученных для каждого і равенств:

2>, - у)2 =£(к - у)2 +2>,-у,)2 +г£(Л-у,)-

/=1       / = 1     / = 1 /=1

Можно показать (см. Приложение П-1.26), что в полученном представлении третья сумма в правой части равна нулю, так что

2>,-у)2 =ZtP/-у)2+£(у, -уі)2- сіл)

/=і        /=1 /=1

При этом существенно, что оценивали здесь модель наблюдений с включением в нее константы а:

уі =(а + Рхі) + єі,   / = 1,..., w.

Если вместо такой модели оценивать модель наблюдений без константы (модель пропорциональной связи — proportional relation)

у^РХі+є^  / = 1,...,л,

то соотношение (1.1) не выполняется. Подробнее этот случай обсуждается при изложении темы 1.3.

Сумму квадратов, стоящую в левой части соотношения (1.1), будем называть полной суммой квадратов (total sum of squares) и обозначать TSS. Таким образом,

 

Первую сумму квадратов в правой части выражения (1.1) будем называть суммой квадратов, объясненной моделью (explained sum of squares), и обозначать ESS, так что

 

Вторая входящая в правую часть выражения (1.1) сумма

1(у,-Л)2=2>,2

/=і /=і

чаще всего называется остаточной суммой квадратов {residual sum of squares) и обозначается RSS1.

Иначе говоря, равенство (1.1) представляет собой разложение полной суммы квадратов на сумму квадратов, объясненную моделью, и остаточную сумму квадратов:

TSS = ESS + RSS.

Заметим, что если J3 = О, то а - у и у. = у . Следовательно, при р = О

 

/ = 1 /=1

т.е. RSS=TSShESS = 0.

При р Ф О, по самому определению прямой у - а + fix, имеем

 

1(я-й)2<2>,-592,

/ = 1 /=1

т.е.RSS<TSS hESS*0.

Если считать, что тенденция линейной связи между переменными х и у выражена в тем большей степени, чем меньшую долю составляет RSS по отношению к TSS, либо, иначе, чем большую долю составляет ESS по отношению к TSS, то естественно предложить в качестве показателя, характеризующего степень выраженности линейной связи между переменными х и у, отношение ESS/TSS. Этот показатель называется коэффициентом детерминации {coefficient of determination) и обозначается R2, так что

 

1(А-у)2

2>,-у)2

^2 _ ESS _ /=1

tss  ^, _ч2

/ = 1

или в силу равенства (1.1)

rss Ьу,-ІЇ TSS

5>,-502

i =

1 Такая аббревиатура используется, например, в учебнике (Доугерти, 2004). Однако в литературе по эконометрике можно встретить и другие варианты: SSR, ESS (error sum of squares), (Магнус, Катышев, Пересецкий, 2005), SSE. Поэтому при чтении различных руководств по эконометрике следует обращать внимание на то, какие именно термины и обозначения используют авторы.

Коэффициент детерминации возрастает с уменьшением доли RSS в TSS. Минимальное значение коэффициента детерминации равно 0 и достигается при RSS = TSS. В этом случае тенденция линейной связи между переменными х и у не обнаруживается, J3 - О и ESS = О (подобранная модель не объясняет

изменчивость переменной^).

Максимальное значение коэффициента детерминации равно 1 и достигается при RSS = 0. В этом случае тенденция линейной связи между переменными х и у выражена в наибольшей степени: все точки (хі9 Уі і = 1, п, располагаются на одной прямой y = d + fix. При этом ESS = TSS (подобранная модель в полной мере объясняет изменчивость переменной у).

Таким образом, для коэффициента детерминации справедливо соотношение

0<R2<.

Рассмотрим термины «полная сумма квадратов» и «сумма квадратов, объясненная моделью». Полная сумма квадратов соответствует значению RSS в ситуации, когда /? = 0 и «наилучшая» прямая имеет вид у = у, отрицающий наличие линейной зависимости у от х. Вследствие этого информация о значениях переменной х не дает ничего нового для объяснения изменений значений у от наблюдения к наблюдению. Степень этой изменчивости была охарактеризована нами значением выборочной дисперсии

 

п-1~Тх п-

при этом TSS = RSS и ESS = 0.

При р * 0 имеем нетривиальное представление TSS = ESS + RSS с ESS ф 0, поэтому можно записать:

ТЛ , ч   TSS   ESS RSS

Var(y) =          - =        - +        -.

n-l   n-l n-l

Однако

 

— =>=l     ,     ='=1     , =Var(y), n-l        n-l n-l

где у — переменная, принимающая в і-м наблюдении значение j>7.

 

Здесь использовано доказываемое далее1 соотношение ^Є;=0, так что

 

п          п          п _

Х<>/-Л) = 0, £я:=2Л и у = у .Ктомуже

1 См. Приложение П-1.2а в конце темы 1.2.

/=1       /=1 /=1

где е — переменная, принимающая в /-м наблюдении значение et.

показывающее, что изменчивость переменной у (степень которой характеризуется значением Var(y)) частично объясняется изменчивостью переменной у (степень которой характеризуется значением Var(y)). Не объясненная переменной у часть изменчивости переменной у соответствует изменчивости

переменной е (степень которой характеризуется значением Var(e)). Последнее разложение для Var(y) часто называют дисперсионным анализом (analysis of variance — ANOVA).

Таким образом, вспомогательная переменная у берет на себя объяснение некоторой части изменчивости значений переменной у. И эта объясненная часть будет тем большей, чем выше значение коэффициента детерминации R2, который теперь можно записать также в виде

Д2 = Уаг(у) Var(y)

= 1-

Var(e) Var(y)

Поскольку переменная у получается линейным преобразованием переменной х, то изменчивость у однозначно связана с изменчивостью х, так что, в конечном счете, построенная модель объясняет часть изменчивости переменной у изменчивостью переменной х. В таком контексте о переменной у говорят как об объясняемой переменной (explained variable), а о переменной х — как об объясняющей переменной (explanatory variable). При этом неявно подразумевается, что в действительности между этими переменными имеется определенная (нестрогая) причинная связь, направленная в сторону объясняемой переменной. Однако отсутствие причинной связи между переменными вовсе не исключает получения высоких значений коэффициента детерминации при подборе модели линейной связи между этими переменными1.

Вернемся опять к нашему примеру. Мы оценили параметры модели линейной связи, исходя из модели наблюдений

См. ниже пример 1.3.4 (тема 1.3).

уі=(а + /3хі) + єі,   / = 1,...,и,

так что объясняемой переменной здесь является уровень безработицы среди белого населения у, а объясняющей переменной — уровень безработицы среди цветного населения х. При этом

ESS = 0.043474 + RSS = 0.161231

TSS = 0.204705 ,

так что

 

Variy) = 0.043474/16 = 0.002717

+ Уаг{ё) = 0.161231/16 = 0.010077

Variy)  = 0.012794,

 

R2 = 0.043474/0.204705 = 0.212374.

Значение коэффициента детерминации оказалось достаточно малым. Далее имеет смысл выяснить, сколь близким к нулю должно быть значение І?2, чтобы можно было говорить о практическом отсутствии линейной связи между переменными.

 

Рассмотрим коэффициент корреляции г^ между переменными у и у, где

у = а + /3х, а а и р — оценки наименьших квадратов параметров а и Р гипотетической линейной связи между переменными х и у. Заметим, что у = у + е (так как et = yt - yt по определению), тогда:

гуу=-

 

Cov(y, у)         Cov(y + е, у)      Cov(y, у) + Cov(e, у)

JVar(y) JVar(y)   ^Var(y) ^Var(y)     yjVar(y) JVar(y) Но выше при выводе разложения для TSS приводилось соотношение

ІСР,-Ш,-Л) = о,

/ = 1

 

которое с учетом ^(Уі ~Уі) = 0 приводит к равенству

/=1

1 п

 

левая часть которого есть не что иное, как Cov(e9 у). Следовательно,

Подпись: yjVar{y) JVar(y) Var{y)'гуу

Var(y)  I Var(y)

 

так что

 

* Far(j/)

Последнее соотношение показывает, что коэффициент детерминации равен квадрату коэффициента корреляции между переменными у и у. Таким образом при достаточно сильно выраженной линейной связи между х и у, что соответствует значению R2, близкому к 1, оказывается близким к 1 и коэффициент корреляции между переменными у и у.

По причинам, которые будут указаны в теме 2.1, называют множественным коэффициентом корреляции (multiple-R, множественный-/?).

Отметим также, что переменная у измеряется в тех же единицах, что и у,

и при изменении масштаба измерения переменной у значение      не изменяется. Отсюда вытекает, что коэффициент детерминации R2 инвариантен относительно изменения масштаба и начала отсчета переменных х и у. Заметим, наконец, что

r           Cov(y,y)          Cov(y,a + J3x)

JVar(y) ^Var(y)   ^Var(y) ^Var(a + J3x)

P Cov(y, x)      = sign(/7) Covjy, x) y/Var(y) yjp2 Var(x)    yjVar(y) J Var(x)

Здесь sign(z) = -1 для z < 0, sign(z) = 0 для z = 0, sign(z) = 1 для z > 0. Поскольку

~Cov(x,y) Var(x) '

то sign(P) = sign(Cov(x,y)) и     = sgn(Cov(x,y))rxy, так что Из этого соотношения вытекает, что:

вычислить значение R2 можно еще до непосредственного оценивания модели линейной связи (для этого достаточно определить значение коэффициента г  и возвести его в квадрат);

значение коэффициента детерминации R2 указывает на степень выраженности линейной связи между переменными х и у (тесноту линейной связи между х и у), на качество линейной аппроксимации действительной модели связи между х и у в рассматриваемом диапазоне изменения переменной jc, а значение коэффициента указывает на тесноту линейной связи между этими переменными (в рассматриваемом диапазоне изменения переменной х) и на направление этой связи.

Замечание 1.2. Если г  < О, то sign(Cov(y, х)) = -1 и     >0; если = О, то sign(0>v(y, х)) = 0 и    = 0; если    > 0, то sign(Cbv(y, *)) = 1 и     > 0, так что всегда     > 0 .

 

Приложение П-1.2а

Согласно принципу наименьших квадратов оценки аир находятся путем минимизации суммы квадратов

Q(a,p) = YJ{yl-a-pxl)2

 

по всем возможным значениям а и рпри заданных (наблюдаемых) значениях хх,х„, у19 у„. Точка минимума этой функции двух переменных находится путем приравнивания нулю частных производных функции z = Q(a, р) по переменным а и Д т.е. приравниванием нулю производной функции Q(a, р) как функции только от а при фиксированном /?:

dg(a,/?)_Q> да

и производной функции 0(а, р) как функции только от р при фиксированном а:

 

др

Это приводит к так называемой системе нормальных уравнений (normal equations)

 

да

 

решением которой и является пара а, р. Остается заметить, что согласно правилам вычисления производных

^ = 2Jo,-«-M)(-i),

да Д

 

Можно проверить, что при найденной паре значений указанная сумма квадратов действительно достигает минимума.

dQ(a,P) dp

= 2£(Л-«-/?*,)(-*,),

так что искомые значения аир удовлетворяют паре соотношений 2>,-a-fix,) = 0,   2>,-a-fix,)x, = О,

/ = 1     / = 1

первое из которых можно записать в виде

п п

\%(Уі-Уі) = П, или  Z*/ = 0-

/=1       /=1

Таким образом, алгебраическая сумма остатков равна 0.

Соотношения системы нормальных уравнений можно записать также в виде

Данная система является системой двух линейных уравнений с двумя неизвестными а, Р, она может быть легко решена, например, методом подстановки. Из первого уравнения системы находим:

1 " Iа" а = ~^У,—Р Xх/ = У-Р*>

 

так что точка (Зс, у) действительно лежит на прямой у = d + р х. Подстановка полученного выражения для а во второе уравнение системы дает

( п       V п           1 ( п      V        ( п       Л п

Z* Z* -1 I*i /»+ Z*2 Mw.

откуда

Z^/-- Z^< Z*/ 2>,v

V=i   уу>=1   у /=1

«х2

ft   4ft ,

Заметим еще, что

Ysxi-xf=Z*2-2*Zx/+w*2=Z*2~w*2'

 

Z(Я -УКх,-х) = ^У'хі-уЛхі-^ЦУі+пУ^ = ИУіх< '"У*-

і = 1     і - 1

Последние соотношения позволяют получить более употребительную форму записи выражения для р (в отклонениях от средних значений):

 

            .

i(*,--*)2

/=і

которая в паре с выражением

а-у-рх

дает явное и простое решение задачи отыскания оценок а, р на основе принципа наименьших квадратов в ситуации, когда не все значения хр    хп одинаковы.

 

Приложение П-1.26

Имеем:

п          п          п          п          А п

Есу, -йхА -у)=Zov,-у^у'-уИєі=Ц(Уі -y№+P*i)-yY<e*=

/=і        /=і        /=і   /=і /=і

п          Л   п п

 

Но

ї>, = І(*-(«+/Н)) = о

і=        і=1

(см. первое уравнение из системы нормальных уравнений). К тому же Za-AK =ZCv,-(a + to)*/ =0

1=1      і=1

(см. второе уравнение из системы нормальных уравнений). Таким образом,

Е(л-Л)(А->0 = о.

/ = і

 

Геометрическая интерпретация основных соотношений метода наименьших квадратов

Основные соотношения метода наименьших квадратов имеют наглядную геометрическую интерпретацию.

Введем в рассмотрение следующие «-мерные векторы:

 

 

V

 

Ух

 

 

 

V

 

V

У =

 

.  У =

 

,    1 =

 

 

 

 

 

Тогда

y = a-l + J3x,  е = у-у,

так что

у = у + е.

Полученные в Приложении П-1.2а соотношения

2>,-а-£*,) = 0, £(у,-а-0х,)х,=О

/=і /=і

можно записать теперь в виде

п п

£(е,-1) = 0,   Ze/*/=0' или  /1 = 0, еТх=0.

1 = 1    1 = 1

Но последние соотношения означают, что вектор остатков е ортогонален единичному вектору 1 и вектору х значений объясняющей переменной X. А это, в свою очередь, означает, что он ортогонален порожденному векторами 1 и х двумерному линейному подпространству Z,2(l, х) «-мерного векторного пространства, в котором расположены все введенные в рассмотрение векторы1.

Вектор у является линейной комбинацией векторов 1 и jc, а потому он принадлежит Z,2(l, х). Поскольку же вектор е ортогонален Z,2(l, х), он ортогонален

любому вектору, принадлежащему Z,2(l, х), а значит, ортогонален и вектору j). Таким образом, в представлении у = у + е векторы-слагаемые ортогональны, поэтому изображенный на рис. 1.9 треугольник ABC — прямоугольный. При этом вектор у является ортогональной проекцией вектора у на/,2(1, х).

Предположим, что среднее арифметическое у значений уи ...9у„ отлично от нуля. Отложим от точки А вектор у =у • 1, который получен растяжением вектора 1 в у раз. Этот вектор принадлежит L2(l, х), начинается в точке А и заканчивается в некоторой точке D. Рассмотрим треугольник BCD. Вектор DC является разностью векторов у и у - 1, а потому также принадлежит Z,2(l, х). Но тогда ВС LCD (так как вектор е ортогонален Z,2(l, х)), и треугольник BCD — прямоугольный. По теореме Пифагора получаем: BD2 = CD2 + BC\т.е.

у-у2 =у-у2 +у-у2,

или в координатной форме

І(Уі-У)2 =StP,-У? +2>,- -Уд2- (1.2)

1 = 1    1 = 1    1 = 1

 

Подпространство Z,2(l, х) состоит из всех векторов, являющихся линейными комбинациями векторов 1 и х. Условие идентифицируемости обеспечивает неколлинеарность векторов 1 их.

Это и есть указанное ранее разложение полной суммы квадратов

TSS = ESS + RSS. Отсюда находим, что коэффициент детерминации равен:

Подпись: R2 =-|

TSS

2   ESS   ТҐі    Jy-y Jy-y

-12

у-у

= cos2 ZBDC.

i =

Заметим также, что соотношение ВС _L CD означает, что (у-у) ±(у-у), или в координатной форме

1(Я-Л(л-Я) = о.

/ = 1

Это именно то соотношение, которое выведено в Приложении П-1.26.

Заметим теперь, что при у = О равенство (1.2) остается в силе, поскольку оно принимает в этом случае вид

/ = 1

1 = 1      1 = 1

а последнее соотношение есть результат применения теоремы Пифагора к прямоугольному треугольнику ABC.

Отметим, наконец, что расположение точки С на рис. 1.9 соответствует

случаю, когда а Ф О и (5 * 0. Ситуация, в которой а = 0, но J5 * 0, отличается только тем, что точка С располагается на той же прямой, что и вектор х;

все приведенные выше рассуждения остаются в силе. Если /? = 0, но а ф О, то точка С располагается на той же прямой, что и вектор 1. Но, как установлено выше, в этой ситуации а - у и у. = у, так что вектор у совпадает с вектором

у = у • 1. Если при этом у Ф О, то точка С совпадает с точкой Д но не совпадает с точкой А. Соотношение (1.2) опять выполняется, сводясь к тождеству

п п

^ІУі-у)2 =^ІУі"У)2- Наконец, если еще и   у = 0, так что и а = 0

и р = О, то точки С и D совпадают с точкой А, вектор у ортогонален подпространству L2(\> х), у = О и вектор е совпадает с вектором> Соотношение (1.2)

п п

сводится в этом случае к тождеству ^yf =^yf-

і = 1     і = 1

 

КОНТРОЛЬНЫЕ ВОПРОСЫ

Как ставится задача поиска «наилучшей» прямой для аппроксимации линейной модели связи между двумя экономическими переменными?

В чем состоит метод наименьших квадратов? Как он реализуется при оценивании параметров линейной модели наблюдений? Что такое система нормальных уравнений, каков ее геометрический смысл?

Чему равна алгебраическая сумма остатков, полученных при оценивании параметров линейной модели наблюдений?

В каком соотношении находятся знак оценки наименьших квадратов углового коэффициента модели прямолинейной связи у = а + рх и знак выборочной ковариации Cov(x, у)1

Зависит ли значение оценки наименьших квадратов углового коэффициента модели прямолинейной связи у = а + рх от выбора единиц измерения переменных х и yl

Каково соотношение между полной, объясненной моделью и остаточной суммами квадратов, получаемыми в результате оценивания методом наименьших квадратов линейной модели наблюдений? Каков геометрический смысл этого соотношения?

Что такое коэффициент детерминации? Для какой цели он предназначен? В каких границах он изменяется и когда достигает своих граничных значений? Каков геометрический смысл коэффициента детерминации?

Какие переменные называются объясняющими, а какие — объясняемыми?

Как связаны значения коэффициента детерминации, получаемого при оценивании линейной модели наблюдений у. - (а + pxt) + є,., / = 1, и, со значениями множественного коэффициента корреляции и коэффициента корреляции между переменными х и yl

 

Что можно сказать о корреляционной связи между остатками и прогнозными значениями объясняемой переменной?

Как располагаются точки на диаграмме рассеяния, на которой по оси абсцисс откладываются прогнозные значения объясняемой переменной, а по оси ординат — наблюдаемые значения объясняемой переменной?

12. Как располагаются точки на диаграмме рассеяния, на которой по оси абсцисс откладываются наблюдаемые значения объясняемой переменной, а по оси ординат — прогнозные значения объясняемой переменной?

 

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 |