Имя материала: Эконометрика. Учебно-методическое пособие

Автор: Шалабанов А.К.

2.3. проверка существенности факторов и показатели качества регрессии

Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата - показателя детерминации.

Показатель множественной корреляции характеризует тесноту связи рассматриваемого набора факторов с исследуемым признаком или, иначе, оценивает тесноту совместного влияния факторов на результат.

Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции:

2

К* x =А/1     , (2.12)

yx1x2...xm       \         т          v /

у

Подпись: 2
ост
где

2 2

s - общая дисперсия результативного признака; <7о

остаточная

дисперсия.

Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:

R        > r

yx1x2...xm ~   yxi(max)

(! = 1, m)

При правильном включении факторов в регрессионную модель величина индекса множественной корреляции будет существенно отличаться от индекса корреляции парной зависимости. Если же дополнительно включенные в уравнение множественной регрессии факторы третьестепенны, то индекс множественной корреляции может практически совпадать с индексом парной корреляции (различия в третьем, четвертом знаках). Отсюда ясно, что сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности включения в уравнение регрессии того или иного фактора.

(2.13) индекса

Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии:

У - y

1                  /        ^     2

x1x2...xm

^о2ст = - X (

Можно пользоваться множественной детерминации:

n V

следующей формулой

Подпись: x1x2...xm

R        = 1 —

yx1x2...xm

У — У

X (y—У )2

)2

 

(2.14)

 

При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением:

R^..m =>/ІД • rrx, , (2.15)

 

где Д - стандартизованные коэффициенты регрессии;       - парные

коэффициенты корреляции результата с каждым фактором.

Формула индекса множественной корреляции для линейной регрессии получила название линейного коэффициента множественной корреляции, или, что то же самое, совокупного коэффициента корреляции.

Возможно также при линейной зависимости определение совокупного коэффициента корреляции через матрицу парных коэффициентов корреляции:

R =

1

Dr

 

(2.16)

Подпись: 11
где

определитель матрицы межфакторной корреляции.

Как видим, величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. Рассмотренная формула позволяет определять совокупный коэффициент корреляции, не обращаясь при этом к уравнению множественной регрессии, а используя лишь парные коэффициенты корреляции.

В рассмотренных показателях множественной корреляции (индекс и коэффициент) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объеме наблюдений n. Если число параметров при xi равно m и приближается к объему наблюдений, то остаточная

дисперсия будет близка к нулю и коэффициент (индекс) корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс (коэффициент) множественной корреляции.

Скорректированный индекс множественной корреляции содержит поправку на число степеней свободы, а именно остаточная сумма

 

квадратов   X (у — ух^ x )    делится  на число  степеней свободы

остаточной вариации (n — m —1) , а общая сумма квадратов отклонений X ( у — у)    на число степеней свободы в целом по совокупности

(n — 1).

Формула      скорректированного      индекса множественной детерминации имеет вид:

 

я = 1—

X (у—у) /(n—m—1)

 

 

(2.17)

 

где m - число параметров при переменных x; n - число наблюдений.

X ( y - yx1x2... xm )     1 D2

Поскольку      2          = 1 - R ,       то величину

X (y - y)

скорректированного индекса детерминации можно представить в виде:

R = 1 -(1 - R2)            П-—. (2.17а)

n - m -1

Чем больше величина m, тем сильнее различия і? и R .

Как было показано выше, ранжирование факторов, участвующих во множественной линейной регрессии, может быть проведено через стандартизованные коэффициенты регрессии (/? -коэффициенты). Эта же

цель может быть достигнута с помощью частных коэффициентов корреляции (для линейных связей). Кроме того, частные показатели корреляции широко используются при решении проблемы отбора факторов: целесообразность включения того или иного фактора в модель можно доказать величиной показателя частной корреляции.

Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при элиминировании (устранении влияния) других факторов, включенных в уравнение регрессии.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

В общем виде при наличии m факторов для уравнения

y = 3 + b x1 + b2 x2... + bmxm +Є

коэффициент частной корреляции, измеряющий влияние на y фактора xi , при неизменном уровне других факторов, можно определить по формуле:

r

yxi x1x2...xi—1xi+1-xm

 

1          1   Ryx1x2...x,...xm   , (2.18)

1 — R

yx1x2... xi—1xi+1 ■■■xm

где       x. x  - множественный коэффициент детерминации всех m

факторов   с   результатом;    Rjx1x2 x 1x   x    -   тот   же показатель

детерминации, но без введения в модель фактора x! . При двух факторах формула (2.18) примет вид:

1—R

1—R

2

yxx2

2

^2        i1 —Г—ГГ ;   —        . (2.18а)

Порядок   частного   коэффициента   корреляции определяется количеством факторов, влияние которых исключается. Например, ryx. x2 -

коэффициент частной корреляции первого порядка. Соответственно коэффициенты парной корреляции называются коэффициентами нулевого порядка. Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:

r           — r      • r

Г                      yxi' x1x2...xi—1xi+1...xm—1            yxm ' x1x2... xm— 1       xixm ' x1x2... xi—1xi+1...xm—1       (2 19)

 

\          yxm ' x1x2... xm—1j xixm ' x1x2... xi—1xi+1...xm— 1 /

При двух факторах данная формула примет вид:

 

r           jj4        лл2     . r         J2    jj4   л1л2          (2 1

 

Для уравнения регрессии с тремя факторами частные коэффициенты корреляции второго порядка определяются на основе частных коэффициентов корреляции первого порядка. Так, по уравнению y _ a + b1x1 + b2 x2 + b3 x3 + e возможно исчисление трех частных коэффициентов корреляции второго порядка: r       r r

yx1 ■ x2 x3 '    yx2 ■ x1x3 '    yx3 ■ x1x2 '

 

каждый из которых определяется по рекуррентной формуле. Например, при i = 1 имеем формулу для расчета гуХгХ2Хъ :

г     — г     • г

г          =          уХ1Х2            уХ3Х2      Х1Х3Х2   (2 ОН)

гХХХ3     /(1 — г2    )(1 — г2    ) '

у 3 2    1 3 2

Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от -1 до +1, а по формулам через множественные коэффициенты детерминации - от 0 до 1. Сравнение их друг с другом позволяет ранжировать факторы по тесноте их связи с результатом. Частные коэффициенты корреляции дают меру тесноты связи каждого фактора с результатом в чистом виде. Если из стандартизованного уравнения регрессии  ty = b1t + Ь2^Хг + А^Хз +£

следует, что Д > b2 > b3, т.е. no силе влияния на результат порядок факторов таков: Х1, Х2, Х3, то этот же порядок факторов определяется и по       соотношению      частных      коэффициентов корреляции,

г      > г      > г .

у 1 2 3     у 2 1 3     у 3 1 2

В эконометрике частные коэффициенты корреляции обычно не имеют самостоятельного значения. Их используют на стадии формирования модели. Так, строя многофакторную модель, на первом шаге определяется уравнение регрессии с полным набором факторов и рассчитывается матрица частных коэффициентов корреляции. На втором шаге отбирается фактор с наименьшей и несущественной по t-критерию Стьюдента величиной показателя частной корреляции. Исключив его из модели, строится новое уравнение регрессии. Процедура продолжается до тех пор, пока не окажется, что все частные коэффициенты корреляции существенно отличаются от нуля. Если исключен несущественный фактор, то множественные коэффициенты детерминации на двух смежных шагах построения регрессионной модели почти не отличаются

друг от друга, Rm+1 » Rm, где m - число факторов.

58

Из приведенных выше формул частных коэффициентов корреляции видна связь этих показателей с совокупным коэффициентом корреляции. Зная частные коэффициенты корреляции (последовательно первого, второго и более высокого порядка), можно определить совокупный коэффициент корреляции по формуле:

Ryxlx2...xm = -j1- (l- гухг)'(l - ryx2-хг)'(l - гухъ-к,кг)'...' (l- ryxmхт_г). (2 21)

В частности, для двухфакторного уравнения формула (2.21) принимает вид:

=yj1 -(1 ~ ii )(1 - r22xi). (2.21а) При полной зависимости результативного признака от исследуемых факторов коэффициент совокупного их влияния равен единице. Из единицы   вычитается   доля   остаточной   вариации результативного

признака  (l — r2), обусловленная последовательно включенными в

анализ факторами. В результате подкоренное выражение характеризует совокупное действие всех исследуемых факторов.

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью F-критерия Фишера:

 

где 5факт - факторная сумма квадратов на одну степень свободы; 5ост -

остаточная сумма квадратов на одну степень свободы; R - коэффициент (индекс) множественной детерминации; m - число параметров при переменных x (в линейной регрессии совпадает с числом включенных в модель факторов); п - число наблюдений.

Оценивается значимость не только уравнения в целом, но и фактора, дополнительно включенного в регрессионную модель. Необходимость такой оценки связана с тем, что не каждый фактор,

вошедший в модель, может существенно увеличивать долю объясненной

59

вариации результативного признака. Кроме того, при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и того же фактора может быть разной в зависимости от последовательности его введения в модель. Мерой для оценки включения фактора в модель служит частный F-критерий, т.е. Fx .

Частный F-критерий построен на сравнении прироста факторной дисперсии, обусловленного влиянием дополнительно включенного фактора, с остаточной дисперсией на одну степень свободы по регрессионной модели в целом. В общем виде для фактора xi частный F - критерий определится как

 

77   _     yxl...xt...хт    yxl...x1_lx1+l...xm     n _ IB _ 1 полч

F -—itrj-t;        — (2.23)

yx1...xi... хт

где Ryxi х х - коэффициент множественной детерминации для модели с полным набором факторов, R2x х х   х   - тот же показатель, но без

г          I           г          yxi... xi_ixi+i...xm

включения в модель фактора х , n - число наблюдений, т - число

параметров в модели (без свободного члена).

Фактическое значение частного F-критерия сравнивается с табличным при уровне значимости a и числе степеней свободы: 1 и

n_ т_ 1. Если фактическое значение Fxi превышает Fji&i (a, k1, k2), то дополнительное включение фактора хі в модель статистически оправданно и коэффициент чистой регрессии Ъ{ при факторе xi статистически значим. Если же фактическое значение  Fx меньше

табличного, то дополнительное включение в модель фактора хі не увеличивает существенно долю объясненной вариации признака y, следовательно, нецелесообразно его включение в модель; коэффициент регрессии при данном факторе в этом случае статистически незначим. Для двухфакторного уравнения частные F-критерии имеют вид:

F =       ^ •(П-3),   F2 = f^"Г" •(n-3). (2.23а)

ухххг УХХХ2

С помощью частного F-критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор  xi вводился в уравнение множественной

регрессии последним.

Частный F-критерий оценивает значимость коэффициентов чистой регрессии. Зная величину Fx, можно определить и t-критерий для

 

коэффициента регрессии при i-м факторе, tb , а именно:

 

Оценка значимости коэффициентов чистой регрессии по t-критерию Стьюдента может быть проведена и без расчета частных F-критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула:

 

tbt =^, (2.25)

 

где bi - коэффициент чистой регрессии при факторе xi, mb - средняя

 

квадратическая (стандартная) ошибка коэффициента регрессии bi.

Для      уравнения      множественной регрессии

y = a + b[xl + b2 x2 +... + bmxm средняя квадратическая ошибка коэффициента регрессии может быть определена по следующей формуле:

b'   s Jl - R2       yfn - m -1

xi V     x,xi...Хщ

 

mb =    I        „ ^   I      . , (2.26)

 

где оу - среднее квадратическое отклонение для признака у, ох -

 

среднее   квадратическое   отклонение   для  признака   Хі,   R  Х -

 

коэффициент детерминации для уравнения множественной регрессии,

х   - коэффициент детерминации для зависимости фактора Хі со

всеми другими факторами уравнения множественной регрессии; n — m — 1 - число степеней свободы для остаточной суммы квадратов отклонений.

Как видим, чтобы воспользоваться данной формулой, необходимы матрица межфакторной корреляции и расчет по ней соответствующих

коэффициентов    детерминации     Rx2i 1... m .    Так,    для уравнения

у = a + Ь1Х1 + b2 Х2 + b3 Х3 оценка значимости коэффициентов регрессии b, b2, Ьз предполагает расчет трех межфакторных коэффициентов

 

детерминации:   ^^х2хз ,   R• х1х3 ,   R• х1х2 .

Взаимосвязь показателей частного коэффициента корреляции, частного F-критерия и t-критерия Стьюдента для коэффициентов чистой регрессии может использоваться в процедуре отбора факторов. Отсев факторов при построении уравнения регрессии методом исключения практически можно осуществлять не только по частным коэффициентам корреляции, исключая на каждом шаге фактор с наименьшим незначимым значением частного коэффициента корреляции, но и по величинам tb и Fx . Частный F-критерий широко используется

и при построении модели методом включения переменных и шаговым регрессионным методом.

Пример. Оценим качество уравнения, полученного в предыдущем параграфе. Сначала найдем значения парных коэффициентов корреляции:

г  = ^ —       = 6М — 6,8^9,4 = 0,869;

уХ о у Ох1     1,83 1,56

62

Подпись: y■ x2 _y■ x2 _44,5_6,8• 6,3Подпись: 0,639;r

yx2

x2

1,83 1,42

0,488.

X1X2      s s

X x

 

60,3 _ 9,4 ■ 6,3 1,56 1,42

x1 x2

Значения  парных  коэффициентов   корреляции  указывают на достаточно тесную связь сменной добычи угля на одного рабочего y с

мощностью пласта x1 и на умеренную связь с уровнем механизации

работ x2. В то же время межфакторная связь rx1x2 не очень сильная

(rx1x2 — 0,49 < 0,7), что говорит о том, что оба фактора являются

информативными, т. е. и x1, и x2 необходимо включить в модель.

Теперь рассчитаем совокупный коэффициент корреляции RyX1X2.

Для этого сначала найдем определитель матрицы парных коэффициентов корреляции:

1     0,87 0,641

Dr

0,139064,

0,87     1 0,49|

0, 64 0, 49 1

и определитель матрицы межфакторной корреляции:

Dr1

0,7599.

1 0,49| 0,49 1

Тогда коэффициент множественной корреляции по формуле (2.16):

Подпись: 2 Подпись: Ryx1x2

 

R—

yx1x2

1

1

0,904.

Подпись: Dr0,139064

Dr11       0, 7599

Т.е. можно сказать, что 81,7\% (коэффициент детерминации — 0,817)     вариации     результата     объясняется вариацией

представленных в уравнении признаков, что указывает на весьма тесную связь признаков с результатом.

Примерно тот же результат (различия связаны с ошибками округлений) для коэффициента множественной регрессии получим, если воспользуемся формулами (2.12) и (2.15):

 

1—°|=11 -     =0,901;

Rxx, =jLprb =V0,728 0,87 + 0,285 0,64 = 0,903.

Скорректированный коэффициент множественной детерминации

R = 1 — (1 — R2)——— = 1 — (1 — 0,817 )•   10 — 1   = 0,765

n — m — 1     10 — 2 — 1

указывает на умеренную связь между результатом и признаками. Это

связано с малым количеством наблюдений.

Теперь найдем частные коэффициенты корреляции по формулам

(2.18а) и (2.19а):

г=

уХ1 Х2

1 — 1^     1 — Ь-0817 = 0,831;

1 — гу2Х2      1 —0,408

 

гуХ Х

уХ2 Х1

1

1 — Rx1X2     i,   1 — 0,817

1 — £        1 — 0,755

 

0,503.

Подпись: гуХ1Х2 =     /.	,     .	,   = 0,830;
Подпись: г"
Х1	— г Х  гХ Х
уХ2      Х1Х2 =	_    0,869 — 0,639 0,488
Л1—г	* (1 — г2 )
уХ2 Х1Х2	^(1 — 0,4892 )(1 — 0,6392)
г Х
Х2	— гуХ гХ Х
ух1     Х1Х2 =	_    0,639 — 0,869 0,488
А1—	г2 V(1 — г2 )
у 1           1 2	^(1 — 0,4882 )(1 — 0,8692)

 

г     =     ул2    ул1   чл2     =     ' —      —     —    = 0 498

№Ч~V(1——4W0—0,4882)(1—0,8692)'

Т.е. можно сделать вывод, что фактор 1 оказывает более сильное влияние на результат, чем признак  2 .

Оценим надежность уравнения регрессии в целом и показателя связи с помощью F-критерия Фишера. Фактическое значение F-критерия (2.22)

R2    n - m -1     0,817    10 - 2 -1 лс„

^Лякт =           7          =          = 15, 63 .

факт   1 - R       m       1 - 0,817 2 Табличное значение   F-критерия при пятипроцентном уровне

значимости (a = 0,05, k1 = 2, k2 = 10 - 2 -1 = 7): Fa&i = 4,74. Так как = 15,63 >       = 4,10, то уравнение признается статистически

значимым.

Оценим целесообразность включения фактора x1 после фактора x2 и x2 после x1 с помощью частного F-критерия Фишера (2.23а):

= К,, -£ .(n-з) = 0,817-0,408.7 = 15,65; Х1    1 - Rxx   v     ;     1 - 0,817

 

=          .(n-з) = 0,817-0,755 .7 = 2,37.

x2    1 - Kx^    1 - 0,817

Табличное значение частного F-критерия при пятипроцентном уровне значимости (a = 0,05, k1 = 1, k2 = 10 - 2 -1 = 7): F^&i = 5,59. Так как F = 15,65 > Fтaбл = 5,59, а = 2,37 < ^ = 5,59, то включение фактора x1 в модель статистически оправдано и коэффициент чистой регрессии ^1 статистически значим, а дополнительное включение фактора x2, после того, как уже введен фактор x1, нецелесообразно.

Уравнение регрессии, включающее только один значимый аргумент x2 :

У =-2,754 +1,016x1.

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 |