Имя материала: Эконометрика.Конспект лекций

Автор: Ангелина Витальевна Яковлева

1. методы нелинейного оценивания регрессионных параметров

 

n

Функционал F = 2 (y — y) называется функционалом ошибок

или функцией потерь, так как любые отклонения наблюдаемых величин от теоретических (т. е. рассчитанных с помощью уравнения регрессии) являются потерями в точности аппроксимации исходных данных. В качестве функции потерь может быть использована сумма модулей отклонений наблюдаемых значений результативного признака y от теоретических значений

nn

y / F = 21 Уі — f (x, ії или F = 2| Уі — Уі

=1 =1

 

Для минимизации функционала ошибок применяются различные методы. Основной проблемой всех методов являются локальные минимумы. При небольшом изменении оцениваемого параметра функция потерь практически не изменится, существует вероятность того, что ошибочное значение оцениваемого параметра уравнения регрессии даст в результате существенное уме-нь-шение функции ошибок. Это явление называется локальным минимумом. Локальные минимумы приводят к неправдоподобно завышенным или заниженным оценкам регрессионных параметров. Выходом из ситуации является повторение процедуры оценивания с измененными начальными условиями (шагом, ограничением оцениваемых параметров и т. д.). Оптимальные оценки коэффициентов получаются тогда, когда функция ошибок достигает глобального минимума.

Одним из основных методов минимизации функции ошибок является метод Ньютона. Основной шаг в направлении глобального минимума метода Ньютона определяется по формуле:

А+1 =А—H—lgk,

где вк — вектор значений оцениваемых параметров на k-ой итерации;

H — матрица вторых частных производных, или матрица Гессе;

gk — вектор градиента на k-ой итерации.            

Пусть дана скалярная функция y от переменных x ,   =1,n f(x). Независимые переменные представлены в виде вектора:

x= ^X1, x2,     xn] . Тогда по определению производной:

dx

dy = df (x)

d x

Вектор-столбец df (x )df (x )    df (x )

Vf (x ) =

df (x )'

dx

называется градиентом функции y = f(x) в точке x.

Чтобы избежать громоздких вычислений матрицы Гессе, существуют различные способы ее замены приближенными выражениями, что легло в основу квазиньютоновых методов. Сущность квазиньютоновых методов заключается в том, что вычисляются значения функции ошибок в различных точках для определения первой и второй производной. Первая производная функции в заданной точке равна тангенсу угла наклона графика функции, а вторая производная функции в заданной точке равна скорости его изменения. Эти данные используются для определения направления изменения параметров, а соответственно, и для минимизации функции ошибок.

Методом, не использующим производные функции ошибок, является симплекс-метод. На каждом шаге или на каждой итерации функция ошибок оценивается в n + 1 точках n-мерного пространства, образуя фигуру, называемую симплексом. В многомерном пространстве симплекс будет постепенно менять параметры, смещаясь в сторону минимизации функции потерь.

Преимущество симплекс-метода заключается в том, что при слишком большом шаге для точного определения направления минимизации функции потерь (т. е. при слишком большом симплексе), алгоритм автоматически уменьшает симплекс, и вычислительная процедура продолжается.

При обнаружении минимума симплекс снова увеличивается для проверки минимума на локальность.

2. Показатели корреляции и детерминации для нелинейной регрессии. Проверка значимости уравнения нелинейной регрессии

Качество нелинейной регрессионной модели определяется с помощью нелинейного показателя корреляции, который называется индексом корреляции для нелинейных форм связи. Он вычисляется через теорему о разложении дисперсий следующим образом:

Подпись:
где G2(y) — общая дисперсия результативного признака;

a 2(y) — объясненная с помощью построенного уравнения регрессии дисперсия зависимой переменной; д 2(y) — необъясненная или остаточная дисперсия зависимой переменной.

Также индекс корреляции можно вычислить через теорему о разложении сумм квадратов:

Подпись:
Индекс корреляции для нелинейных форм связи изменяется в пределах [0; +1]. Чем ближе его значение к единице, тем сильнее взаимосвязь между изучаемыми переменными.

Если возвести индекс корреляции в квадрат, то полученная величина будет называться индексом детерминации:

R2 =

a2{y) RSS

G 2( y) TSS

Индекс детерминации для нелинейных форм связи по характеристикам аналогичен обычному коэффициенту детерминации.

Если нелинейное по факторным переменным уравнение регрессии с помощью метода замен можно свести к парному линейному уравнению регрессии, то на это уравнение будут распространяться все методы проверки гипотез для парной линейной зависимости.

Проверка гипотезы о значимости индекса корреляции аналогична проверке гипотезы о значимости множественного коэффициента корреляции через F-критерий.

Проверка гипотезы о значимости нелинейной регрессионной модели в целом осуществляется через F-критерий Фишера.

Выдвигается основная гипотеза H0 о незначимости полученного уравнения регрессии:

H0/ R2 = 0.

Альтернативной является обратная гипотеза H1 о значимости построенного уравнения регрессии:

H1 / R2 * 0.

Значение F-критерия вычисляется по формуле:

где n — объем выборочной совокупности;

l — число оцениваемых параметров по выборочной совокуп

ности.

Значение F-критерия FKpum вычисляется по таблице распределения Фишера—Снедекора в зависимости от уровня значимости а и числа степеней свободы: k1 = l - 1 и кг = n - l.

Если FHa6/i > FKpum, то основная гипотеза отклоняется, и уравнение нелинейной регрессии является значимым.

Если Fm6ji < FKpum, то основная гипотеза принимается, и уравнение нелинейной регрессии признается незначимым.

Если есть возможность выбора между линейной и нелинейной регрессионными моделями, то предпочтение всегда отдается более простой линейной форме. Проверить предположение о вероятной линейной зависимости между изучаемыми переменными можно с помощью коэффициента детерминации r 2 и индекса детерминации R г.

Выдвигается гипотеза о линейной зависимости между переменными.

Альтернативной является гипотеза о нелинейной зависимости между переменными. Проверка осуществляется с помощью t-критерия Стьюдента.

 

Наблюдаемое значение t-критерия находится по формуле:

 

VR—r

где vRr — величина ошибки разности (R 2 — r 2), вычисляемая по формуле:

 

VR—r =

(R2 — r2)— (R2 — r2 )х (2 — (R2 + r2))

n

Критическое значение t—критерия tKpum(a, n — l — 1) определяется по таблице распределения Стьюдента.

Если tm6n > tKpum, то основная гипотеза отклоняется, и между изучаемыми переменными существует нелинейная взаимосвязь.

Если tm6n < tKpum, то зависимость между переменными может быть аппроксимирована линейным регрессионным уравнением.

Страница: | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | 31 | 32 | 33 | 34 | 35 | 36 | 37 | 38 | 39 | 40 | 41 | 42 | 43 | 44 | 45 | 46 | 47 | 48 | 49 | 50 | 51 | 52 | 53 | 54 | 55 | 56 | 57 | 58 | 59 | 60 | 61 | 62 | 63 | 64 | 65 | 66 | 67 | 68 | 69 | 70 | 71 | 72 | 73 | 74 | 75 | 76 | 77 |