Статистическая значимость логит и пробит-моделей и факторов этих моделей. Проверка значимости модели с использованием коэффициента детерминации

Коэффициент детерминации является статистикой, т.к.егозначения вычисляются по наблюденным данным. На основе коэффициента детерминации строится статистическая процедура, осуществляющая проверку, насколько значима линейная связь между факторами.

Статистика, проверяющая значимость всего уравнения регрессии имеет вид:

Получаем:

Возрастающим значениям статистики соответствуют и возрастающие значения статистики, поэтому гипотеза, не принимаемая при=, не принимается, если выполняется неравенство, где

Вероятность ошибочно отклонить гипотезу равна.

Вычислим критические значения при для разного количества наблюдений.

Рассмотрим простую линейную регрессию, так что

Критические значения, полученные в зависимости от числа наблюдений:

Т.е., при значительном количестве наблюдений даже малые отклонения фактического значения от 0 оказываются существенными для признания статистической значимости коэффициента регрессии, при содержательной объясняющей переменной.

Призначениесовпадает с квадратом коэффициента корреляции между переменными, такой же вывод верен и для коэффициента корреляции:

Рассмотрим теперь коэффициенты детерминации R 2 для полной и редуцированной модели. В полной модели значение R 2 всегда больше, чем в редуцированной, т.к. в полной модели с m объясняющими переменными минимизируем сумму

по всем значениям коэффициентов. При рассмотрении редуцированной модели, например, безm-ой объясняющей переменной, ищется минимум суммы

по всем значениям коэффициентов, Получаемое при этом значение минимума не может быть больше значения, получаемого при минимизации суммы отклонений по всем значениям, включая и значения. Отсюда и вытекает свойство коэффициента.

Для удобства процедуры выбора модели с использованием предлагается вместоиспользовать его скорректированную (adjusted) форму

в которой вводится штраф, связанный с увеличением числа объясняющих переменных. Получаем:

Таким образом, лучшей признается та из конкурирующих моделей, для которой принимает максимально возможное значение.

Если при сравнении конкурирующих моделей оценивание производится с использованием одинакового количества наблюдений, то сравнение моделей по величине эквивалентно сравнению этих моделей по значению или. При этом выбирается альтернативная модель с минимальным значением (или).

Кроме скорректированных коэффициентов детерминации, при выборе одной из нескольких альтернативных моделей используются информационные критерии, такие как критерий Шварца, критерий Акаике, «штрафующие» за увеличение объясняющих переменных, но несколько другими методами.

КритерийАкаике (Akaike"sinformationcriterion-AIC). Используя этот критерий линейная модель с объясняющими факторами, построенная по наблюдениям, сопоставляется сзначением

Остаточная сумма квадратов. Т.к. первое слагаемое с увеличениемчисла объясняющих переменных уменьшается, а второе слагаемое увеличивается, тоиз альтернативных моделей выбираем модель с наименьшим значением.Таким образом, достигается компромисс между остаточной суммой квадратов и числом объясняющих факторов.

КритерийШварца (Schwarz"sinformationcriterion-SC, SIC). Используя этот критерий линейная модель с объясняющими факторами, построенная по наблюдениям, сопоставляется сзначением

И здесь также как при использовании критерия Акаикеувеличение количества объясняющих факторов ведет к уменьшению первого слагаемогов правой части и к увеличению второго. Из полной и редуцированных альтернативных моделей выбирается модель с наименьшим значением.

Задание . По территориям региона приводятся данные за 199Х г.;
Номер региона Среднедушевой прожиточный минимум в день одного трудоспособного, руб., х Среднедневная заработная плата, руб., у
1 78 133
2 82 148
3 87 134
4 79 154
5 89 162
6 106 195
7 67 139
8 88 158
9 73 152
10 87 162
11 76 159
12 115 173
Требуется:
1. Построить линейное уравнение парной регрессии у от х.
2. Рассчитать линейный коэффициент парной корреляции и среднюю ошибку аппроксимации.
3. Оценить статистическую значимость параметров регрессии и корреляции.
4. Выполнить прогноз заработной платы у при прогнозном значении среднедушевого прожиточного минимума х, составляющем 107% от среднего уровня.
5. Оценить точность прогноза, рассчитав ошибку прогноза и его доверительный интервал.

Решение находим с помощью калькулятора .
Использование графического метода .
Этот метод применяют для наглядного изображения формы связи между изучаемыми экономическими показателями. Для этого в прямоугольной системе координат строят график, по оси ординат откладывают индивидуальные значения результативного признака Y, а по оси абсцисс - индивидуальные значения факторного признака X.
Совокупность точек результативного и факторного признаков называется полем корреляции .
На основании поля корреляции можно выдвинуть гипотезу (для генеральной совокупности) о том, что связь между всеми возможными значениями X и Y носит линейный характер.
Линейное уравнение регрессии имеет вид y = bx + a + ε
Здесь ε - случайная ошибка (отклонение, возмущение).
Причины существования случайной ошибки:
1. Невключение в регрессионную модель значимых объясняющих переменных;
2. Агрегирование переменных. Например, функция суммарного потребления – это попытка общего выражения совокупности решений отдельных индивидов о расходах. Это лишь аппроксимация отдельных соотношений, которые имеют разные параметры.
3. Неправильное описание структуры модели;
4. Неправильная функциональная спецификация;
5. Ошибки измерения.
Так как отклонения ε i для каждого конкретного наблюдения i – случайны и их значения в выборке неизвестны, то:
1) по наблюдениям x i и y i можно получить только оценки параметров α и β
2) Оценками параметров α и β регрессионной модели являются соответственно величины а и b, которые носят случайный характер, т.к. соответствуют случайной выборке;
Тогда оценочное уравнение регрессии (построенное по выборочным данным) будет иметь вид y = bx + a + ε, где e i – наблюдаемые значения (оценки) ошибок ε i , а и b соответственно оценки параметров α и β регрессионной модели, которые следует найти.
Для оценки параметров α и β - используют МНК (метод наименьших квадратов).
Система нормальных уравнений.
Для наших данных система уравнений имеет вид
Из первого уравнения выражаем а и подставим во второе уравнение
Получаем b = 0.92, a = 76.98
Уравнение регрессии:
y = 0.92 x + 76.98

1. Параметры уравнения регрессии.
Выборочные средние.



Выборочные дисперсии:


Среднеквадратическое отклонение


Коэффициент корреляции
Рассчитываем показатель тесноты связи. Таким показателем является выборочный линейный коэффициент корреляции, который рассчитывается по формуле:

Линейный коэффициент корреляции принимает значения от –1 до +1.
Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока :
0.1 < r xy < 0.3: слабая;
0.3 < r xy < 0.5: умеренная;
0.5 < r xy < 0.7: заметная;
0.7 < r xy < 0.9: высокая;
0.9 < r xy < 1: весьма высокая;
В нашем примере связь между среднедневной заработной платы и среднедушевым прожиточным минимумом высокая и прямая.
1.2. Уравнение регрессии (оценка уравнения регрессии).

Линейное уравнение регрессии имеет вид y = 0.92 x + 76.98
Коэффициентам уравнения линейной регрессии можно придать экономический смысл.
Коэффициент b = 0.92 показывает среднее изменение результативного показателя (в единицах измерения у) с повышением или понижением величины фактора х на единицу его измерения. В данном примере с увеличением на 1 руб. среднедушевого прожиточного минимума в день среднедневная заработная плата повышается в среднем на 0.92.
Коэффициент a = 76.98 формально показывает прогнозируемый уровень Среднедневная заработная плата, но только в том случае, если х=0 находится близко с выборочными значениями.
Подставив в уравнение регрессии соответствующие значения х, можно определить выровненные (предсказанные) значения результативного показателя y(x) для каждого наблюдения.
Связь между среднедневной заработной платы и среднедушевого прожиточного минимума в день определяет знак коэффициента регрессии b (если > 0 – прямая связь, иначе - обратная). В нашем примере связь прямая.
Коэффициент эластичности.
Коэффициенты регрессии (в примере b) нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака х.
Для этих целей вычисляются коэффициенты эластичности и бета - коэффициенты. Коэффициент эластичности находится по формуле:


Он показывает, на сколько процентов в среднем изменяется результативный признак у при изменении факторного признака х на 1%. Он не учитывает степень колеблемости факторов.
Коэффициент эластичности меньше 1. Следовательно, при изменении среднедушевого прожиточного минимума в день на 1%, среднедневная заработная плата изменится менее чем на 1%. Другими словами - влияние среднедушевого прожиточного минимума Х на среднедневную заработную плату Y не существенно.
Бета – коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

Т.е. увеличение x на величину среднеквадратического отклонения этого показателя приведет к увеличению средней среднедневной заработной платы Y на 0.721 среднеквадратичного отклонения этого показателя.
1.4. Ошибка аппроксимации.
Оценим качество уравнения регрессии с помощью ошибки абсолютной аппроксимации.


Поскольку ошибка меньше 15%, то данное уравнение можно использовать в качестве регрессии.
Коэффициент детерминации.
Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака.
Чаще всего, давая интерпретацию коэффициента детерминации, его выражают в процентах.
R 2 = 0.72 2 = 0.5199
т.е. в 51.99 % случаев изменения среднедушевого прожиточного минимума х приводят к изменению среднедневной заработной платы y. Другими словами - точность подбора уравнения регрессии - средняя. Остальные 48.01% изменения среднедневной заработной платы Y объясняются факторами, не учтенными в модели.

x y x 2 y 2 x o y y(x) (y i -y cp) 2 (y-y(x)) 2 (x i -x cp) 2 |y - y x |:y
78 133 6084 17689 10374 148,77 517,56 248,7 57,51 0,1186
82 148 6724 21904 12136 152,45 60,06 19,82 12,84 0,0301
87 134 7569 17956 11658 157,05 473,06 531,48 2,01 0,172
79 154 6241 23716 12166 149,69 3,06 18,57 43,34 0,028
89 162 7921 26244 14418 158,89 39,06 9,64 11,67 0,0192
106 195 11236 38025 20670 174,54 1540,56 418,52 416,84 0,1049
67 139 4489 19321 9313 138,65 280,56 0,1258 345,34 0,0026
88 158 7744 24964 13904 157,97 5,06 0,0007 5,84 0,0002
73 152 5329 23104 11096 144,17 14,06 61,34 158,34 0,0515
87 162 7569 26244 14094 157,05 39,06 24,46 2,01 0,0305
76 159 5776 25281 12084 146,93 10,56 145,7 91,84 0,0759
115 173 13225 29929 19895 182,83 297,56 96,55 865,34 0,0568
1027 1869 89907 294377 161808 1869 3280,25 1574,92 2012,92 0,6902

2. Оценка параметров уравнения регрессии.
2.1. Значимость коэффициента корреляции.

По таблице Стьюдента с уровнем значимости α=0.05 и степенями свободы k=10 находим t крит:
t крит = (10;0.05) = 1.812
где m = 1 - количество объясняющих переменных.
Если t набл > t критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).
Поскольку t набл > t крит, то отклоняем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически - значим.
В парной линейной регрессии t 2 r = t 2 b и тогда проверка гипотез о значимости коэффициентов регрессии и корреляции равносильна проверке гипотезы о существенности линейного уравнения регрессии.

2.3. Анализ точности определения оценок коэффициентов регрессии.
Несмещенной оценкой дисперсии возмущений является величина:


S 2 y = 157.4922 - необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии).

12.5496 - стандартная ошибка оценки (стандартная ошибка регрессии).
S a - стандартное отклонение случайной величины a.


S b - стандартное отклонение случайной величины b.


2.4. Доверительные интервалы для зависимой переменной.
Экономическое прогнозирование на основе построенной модели предполагает, что сохраняются ранее существовавшие взаимосвязи переменных и на период упреждения.
Для прогнозирования зависимой переменной результативного признака необходимо знать прогнозные значения всех входящих в модель факторов.
Прогнозные значения факторов подставляют в модель и получают точечные прогнозные оценки изучаемого показателя.
(a + bx p ± ε)
где

Рассчитаем границы интервала, в котором будет сосредоточено 95% возможных значений Y при неограниченно большом числе наблюдений и X p = 94

(76.98 + 0.92*94 ± 7.8288)
(155.67;171.33)
С вероятностью 95% можно гарантировать, что значения Y при неограниченно большом числе наблюдений не выйдет за пределы найденных интервалов.
2.5. Проверка гипотез относительно коэффициентов линейного уравнения регрессии.
1) t-статистика. Критерий Стьюдента.
Проверим гипотезу H 0 о равенстве отдельных коэффициентов регрессии нулю (при альтернативе H 1 не равно) на уровне значимости α=0.05.
t крит = (10;0.05) = 1.812


Поскольку 3.2906 > 1.812, то статистическая значимость коэффициента регрессии b подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).


Поскольку 3.1793 > 1.812, то статистическая значимость коэффициента регрессии a подтверждается (отвергаем гипотезу о равенстве нулю этого коэффициента).
Доверительный интервал для коэффициентов уравнения регрессии.
Определим доверительные интервалы коэффициентов регрессии, которые с надежность 95% будут следующими:
(b - t крит S b ; b + t крит S b)
(0.9204 - 1.812 0.2797; 0.9204 + 1.812 0.2797)
(0.4136;1.4273)

(a - t lang=SV>a)
(76.9765 - 1.812 24.2116; 76.9765 + 1.812 24.2116)
(33.1051;120.8478)
С вероятностью 95% можно утверждать, что значение данного параметра будут лежать в найденном интервале.
2) F-статистики. Критерий Фишера.
Проверка значимости модели регрессии проводится с использованием F-критерия Фишера, расчетное значение которого находится как отношение дисперсии исходного ряда наблюдений изучаемого показателя и несмещенной оценки дисперсии остаточной последовательности для данной модели.
Если расчетное значение с k1=(m) и k2=(n-m-1) степенями свободы больше табличного при заданном уровне значимости, то модель считается значимой.

где m – число факторов в модели.
Оценка статистической значимости парной линейной регрессии производится по следующему алгоритму:
1. Выдвигается нулевая гипотеза о том, что уравнение в целом статистически незначимо: H 0: R 2 =0 на уровне значимости α.
2. Далее определяют фактическое значение F-критерия:


где m=1 для парной регрессии.
3. Табличное значение определяется по таблицам распределения Фишера для заданного уровня значимости, принимая во внимание, что число степеней свободы для общей суммы квадратов (большей дисперсии) равно 1 и число степеней свободы остаточной суммы квадратов (меньшей дисперсии) при линейной регрессии равно n-2.
4. Если фактическое значение F-критерия меньше табличного, то говорят, что нет основания отклонять нулевую гипотезу.
В противном случае, нулевая гипотеза отклоняется и с вероятностью (1-α) принимается альтернативная гипотеза о статистической значимости уравнения в целом.
Табличное значение критерия со степенями свободы k1=1 и k2=10, Fkp = 4.96
Поскольку фактическое значение F > Fkp, то коэффициент детерминации статистически значим (Найденная оценка уравнения регрессии статистически надежна).

Проверка значимости модели при помощи теста отношения правдоподобия(тест Вальда), начинается с выдвижения основной гипотезы:

Для проверки данной гипотезы вычисляется выборочная статистика

Здесь lnL величина максимального значения логарифма функции правдоподобия, а lnL0- величина логарифма функции правдоподобия в случае справедливости основной гипотезы.

Если основная гипотеза верна, то выборочная статистика (4.7.1) распределена по закону 2 с (m-1) степенью свободы. Границу правосторонней критической области К2 ищут по таблицам критических точек хи-квадрат по уровню значимости (1-б) и (m-1) степени свободы. Если выполняется неравенство:

то основную гипотезу отвергают, принимают альтернативную гипотезу и говорят, что модель статистически значима. В противном случае принимают гипотезу о не значимости модели и переходят к ее пересмотру.

Для моделей бинарного выбора, значимость факторов проверяется при помощи тестирования для каждого фактора хi, i=1,…, (m-1) гипотез вида:

Выборочные статистики, которые используются для тестирования этих гипотез, имеют асимптотически нормальное распределение и называются z-статистиками. Границу двусторонней критической области ищут по таблицам Лапласа по заданному уровню значимости (1-б).

Если выполняется неравенство:

К 1

то принимают основную гипотезу о незначимом отличии от нуля коэффициента i и делают вывод, что соответствующий ему фактор незначим для модели.

Для моделей бинарного выбора не определяется понятие коэффициента детерминации. Однако для них определяют так называемый псевдо коэффициент детерминации, который уже не характеризует объясняющую силу модели

Определение 4.7.1. Псевдо - коэффициентом детерминации называют следующую величину:

Определение 4.7.2. Индексом отношения правдоподобия Макфаддена (McFadden) называют характеристику:

Следует подчеркнуть, что если параметры модели бинарного выбора незначимо отличаются от нуля, то оба введенных коэффициента равны нулю.

На лекции мы рассмотрели нелинейные регрессионные модели, в частности, модели для бинарной зависимой переменной. Эти модели мы рассмотрели для двух функций регрессий: логит (использовали логистическую функцию) и пробит (использовали функцию распределения стандартного нормального закона распределения). Оценки параметров таких функций регрессии получают при помощи метода максимального правдоподобия. Модель тестируют при помощи теста Вальда, в основе которого статистика, имеющая хи-квадрат распределение. При изучении многофакторных регрессионных моделей мы интерпретировали оценки параметров вj, как предельный эффект влияния независимых переменных на у. Вернемся к моделям бинарного выбора. Если мы попытаемся найти производную от P{Y=1|X}, то придем к следующему выражению:

где Z= 0+1х1+...m-1xm-1.

По теореме о производной сложной функции, и из свойства плотности (производная от функции распределения это плотность распределения f(Z)), получаем:

или, используя второе обозначение для оценок параметров:

P{Y=1|X}=вjf(Z)

Как и раньше, через вj обозначены оценки неизвестных параметров.

Тогда, мы можем рассуждать следующим образом: плотность распределения всегда неотрицательна, поэтому знак производной

будет зависеть только от знака оценки параметров, но будет являться функцией всех независимых переменных. Причем, если оценка параметра будет положительной, то увеличение переменной xj будет приводить к увеличению вероятности

а если оценка параметра будет отрицательной, то, соответственно, к уменьшению указанной вероятности.

Замечание. Если фактор х является бинарной переменной, то для него нельзя ввести понятие предельного эффекта.

Для каждой переменной х (количественной!!!) вводят так называемый средний предельный эффект. Для этого вычисляют выборочные средние для количественных переменных и процент «1» для бинарных, и подставляют их в выражение для плотности распределения вместо переменных.

Еще один вопрос для обсуждения: как после оценивания параметров логит (пробит) модели прогнозировать значение у? Поступают, например, следующим образом. Подставляют найденные значения оценок параметров и значения хj в Z и вычисляют значение переменной. Если Z>0, то считают, что У=1, если Z<0, то считают, что У=0. Замечание. Мы рассмотрели ситуацию, когда переменная у была измерена в номинальной шкале, но принимала всего два значения: 0 и 1. В общем случае, когда у может принимать несколько значений, например 0, 1, 2, 3, используют множественный (по у!!) логит или пробит. Кроме того, у может быть измерен в порядковой шкале, тогда в Стате используют порядковый логит (пробит) ologit (oprobit).

Замечание. Очень часто в исследованиях приходится проводить исследования на усеченной выборке. Например, если изучают доходы домохозяйств, то бывают ситуацию, когда респондентов с очень большим доходом (например, больше 1 млн.рубл.) следует исключить из исследования, то есть

То в таких случаях используют Тобит-модели.

F(0+1х1+...m-1xm-1)

F(0+1х1+...m-1xm-1)

F(0+1х1+...m-1xm-1)

F(0+1х1+...m-1xm-1) - (F(0+1х1+...m-1xm-1))2

Cтраница 1


Значимость модели для решения конкретных исследовательских задач заключается в том, что она позволяет дать количественную оценку скрытых параметров, отражающих динамику двухпродуктовых систем. При решении таких задач понятия внутреннего (продукта I рода) и внешнего (продукта II рода) могут меняться. Так, в построенной В. М. Глушковым с сотрудниками (1979) модели биосинтеза белка роль продуктов I и II рода играют регуляторные и структурные белки, в модели иммунного ответа - соответственно стволовые клетки и лимфоциты, в модели регуляции сердечных сокращений - вещества, которые доставляются миокардиоцитам соответственно через коронарные сосуды и через аорту.  

Оценка значимости модели дается через / - критерий и / J2 для каждого уравнения в отдельности.  

Предположение о значимости модели основывается на двух положениях.  

Все это не умаляет значимости модели. Естественно, без йот немыслимо сущостжшание музыки.  

Наконец, максимальному ограничению значимости договорной модели как таковой способствовало то, что почти все действовавшие в этой области нормы носили абсолютно обязательный (императивный) характер.  

Применение дисперсионного анализа в дополнение к регрессионному позволяет оценить не только значимость модели в целом, но и значимость частных зависимостей.  

Из приведенных данных также следует, что при разбуривании более твердых пород значимости модели выше. Доказательство значимости полученной модели подтверждает гипотезу о нелинейной зависимости рассматриваемых параметров.  

Несмотря на успехи в развитии теории принятия решений она еще долго, по-видимому, будет находиться на промежуточном месте между искусством - умением принимать решения, присущим данному носителю решений, - и наукой как системой принципов, общих положений, процедур и методов. Однако это не снижает актуальности книги: число систем человек - ЭВМ будет увеличиваться, значение принятий решений в сложных ситуациях будет расти, и человек будет все более затрудняться решать соответствующие задачи старыми (точными и вероятностными) методами. Поэтому значимость моделей, использующих формализованные неопределенности на основе идей, отличных от математики случая, может только увеличиваться.  

При индуктивном подходе, характерном для процесса моделирования в рамках анализа хозяйственной деятельности, модель получается путем обобщения наблюдений по единичным частным фактам, учет которых считается важным для принятия решений. Индуктивным путем разрабатываются модели для решения конкретных проблем управления экономикой. Модели включают в себя учет специфических исторически сформированных свойств моделируемого процесса. Основной проблемой составления индуктивных моделей является выбор из совокупности единичных наблюдений тех, которые определяют сущность принимаемого решения, и представление их структуры и связей в формализованном виде. Значимость индуктивных моделей состоит в том, что путем упрощенного описания взаимосвязей информация, содержащаяся в большой совокупности наблюдений, будет представлена в наглядном и сжатом виде. Качество индуктивных моделей не определяется точностью копирования комплексной реальности путем символических систем, а зависит от того, насколько удается, с одной стороны, так упростить модель, чтобы добиться решения проблемы с приемлемыми затратами, но, с другой стороны, отразить основные свойства реальности.  

Если такого рода трудовые соглашения фиксируют уровень заработной платы, то когда ее рыночный уровень отклоняется от уровня, ожидаемого работниками и работодателями при подписании контракта, тогда и для работников, и для работодателей было бы оптимальным изменить установленную номинальную заработную плату. Следовательно, при том, что условия на рынке труда постоянно изменяются, было бы логичным предположить, что с течением времени подобные трудовые соглашения перестанут существовать. Работники и работодатели придут к тому, что номинальную заработную плату нужно менять каждый день, что приведет к эластичной изменчивости номинальной заработной платы в соответствии с динамикой спроса и предложения на рынке труда. На самом деле подтверждением верности подобной критики служит резкое сокращение деятельности профсоюзов в отраслях США в конце 1970 - х - 1980 - е годы. Конечно же, работники, не состоящие в профсоюзах, часто имеют официальные или неофициальные трудовые соглашения с работодателями, но некоторые экономисты считают, что подобное снижение доли состоящих в профсоюзах является подтверждением снижения значимости модели коллективных договоров для экономики США.