Дипломная (вкр): Применение имитационного моделирования к сравнению методов оценивания и анализу их точности

.2 Свойства оценок, полученных методом наименьших квадратов (МНК)

Зависимая переменная  в теоретической модели регрессии

 (1.16)

имеет две составляющие: неслучайную составляющую

 (1.17)

и случайную составляющую . Получаемые с помощью МНК оценки  коэффициентов регрессии  также можно представить в виде двух составляющих - неслучайной и случайной.

Неслучайные составляющие оценок  равны параметрам , тогда как случайные составляющие этих оценок зависят от случайной составляющей теоретической модели регрессии .

На практике разложить коэффициенты регрессии  на составляющие довольно затруднительно, так как значения  и  неизвестны.

Регрессионный анализ, основанный на применении метода наименьших квадратов (МНК), дает наилучшие из всех возможных результаты, если выполняются следующие условия (называемые условиями Гаусса-Маркова):

. Математическое ожидание случайного слагаемого в любом м наблюдении должно быть равно нулю - .

. Дисперсия случайного слагаемого должна быть постоянной для всех наблюдений - , где теоретическое значение среднеквадратической ошибки.

. Случайные слагаемые должны быть статистически независимы, т.е. должно выполняться свойство некоррелированности их между собой.

. Объясняющие переменные  должны быть величинами неслучайными.

При выполнении условий Гаусса-Маркова модель

называется классической нормальной линейной регрессионной моделью. Наряду с условиями Гаусса-Маркова предполагается, что случайное слагаемое  имеет нормальное распределение. При этом предположении требование некоррелированности значений случайного слагаемого эквивалентно их независимости.

Первое условие означает, что нет постоянно действующего фактора, не включенного в модель, но оказывающего влияние на результативный фактор. Другими словами, случайное слагаемое не должно иметь систематического смещения. Если постоянное слагаемое включено в уравнение регрессии, то можно считать, что это условие выполняется автоматически, так как роль постоянного слагаемого как раз и заключается в том, чтобы учитывать постоянную тенденцию показателя , не учтенную в уравнении регрессии.

Если не выполнено это условие, то оценки параметров уравнения регрессии, полученное с помощью МНК, будут неэффективными и смещенными.

Второе условие означает, что дисперсия случайного слагаемого в каждом наблюдении имеет только одно значение. Другими словами, не должно быть априорной причины для того, чтобы в одних наблюдениях величина  была больше, чем в других, хотя на практике величина остатков уравнения регрессии в разных наблюдениях будет разной. Но ее величина заранее неизвестна, и одна из первоочередных задач регрессионного анализа состоит в ее оценке.

Если дисперсии случайного слагаемого зависят от номера наблюдения (т.е. выполняется условие гетероскедастичности), то оценки коэффициентов регрессии, полученные с помощью МНК, будут неэффективными и смещенными. Поэтому (по крайней мере, формально) можно получить более надежные оценки с использованием других методов.

Так как условия Гаусса-Маркова предполагают независимость дисперсии случайного слагаемого от номера наблюдения (т.е. предполагает выполнение условия гомоскедастичности), то разработаны специальные методы диагностирования и устранения гетероскедастичности.

Третье условие указывает, что между значениями случайного слагаемого в разных наблюдениях нет систематической связи, т.е. указывает на некоррелированность (на независимость) случайных слагаемых для разных наблюдений. Если это условие нарушается (например, для временных рядов), то имеет место автокорреляция остатков, оценки коэффициентов регрессии, полученные МНК, оказываются неэффективными. Существуют методы диагностирования и устранения автокорреляции.

Если четвертое условие (о том, что объясняющие переменные должны быть неслучайными) не выполняется, то оценки коэффициентов регрессии оказываются смещенными и несостоятельными.

Теорема Гаусса-Маркова.

Если перечисленные четыре условия выполняются, то оценки, сделанные с помощью МНК, являются наилучшими оценками, так как они обладают свойствами:

) несмещенности, что означает отсутствие систематической ошибки в положении линии регрессии;

) эффективности - имеют наименьшую дисперсию в классе всех линейных несмещенных оценок;

) состоятельности - при достаточно большом объеме данных оценки приближаются к истинным значениям.

Если условия Гаусса-Маркова не выполнены, то можно найти другие оценки параметров уравнения регрессии, которые будут более эффективными по сравнению с оценками, найденными методом МНК.

Кроме того, если не выполнены условия Гаусса-Маркова, то становятся неприменимы t-тесты и тест Фишера на качество оценивания и адекватность уравнения регрессии.

1.3 Анализ вариации зависимой переменной. Качество оценивания в модели многофакторной линейной регрессии

Пусть в уравнении регрессии содержится объясняющих переменных. Дисперсию зависимой переменной можно представить в виде суммы объясненной и необъясненной составляющих:

, (1.18)

где: остаток в м варианте реализации событий;

значение зависимой переменной в м варианте реализации событий;

среднее значение зависимой переменной;

- расчетное значение зависимой переменной в м варианте реализации событий, определяемое уравнением регрессии;

число реализации событий, в каждом из которых при сочетании значений независимых переменных было получено значение зависимой переменной.

Каждая сумма в этом разложении имеет собственное название:

― общий разброс зависимой переменной (обозначается );

― разброс, объясненный регрессией (обозначается );

― разброс, не объясненный регрессией (обозначается ).

Используя введенные обозначения, разложение дисперсии зависимой переменной можно записать в виде суммы:

. (1.19)

Мерой объясняющего качества уравнения регрессии по сравнению с оценкой в виде среднего значения  является коэффициент детерминации , который измеряет долю дисперсии, совместно объясненной всеми независимыми переменными:

. (1.20)

В случае коррелированности независимых переменных объясняющие способности этих переменных могут перекрываться. Для компенсации такого увеличения  вводится приведенный (скорректированный) коэффициент детерминации с поправкой на число независимых переменных, которым можно варьировать (называемое иначе числом степеней свободы):

. (1.21)

Качество оценок для модели множественной линейной регрессии предполагает определение статистической значимости полученных коэффициентов уравнения регрессии и коэффициента детерминации .

Значимость коэффициентов уравнения регрессии  оценивается с помощью критерия :

, (1.22)

где стандартные ошибки коэффициентов регрессии.

Величина  имеет распределение Стьюдента с  степенями свободы, где:

 число пар данных в выборке, использованных для получения уравнения регрессии;

 количество коэффициентов в уравнении регрессии.

Алгоритм оценки значимости для коэффициентов уравнения регрессии состоит в следующем:

) вычисляется наблюдаемое значение критерия ;

) по таблице распределения Стьюдента по заданному уровню значимости и числу степеней свободы  находится критическое значение ;

) вычисленные критерии  и  сравниваются с критическим значением .

Если , то соответствующий коэффициент уравнения регрессии значим и принимается. Если , то соответствующий коэффициент уравнения регрессии незначим, не отличается от нуля и не принимается.

В эконометрике проверку гипотез осуществляют при 5%-м, реже на 10%-м уровне значимости. В первом случае стандартная ошибка оценки коэффициента регрессии составляет примерно до половины его величины. Последовательное исключение несущественных факторов (переменных), коэффициенты при которых оказались незначимы, составляют основу пошагового регрессионного анализа.

Для определения статистической значимости коэффициента детерминации  используется статистика:

, (1.23)

где: число пар данных в выборке, использованных для получения уравнения регрессии;

количество коэффициентов в уравнении регрессии.

Величина  имеет распределение Фишера с  степенями свободы. Вычисленный критерий сравнивается с критической величиной следующим образом:

если , то  считается незначимым, он не отличим от нуля;

если , то  считается значимым, и уравнение регрессии может использоваться для объяснения изменения переменной  под влиянием изменения переменных .

Величины критических значений критериев оценки значимости принимаются при 5%-м, реже при 10%-м уровне значимости. Указанные уровни значимости соответствуют 95%-му и 90%-му доверительным интервалам соответственно.

Дополнительные аспекты использования метода наименьших квадратов (МНК):

. Влияние мультиколлинеарности

Мультиколлинеарность - это коррелированность двух или нескольких объясняющих переменных в уравнении множественной линейной регрессии. При наличии мультиколлинеарности оценки, формально полученные методом наименьших квадратов (МНК), обладают рядом недостатков:

1) небольшое изменение исходных данных приводит к существенному изменению оценок регрессии;

2) оценки имеют большие стандартные ошибки, малую значимость, в то время как модель в целом является значимой (при больших коэффициентах детерминации ).

Если при оценке уравнения регрессии несколько факторов оказались незначимыми, то нужно выяснить наличие среди них факторов, сильно коррелированных между собой. При наличии корреляции один из пары связанных между собой факторов исключается. Если статистически незначим лишь один фактор, то он должен быть исключен или заменен другим показателем. В модель регрессии включаются те факторы, которые более сильно связаны с зависимой переменной, но слабо связаны с другими факторами.

. Спецификация переменных в уравнениях множественной линейной регрессии.

Построение эконометрической модели включает в себя обоснование решения о том, какие объясняющие переменные необходимо включить в уравнение множественной линейной регрессии, т.е. как правильно составить спецификацию модели, от которой в значительной степени зависят свойства оценок коэффициентов регрессии. Здесь возможны две ситуации.

) В модели отсутствует переменная, которая должна быть включена.

Предположим, что переменная  зависит от двух переменных. Однако в модель включена только одна независимая переменная :

В этом случае оценка  и ее дисперсия являются смещенными. Смещенность оценки связана с тем, что при отсутствии второй переменной  в регрессии переменная  играет двойную роль: отражает свое прямое влияние и заменяет переменную  в описании ее влияния. Для данной регрессии коэффициент детерминации , отражающий общую объясняющую способность переменной  в обеих ролях, завышен.