(т. е. T n сходится к θ по вероятности). Например, любая несмещенная оценка (См. Несмещённая оценка) T n параметра θ (или оценка с ETn → 0), дисперсия которой стремится к нулю с ростом n, является С. о. параметра θ в силу неравенства Чебышева

Так, выборочное среднее

Состоятельность, являющаяся желательной характеристикой всякой статистической оценки, имеет отношение лишь к асимптотическим свойствам оценки и слабо характеризует качество оценки при конечном объёме выборки в практических задачах. Существуют критерии, позволяющие выбрать из числа всевозможных С. о. некоторого параметра ту, которая обладает нужными качествами. См. Статистические оценки .

Понятие С. о. впервые было предложено английским математиком Р. Фишером (1922).

Лит.: Крамер Г., Математические методы статистики, пер. с англ.. М., 1975; Рао С. Р., Линейные статистические методы и их применения, пер. с англ.. М., 1968.

А. В. Прохоров.

Большая советская энциклопедия. - М.: Советская энциклопедия . 1969-1978 .

Смотреть что такое "Состоятельная оценка" в других словарях:

В математической статистике это точечная оценка, сходящаяся по вероятности к оцениваемому параметру. Содержание 1 Определения 2 Свойства 3 … Википедия

Сокращенный вариант термина лсостоятельная последовательность оценок … Математическая энциклопедия

- … Википедия

Функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич.… … Математическая энциклопедия

ОЦЕНКА СОСТОЯТЕЛЬНАЯ - СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ … Социология: Энциклопедия

Понятие, расширяющее идею эффективной оценки на случай больших выборок. Однозначного определения А. э. о. не имеет. Напр., в классич. варианте речь идет об асимптотич. эффективности оценки в подходящим образом выделенном классе оценок. Именно,… … Математическая энциклопедия

Суперэффективяая оценка, общепринятое сокращение термина сверхэффективная (суперэффективная) последовательность оценок, употребляемого по отношению к состоятельной последовательности асимптотически нормальных оценок неизвестного параметра, к рая … Математическая энциклопедия

- (пробит модель, англ. probit) применяемая в различных областях (эконометрика, токсикология и др.) статистическая (нелинейная) модель и метод анализа зависимости качественных (в первую очередь бинарных) переменных от множества… … Википедия

Выборочное (эмпирическое) среднее это приближение теоретического среднего распределения, основанное на выборке из него. Определение Пусть выборка из распределения вероятности, определённая на некотором вероятностном пространстве.… … Википедия

Статистические оценки это статистики, которые используются для оценивания неизвестных параметров распределений случайной величины. Например, если это независимые случайные величины, с заданным нормальным распределением, то будет… … Википедия

Книги

• Простая, положительно полуопределенная оценка асимптотической матрицы ковариаций, состоятельная при наличии гетероскедастичности и автокорреляции , Whitney Newey. Работа Уитни Ньюи (Whitney K. Newey) и Кеннета Веста (Kenneth D. West) является одной из самых цитируемых и широко известных статей в экономике благодаря своей обширной области применения.…

1. Понятие об оценке параметров генеральной совокупности. Свойства оценок: несмещенность, состоятельность, эффективность.

Сформулируем задачу оценки параметров в общем виде . Пусть распределение признака Х - генеральной совокупности - задается функцией вер-тей (для дискретной СВ Х) или плотностью вер-ти
(для непрерывной СВ Х), к-ая содержит неизвестный параметр. Напр, это параметр λ в распределении Пуассона или параметры а и
для нормального закона распределения и т.д.

Для вычисления параметра исследовать все элементы генеральной совокупности не представляется возможным. Поэтому о параметрепытаются судить по выборке, состоящей из значений (вариантов)
. Эти значения можно рассматривать как частные значения (реализации) n независимых случайных величин
каждая из к-ых имеет тот же закон распределения, что и сама СВ Х.

Определение . Оценкой параметраназывают всякую функцию результатов наблюдений над СВ Х (иначе - статистику), с помощью к-ой судят о значении параметра:

.

Поскольку
- случайные величины, то и оценка(в отличие от оцениваемого параметра- величины неслучайной, детерминированной) является случайной величиной, зависящей от закона распределения СВ Х и числа n.

О качестве оценки следует судить не по индивидуальным ее значениям, а лишь по распределению ее значений в большой сети испытаний, т.е. по выборочному распределению оценки.

Если значения оценки концентрируются около истинного значения параметра, т.е. основная часть массы выборочного распределения оценки сосредоточена в малой окрестности оцениваемого параметра, то с большой вер-тью можно считать, что оценкаотличается от параметралишь на малую величину. Поэтому, чтобы значениебыло близко к, надо, очевидно, потребовать, чтобы рассеяние случайной величиныотносительно, выражаемое, например, матем-ким ожиданием квадрата отклонения оценки от оцениваемого параметра
, было по возможности меньшим. Таково основное условие, к-му должна удовлетворять «наилучшая» оценка.

Свойства оценок.

Определение . Оценка параметраназываетсянесмещенной , если ее мат-кое ожидание равно оцениваемому параметру, т.е.
.

в противном случае оценка называется смещенной .

Если это равенство не выполняется, то оценка , полученная по разным выборкам, будет в среднем либо завышать значение(если
, либо занижать его (если
). Требование несмещенности гарантирует отсутствие систематических ошибок при оценивании.

Если при конечном объеме выборки n
, т.е. смещение оценки
, но
, то такая оценканазываетсяасимптотически несмещенной .

Определение . Оценка параметраназываетсясостоятельной , если она удовлетворяет закону больших чисел, т.е. сходится по вер-ти к оцениваемому параметру:

, или .

В случае использования состоятельных оценок оправдывается увеличение объема выборки, т.к. при этом становятся маловероятными значительные ошибки при оценивании. Поэтому практический смысл имеют только состоятельные оценки. Если оценка состоятельна, то практически достоверно, что при достаточно большом n
.

Если оценка параметраявляется несмещенной, а ее дисперсия
при n → ∞, то оценкаявляется и состоятельной. Это непосредственно вытекает из неравенства Чебышева:

.

Определение . Несмещенная оценка параметра сназываетсяэффективной , если она имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра , вычисленных по выборкам одного и того же объема n.

Т.к. для не смещенной оценки
есть ее дисперсия, то эф-ть являетсярешающим свойством , определяющим качество оценки.

Эффективность оценки определяют отношением: .

где и - соот-но дисперсии эффективной и данной оценок. Чем ближе е к 1, тем эффективнее оценка. Если е → 1 при n → ∞, то такая оценка называется асuмптотически эффективной.

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.

Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.

Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно

М (s 2) - σ 2 = - σ 2 /n .

Смещение оценки s 2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).

Определение. Случайная величина называется оценкой неизвестного параметра , если значение этой случайной величины, найденное по результатам серии из измерений, может быть принято за приближенное значение этого параметра т.е. если справедливо равенство .

Пример. Если в качестве неизвестного параметра рассматривается вероятность наступления некоторого события , то оценкой этого параметра служит частость наступлений события в независимых испытаниях (см. статистическое определение вероятности и теорему Бернулли).

Пример. Пусть случайные величины имеют одинаковое математическое ожидание, т.е. . Тогда оценкой значения общего математического ожидания таких случайных величин служит среднее арифметическое этих случайных величин. Важным частным случаем рассмотренной ситуации является следующий

Пример . Оценкой некоторого параметра служит среднее арифметическое результатов независимых измерений этого параметра (см. теорему Чебышёва).

При непосредственном использовании приближенного равенства говорят о точечном оценивании неизвестного параметра.

Возможно также интервальное оценивание неизвестного параметра. Для того, чтобы объяснить, в чем оно состоит, введем в рассмотрение следующие понятия.

Определение. Для произвольного интервал называется доверительным интервалом ;сама величина называется в этом случае предельной ошибкой выборки .

Определение. Вероятность того, что неизвестное значение оцениваемого параметра накрывается доверительным интервалом, называется доверительной вероятностью.

Таким образом, если – оценкапараметра , то

– доверительная вероятность (мы предполагаем, что оценка является непрерывной случайной величиной).

Интервальное оценивание состоит, например, в вычислении доверительной вероятности для заданной предельной ошибки выборки.

Решение задачи интервального оценивания связано с определением характера закона распределения используемой оценки .

Рассмотрим теперь некоторые свойства оценок.

Определение. Оценка параметра называется несмещенной , если математическое ожидание этой оценки равно оцениваемому параметру, т.е.

Определение. Оценка параметра называется состоятельной , если для произвольного выполняется следующее предельное соотношение

Другими словами, оценка параметра состоятельна, если эта оценка сходится по вероятности к данному параметру. (Напомним, что примеры сходимости такого рода дают теоремы Бернулли и Чебышёва, см. § 6.2.)

Определение. Несмещенная оценка некоторого параметра называется эффективной , если она обладает наименьшей дисперсией среди всех несмещенных оценок, найденных по выборке заданного объема.

Пример. Частость наступления некоторого события является несмещенной, состоятельной и эффективной оценкой вероятности этого события. Заметим, что свойства несмещенности и состоятельности частости были фактически рассмотрены нами ранее в несколько ином контексте. Действительно, несмещенность частости – равенство – является одним из свойств биномиально распределенной случайной величины (см. § 3.3). Состоятельность частости утверждается теоремой Бернулли (см. § 6.2).

Пример . Среднее арифметическое некоторого числа независимых и одинаково распределенных случайных величин является несмещенной и состоятельной оценкой общего математического ожидания этих случайных величин. Действительно, несмещенность – есть свойство 5 математического ожидания (см. § 3.3). Состоятельность утверждается теоремой Чебышёва (см. § 6.2).

) задач математической статистики .

Предположим, что имеется параметрическое семейство распределений вероятностей (для простоты будем рассматривать распределение случайных величин и случай одного параметра). Здесь - числовой параметр, значение которого неизвестно. Требуется оценить его по имеющейся выборке значений, порожденной данным распределением.

Различают два основных типа оценок: точечные оценки и доверительные интервалы .

Точечное оценивание

Точечное оценивание - это вид статистического оценивания, при котором значение неизвестного параметра приближается отдельным числом. То есть необходимо указать функцию от выборки (статистику)

значение которой будет рассматриваться в качестве приближения к неизвестному истинному значению .

К общим методам построения точечных оценок параметров относятся: метод максимального правдоподобия , метод моментов , метод квантилей .

Ниже приводятся некоторые свойства, которыми могут обладать или не обладать точечные оценки.

Состоятельность

Одно из самых очевидных требований к точечной оценке заключается в том, чтобы можно было ожидать достаточно хорошего приближения к истинному значению параметра при достаточно больших значениях объема выборки . Это означает, что оценка должна сходиться к истинному значению при . Это свойство оценки и называется состоятельностью . Поскольку речь идет о случайных величинах, для которых имеются разные виды сходимости, то и данное свойство может быть точно сформулировано по-разному:

Когда употребляют просто термин состоятельность , то обычно имеется в виду слабая состоятельность, т.е. сходимость по вероятности.

Условие состоятельности является практически обязательным для всех используемых на практике оценок. Несостоятельные оценки используются крайне редко.

Несмещенность и асимптотическая несмещенность

Оценка параметра называется несмещенной , если ее математическое ожидание равно истинному значению оцениваемого параметра:

Более слабым условием является асимптотическая несмещенность , которая означает, что математическое ожидание оценки сходится к истинному значению параметра с ростом объема выборки:

Несмещенность является рекомендуемым свойством оценок. Однако не следует слишком переоценивать его значимость. Чаще всего несмещенные оценки параметров существуют и тогда стараются рассматривать только их. Однако могут быть такие статистические задачи, в которых несмещенных оценок не существует. Наиболее известным примером является следующий: рассмотрим распределение Пуассона с параметром и поставим задачу оценки параметра . Можно доказать, что для этой задачи не существует несмещенной оценки.

Сравнение оценок и эффективность

Для сравнения между собой различных оценок одного и того же параметра применяют следующий метод: выбирают некоторую функцию риска , которая измеряет отклонение оценки от истинного значения параметра, и лучшей считают ту, для которой эта функция принимает меньшее значение.

Чаще всего в качестве функции риска рассматривают математическое ожидание квадрата отклонения оценки от истинного значения

Для несмещенных оценок это есть просто дисперсия .

Существует нижняя граница на данную функцию риска, называемая неравенство Крамера-Рао .

(Несмещенные) оценки, для которых достигается эта нижняя граница (т.е. имеющие минимально возможную дисперсию), называются эффективными . Однако существование эффективной оценки есть довольно сильное требование на задачу, которое имеет место далеко не всегда.

Более слабым является условие асимптотической эффективности , которое означает, что отношение дисперсии несмещенной оценки к нижней границе Крамера-Рао стремится к единице при .

Заметим, что при достаточно широких предположениях относительно исследуемого распределения, метод максимального правдоподобия дает асимптотически эффективную оценку параметра, а если существует эффективная оценка - тогда он дает эффективную оценку.

Достаточные статистики

Статистика назвается достаточной для параметра , если условное распределение выборки при условии того, что , не зависит от параметра для всех .

Важность понятия достаточной статистики обуславливается следующим утверждением . Если - достаточная статистика, а - несмещенная оценка параметра , тогда условное математическое ожидание является также несмещенной оценкой параметра , причем ее дисперсия меньше или равна дисперсии исходной оценки .

Напомним, что условное математическое ожидание есть случайная величина, являющаяся функцией от . Таким образом, в классе несмещенных оценок достаточно рассматривать только такие, которые являются функциями от достаточной статистики (при условии, что такая существует для данной задачи).

(Несмещенная) эффективная оценка параметра всегда является достаточной статистикой.

Можно сказать, что достаточная статистика содержит в себе всю информацию об оцениваемом параметре, которая содержится в выборке .