Максимална вероятност. Метод на максимална вероятност за точкова оценка на неизвестни параметри на вероятностни разпределения. Вижте какво е "Методът на максималната вероятност" в други речници

В статиите, предназначени за първоначално запознаване с математическата статистика, обикновено се разглеждат оценките на максималната вероятност (накратко MLE):

По този начин първо се конструира плътността на разпределението на вероятността, съответстваща на извадката. Тъй като елементите на извадката са независими, тази плътност се представя като произведение на плътностите за отделните елементи на извадката. Плътността на фугата се разглежда в точката, съответстваща на наблюдаваните стойности. Този израз като функция на параметъра (за дадени примерни елементи) се нарича функция на вероятността. След това по един или друг начин се търси стойността на параметъра, при която стойността на плътността на фугата е максимална. Това е оценката на максималната вероятност.

Добре известно е, че оценителите на максималната вероятност принадлежат към класа на най-добрите асимптотично нормални оценители. Въпреки това, с ограничени размери на извадката в редица проблеми, MLE са неприемливи, тъй като те са по-лоши (дисперсията и средната квадратична грешка са по-големи) от другите оценители, по-специално безпристрастните. Ето защо в GOST 11.010-81 за оценка на параметрите на отрицателното биномно разпределение се използват непредубедени оценки, а не MLE. От това, което беше казано, трябва a priori да се предпочете MLE пред други видове оценители, ако е възможно само на етапа на изследване на асимптотиката на оценителите.

В някои случаи MLE се намират експлицитно, под формата на специфични формули, подходящи за изчисление.

В повечето случаи няма аналитични решения; за намиране на MLE е необходимо да се прилагат числени методи. Такъв е случаят например с проби от гама разпределението или разпределението на Weibull-Gnedenko. В много произведения някои итеративни методи решават система от уравнения на максимална вероятност или директно максимизират функцията на вероятност.

Приложението обаче числени методипоражда множество проблеми. Конвергенцията на итеративните методи изисква обосновка. В редица примери функцията на вероятността има много локални максимуми и следователно естествените итеративни процедури не се събират. За данни от Всеруския научноизследователски институт по железопътен транспорт за изпитване на умора на стомана уравнението на максималната вероятност има 11 корена. Кой от единадесетте трябва да се използва като оценка на параметъра?

В резултат на осъзнаването на тези трудности започнаха да се появяват работи върху доказателството за конвергенцията на алгоритми за намиране на оценки на максималната вероятност за конкретни вероятностни модели и специфични алгоритми.

Но теоретичното доказателство за конвергенцията на итеративния алгоритъм не е всичко. Възниква въпросът за разумния избор на момента на прекратяване на изчисленията във връзка с постигането на необходимата точност. В повечето случаи тя не е решена.

Но това не е всичко. Точността на изчисленията трябва да бъде свързана с размера на извадката - колкото по-голяма е тя, толкова по-точно е необходимо да се намерят оценките на параметрите, в противен случай е невъзможно да се говори за последователност на метода за оценка. Освен това, с увеличаване на размера на извадката, е необходимо да се увеличи броят на цифрите, използвани в компютъра, да се премине от изчисления с единична точност към двойна точност и по-нататък - отново, за да се постигнат последователни оценки.

По този начин, при липсата на изрични формули за оценки на максималната вероятност, намирането на MLE се сблъсква с редица изчислителни проблеми. Математическите статистици си позволяват да игнорират всички тези проблеми, когато говорят за ОМУ в теоретичен план. Приложната статистика обаче не може да ги пренебрегне. Отбелязаните проблеми поставят под въпрос осъществимостта на практическото използване на ОМУ.

Пример 1В статистическите проблеми на стандартизацията и контрола на качеството се използва семейство от гама разпределения. Плътността на гама-разпределението има формата

Плътността на вероятността във формула (7) се определя от три параметъра a, b, c, където а>2, b>0. При което ае параметър на формата, b- параметър на мащаба и с -параметър за смяна. Фактор 1/G(a)е нормализация, въвежда се с цел

Тук G(a)- една от специалните функции, използвани в математиката, така наречената "гама функция", с която се нарича и разпределението, дадено с формула (7),

Подробни решения на проблемите за оценка на параметрите на гама-разпределението се съдържат в разработения от нас държавен стандарт GOST 11011-83 „Приложна статистика. Правила за определяне на оценки и доверителни граници за параметрите на гама разпределението. Тази публикация в момента се използва като методически материалза инженерно-технически работници индустриални предприятияи институти за приложни изследвания.

Тъй като гама-разпределението зависи от три параметъра, има 2 3 - 1 = 7 опции за задаване на проблемите с оценката. Те са описани в табл. 1. В табл. 2 показва реални данни за времето на работа на фрези до гранично състояние, в часове. Подредена проба (серия от варианти) на обем н= 50 е взето от държавния стандарт. Именно тези данни ще послужат като изходен материал за демонстриране на определени методи за оценка на параметрите.

Изборът на "най-добрите" оценки в определен параметричен модел на приложна статистика е изследователска работа, продължила във времето. Нека разграничим два етапа. Асимптотичен етап: оценките се съставят и сравняват по техните свойства с неограничено увеличение на размера на извадката. На този етап се разглеждат такива характеристики на оценките като последователност, асимптотична ефективност и др. Етап на ограничен размер на извадката:оценките се сравняват, да речем, при н= 10. Ясно е, че изследването започва с етапа на асимптотиката: за да се сравнят оценките, трябва първо да се конструират и да са сигурни, че не са абсурдни (такава увереност се осигурява от доказателството за съгласуваност).

Пример 2Оценка по метода на моментите на параметрите на гама-разпределението при три неизвестни параметъра (ред 7 на табл. 1).

В съответствие с горните разсъждения, за оценка на трите параметъра е достатъчно да се използват три извадкови момента - средноаритметичното извадково:

дисперсия на извадката

и селективен трети централен момент

Приравнявайки теоретичните моменти, изразени чрез параметрите на разпределението и извадковите моменти, получаваме системата от уравнения на метода на моментите:

Решавайки тази система, намираме оценки за метода на моментите. Замествайки второто уравнение в третото, получаваме оценката на метода на моментите за параметъра на изместване:

Замествайки тази оценка във второто уравнение, намираме оценката на метода на моментите за параметъра на формата:

И накрая, от първото уравнение намираме оценка за параметъра на преместване:

За реални данни, дадени по-горе в табл. 2, средна аритметична извадка = 57,88, дисперсия на извадката с 2 = 663.00, селективен трети централен момент м 3 = 14927,91. Съгласно новополучените формули за оценка на метода на моментите са както следва: а* = 5,23; b* = 11,26, ° С* = - 1,01.

Получените по метода на моментите оценки на параметрите на гама-разпределението са функции на моментите на извадката. В съответствие с казаното по-горе те са асимптотично нормални случайни променливи. В табл. Фигура 3 показва оценките на метода на моментите и техните асимптотични дисперсии за различни комбинации от известни и неизвестни параметри на гама-разпределението.

Всички оценки на метода на моментите, дадени в табл. 3, включени в държавен стандарт. Те обхващат всички настройки на проблема за оценка на параметрите на гама-разпределението (вижте таблица 1), с изключение на тези, когато само един параметър е неизвестен - аили b. За тези изключителни случаи са разработени специални методи за оценка.

Тъй като е известно асимптотичното разпределение на оценките на метода на моментите, не е трудно да се формулират правилата за тестване на статистически хипотези относно стойностите на параметрите на разпределението, както и да се конструират доверителни граници за параметрите. Например, във вероятностен модел, когато и трите параметъра са неизвестни, според третия ред на таблица 3, долната граница на достоверност за параметъра а, съответстваща на доверителната вероятност r = 0,95, асимптотично има формата

и горната граница на достоверност за същата вероятност на достоверност е

където а* - оценка на метода на моментите на параметъра на формата (Таблица 3).

Пример 3Нека намерим GMP за проба от нормална дистрибуция, всеки елемент от който има плътност

Следователно е необходимо да се оцени двумерният параметър ( м, на 2).

Продуктът на плътностите на вероятността за елементите на извадката, т.е. функцията на вероятността има формата

Изисква се за решаване на задачата за оптимизация

Както в много други случаи, проблемът с оптимизацията е по-лесен за решаване, ако вземем логаритъм на функцията на вероятността, т.е. отидете на функция

наречена функция за логаритмична вероятност. За извадка от нормално разпределение

Необходимото условие за максимума е равенството на 0 частни производни на логаритмичната правдоподобна функция по отношение на параметрите, т.е.

Система (10) се нарича система от уравнения на максималното правдоподобие. В общия случай броят на уравненията е равен на броя на неизвестните параметри и всяко от уравненията се изписва чрез приравняване на 0 частната производна на логаритмичната функция на правдоподобие по отношение на един или друг параметър.

При разграничаване по мпървите два члена от дясната страна на формула (9) се превръщат в 0, а последният член дава уравнението

Следователно оценката м* параметър за максимална вероятност ме средната аритметична извадка,

За да се намери оценката на дисперсията, е необходимо да се реши уравнението

Лесно е да се види това

Следователно, оценката (y 2)* на максималната вероятност за дисперсията на y 2, като се вземе предвид предварително намерената оценка за параметъра ме дисперсията на извадката,

И така, системата от уравнения на максималната вероятност се решава аналитично, MLE за математическото очакване и дисперсията на нормалното разпределение е средната аритметична извадка и дисперсията на извадката. Имайте предвид, че последната оценка е пристрастна.

Обърнете внимание, че при условията на Пример 3, оценките на метода на максималната вероятност съвпадат с оценките на метода на моментите. Освен това формата на оценките на метода на моментите е очевидна и не изисква никакви разсъждения.

Пример 4Нека се опитаме да проникнем в тайния смисъл на следната фраза на основателя на съвременната статистика Роналд Фишър: „няма нищо по-лесно от това да се направи оценка на параметър“. Класикът беше ироничен: той имаше предвид, че е лесно да се излезе с лоша оценка. Добрата оценка не е необходимо да бъде измислена (!) - тя трябва да бъде получена по стандартен начин, като се използва принципът на максималната вероятност.

Задача. Съгласно H 0, математическите очаквания на три независими случайни променливи на Поасон са свързани с линейна връзка: .

Дадени са реализациите на тези величини. Необходимо е да се оценят два параметъра на линейната зависимост и да се провери H 0 .

За по-голяма яснота можете да си представите линейна регресия, която взема средните стойности в точките. Нека се получат стойностите. Какво може да се каже за стойността и валидността на H 0?

Наивен подход

Изглежда, че е възможно да се оценят параметрите от елементарен здрав разум. Ще оценим наклона на регресионната линия, като разделим увеличението при прехода от x 1 \u003d -1 към x 3 \u003d + 1 на и ще намерим оценката на стойността като средно аритметично:

Лесно е да се провери дали математическите очаквания на оценките са равни (оценките са безпристрастни).

След като са получени оценките, H 0 се тества както обикновено, като се използва хи-квадрат тестът на Pearson:

Оценки на очакваните честоти могат да бъдат получени от оценките:

В този случай, ако нашите оценки са „правилни“, тогава разстоянието на Пиърсън ще бъде разпределено като произволна променлива хи-квадрат с една степен на свобода: 3-2=1. Спомнете си, че ние оценяваме два параметъра, като напасваме данните към нашия модел. В този случай сумата не е фиксирана, така че не е необходимо да се изважда допълнителна единица.

Въпреки това, замествайки, получаваме странен резултат:

От една страна, ясно е, че за тези честоти няма причина да отхвърлим H 0 , но не можем да проверим това с помощта на хи-квадрат теста, тъй като оценката на очакваната честота в първата точка се оказва бъдете отрицателни. Така че оценките, получени от „здравия разум“, не ни позволяват да решим проблема в общия случай.

Метод на максимална вероятност

Случайните променливи са независими и имат разпределение на Поасон. Вероятността за получаване на стойности е:

Съгласно принципа на максималната вероятност трябва да се търсят стойностите на неизвестни параметри, като се изисква вероятността за получаване на стойностите да бъде максимална:

Ако е постоянна, тогава имаме работа с обичайната вероятност. Фишър предложи нов термин "вероятност" за случая, когато константите се считат за променливи. Ако вероятността се окаже продукт на вероятностите на независими събития, тогава е естествено да превърнете продукта в сума и да продължите да работите с логаритъма на вероятността:

Тук всички термини, които не зависят от, са обозначени и отхвърлени в крайния израз. За да намерим максималната логаритмична вероятност, приравняваме производните по отношение на нула:

Решавайки тези уравнения, получаваме:

Това са „правилните“ изрази за оценки. Оценката на средната стойност е същата като тази, предложена от здравия разум, но оценките за наклона се различават: . Какво може да се каже за формулата за?

1) Изглежда странно, че отговорът зависи от честотата в средната точка, тъй като величината определя ъгъла на правата линия.
2) Въпреки това, ако H 0 е валиден (линията на регресия е права), тогава кога големи стойностинаблюдаваните честоти, те се доближават до своето математическо очакване. Следователно: , и оценката на максималната вероятност се доближава до резултата, получен от здравия разум.

3) Ползите от оценката започват да се усещат, когато забележим, че всички очаквани честоти сега се оказват винаги положителни:

Това не беше случаят с „наивните“ оценки, така че не винаги беше възможно да се приложи тестът хи-квадрат (опитът да се замени отрицателна или нулева очаквана честота с единица не спасява ситуацията).

4) Числените изчисления показват, че наивните оценки могат да се използват само ако очакваните честоти са достатъчно големи. Ако се използват при малки стойности, тогава изчисленото разстояние на Пиърсън често ще се окаже прекалено голямо.

Заключение : Правилен избороценката е важна, защото в противен случай няма да е възможно да се тества хипотезата с помощта на теста хи-квадрат. Оценка, която изглежда очевидна, може да се окаже неизползваема!

непрекъсната случайна променлива с плътност Видът на плътността е известен, но стойностите на параметрите са неизвестни Функцията на вероятността е функция (тук извадка с размер n от разпределението на случайна променлива ξ). Лесно е да се види, че на функцията на вероятността може да се даде вероятностно значение, а именно: разгледайте случаен вектор, чиито компоненти са независими, в съвкупността, идентично разпределени случайни променливи със закона D(x). Тогава вероятностният елемент на вектора E има формата, т.е. функцията на вероятността е свързана с вероятността за получаване на фиксирана проба в последователността от експерименти P. Основната идея на метода на вероятността е, че се предлага да се вземат като оценки на параметрите A такива стойности (3), които осигуряват функцията на максимална вероятност за дадена фиксирана извадка, т.е. предлага се пробата, получена в експеримента, да се счита за най-вероятна. Намирането на оценките на параметрите pj се свежда до решаване на системата k от уравнения (k е броят на неизвестните параметри): Тъй като функцията log L има максимум в същата точка като функцията на вероятността, системата от уравнения на вероятността (19 ) често се записва във формата D, трябва да се вземат решения на система (19) или (20), които наистина зависят от извадката и не са постоянни. В случай, когато £ е дискретно със серия на разпределение, функцията на вероятността се нарича функция и оценките се търсят като решения на метода на максималната вероятност на системата или еквивалент.Може да се покаже, че оценките на максималната вероятност имат свойството на последователност. Трябва да се отбележи, че методът на максималната вероятност води до по-сложни изчисления от метода на моментите, но теоретично той е по-ефективен, тъй като оценките на максималната вероятност се отклоняват по-малко от истинските стойности на оценените параметри, отколкото оценките, получени от метод на моментите. За най-често срещаните разпределения в приложенията оценките на параметрите, получени по метода на моментите и по метода на максималното правдоподобие, в повечето случаи съвпадат. Prshir 1. Отклонение (на размера на частта от номиналната стойност е нормално разпределена случайна променлива. Изисква се да се определи систематичната грешка и дисперсията на отклонението от извадката. М По условие (- нормално разпределена случайна променлива с математическо очакване (систематично грешка) и дисперсия, която трябва да бъде оценена от извадка от обем n: X\>...yXn В този случай функцията на вероятността Система (19) има формата оценките на максималната вероятност в този случай съвпадат с емпиричната средна стойност и дисперсията, които вече са ни известни. 4 Функцията на вероятността има формата Уравнението на вероятността ни води до решение, съвпадащо с оценката на същия параметър, получена чрез метода на моментите, виж (17). ^ Пример 3. Използвайки метода на максималната вероятност, изчислете вероятността герб да се появи, ако гербът се появи 8 пъти при десет хвърляния на монета. -4 Нека вероятността, която трябва да бъде оценена, е p. Помислете за случайна променлива (със серия на разпределение. Функцията на вероятността (21) има формата Методът на максимума. Уравнението на вероятността дава като оценка на неизвестната вероятност p честотата на появата на герба в експеримента. Завършване обсъждането на методите за намиране на оценки, ние подчертаваме, че дори с много голямо количество експериментални данни, ние все още не можем да кажем точна стойностна оценения параметър, освен това, както многократно беше отбелязано, оценките, които получаваме, са близки до истинските стойности на оценените параметри само „средно“ или „в повечето случаи“. Следователно важна статистическа задача, която ще разгледаме по-долу, е задачата за определяне на точността и надеждността на нашата оценка.

И други).

Оценката на максималната вероятност е популярна статистическа техника, която се използва за създаване на статистически модел от данни и предоставяне на оценка на параметрите на модела.

Съответства на много известни методи за оценка в областта на статистиката. Да предположим например, че се интересувате от растежа на народа на Украйна. Да предположим, че имате данни за растежа за определен брой хора, а не за цялото население. Освен това се приема, че растежът е нормално разпределен с неизвестна дисперсия и средна стойност. Средната стойност и дисперсията на растежа на извадката е максималната вероятност спрямо средната стойност и дисперсията на цялата популация.

За фиксиран набор от данни и основен вероятностен модел, използвайки метода на максималната вероятност, ще получим стойностите на параметрите на модела, които правят данните „по-близо“ до реалните. Оценката на максималната вероятност предоставя уникален и лесен начин за определяне на решения в случай на нормално разпределение.

Методът за оценка на максималната вероятност се прилага към широк набор от статистически модели, включително:

линейни модели и обобщени линейни модели;
факторен анализ;
моделиране на структурни уравнения;
много ситуации, при тестване на хипотези и формиране на доверителен интервал;
дискретни модели по избор.

Същност на метода

Наречен оценка на максималната вероятностпараметър. По този начин, оценителят на максималната вероятност е оценителят, който максимизира функцията на вероятността за прилагане на фиксирана извадка.

Често функцията за логаритмична вероятност се използва вместо функцията за вероятност. Тъй като функцията нараства монотонно в цялата област на дефиниция, максимумът на всяка функция е максимумът на функцията и обратно. По този начин

Ако функцията на вероятността е диференцируема, тогава необходимото условие за екстремума е равенството на нейния градиент на нула:

Достатъчното екстремално условие може да се формулира като отрицателна определеност на Хесиан - матрицата на вторите производни:

Важно за оценката на свойствата на оценките на метода на максималната вероятност е така наречената информационна матрица, равна по дефиниция:

В оптималната точка информационната матрица съвпада с очакването на Хесиан, взето със знак минус:

Имоти

Оценките за максимална вероятност, най-общо казано, могат да бъдат предубедени (вижте примерите), но са последователни, асимптотично ефективна и асимптотично нормалнаоценки. Асимптотична нормалност означава това

където е асимптотичната информационна матрица

Асимптотична ефективност означава, че асимптотичната ковариационна матрица е долната граница за всички последователни асимптотично нормални оценители.

Примери

Последното равенство може да се пренапише като:

където , което показва, че функцията на вероятността достига своя максимум в точката . По този начин

. .

За да намерим неговия максимум, приравняваме частните производни на нула:

е средната стойност на извадката и е дисперсията на извадката.

Метод на условната максимална вероятност

Условен метод на максимална вероятност (Условно ML)използвани в регресионни модели. Същността на метода е, че той не използва пълното съвместно разпределение на всички променливи (зависими и регресори), а само условноразпределение на зависимата променлива върху фактори, което всъщност е разпределението на случайните грешки регресионен модел. Функцията на общата правдоподобност е произведение от „функцията на условната вероятност“ и плътността на разпределение на факторите. Условната MMP е еквивалентна на пълната версия на MMP в случай, че разпределението на факторите не зависи по никакъв начин от оценените параметри. Това условие често се нарушава при модели на времеви редове, като авторегресивния модел. В този случай регресорите са миналите стойности на зависимата променлива, което означава, че техните стойности също се подчиняват на същия AR модел, т.е. разпределението на регресорите зависи от оценените параметри. В такива случаи резултатите от прилагането на методите на условната и пълната максимална вероятност ще се различават.

Вижте също

Бележки

Литература

Магнус Я.Р., Катишев П.К., Пересецки А.А.Иконометрия. Начален курс. - М .: Дело, 2007. - 504 с. - ISBN 978-5-7749-0473-0

Фондация Уикимедия. 2010 г.

Вижте какво е „Методът на максималната вероятност“ в други речници:

метод на максимална вероятност- - метод на максимална правдоподобност В математическата статистика, метод за оценка на параметрите на разпределението, базиран на максимизиране на така наречената функция на вероятността ... ...

Метод за оценка от извадка от неизвестни параметри на функцията на разпределение F(s; α1,..., αs), където α1, ..., αs са неизвестни параметри. Ако извадка от n наблюдения е разделена на r неприпокриващи се групи s1,…, sr; р1,..., пр… … Геологическа енциклопедия

Метод на максимална вероятност- в математическата статистика, метод за оценка на параметрите на разпределението, базиран на максимизиране на така наречената функция на вероятността (съвместната плътност на вероятността от наблюдения при стойности, съставляващи ... ... Икономически и математически речник

метод на максимална вероятност- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: англ. метод на максимална вероятност vok. Methode der maksimalen Mutmaßlichkeit, f rus. метод на максимална вероятност, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

метод на максимална вероятност на частичен отговор- Метод за откриване на сигнала Viterbi, който осигурява минимално ниво на междусимволно изкривяване. Вижте също алгоритъм на viterbi. [Л.М. Невдяев. Телекомуникационни технологии. английски руски речникуказател. Под редакцията на Ю.М. Наръчник за технически преводач

търсач на последователност с максимална вероятност- Устройство за изчисляване на оценката на най-вероятната последователност от символи, което максимизира функцията на вероятността на получения сигнал. [Л.М. Невдяев. Телекомуникационни технологии. Справочник с английски руски тълковен речник. Под редакцията на Ю.М. Наръчник за технически преводач

метод на максимална вероятност- метод на максимална вероятност - [L.G.Sumenko. Английско-руски речник на информационните технологии. M .: GP TsNIIS, 2003.] Теми информационни технологии като цяло Синоними Метод на максимална вероятност EN Метод на максимална вероятност ... Наръчник за технически преводач

Този метод се състои в приемането като точкова оценка на параметъра на стойността на параметъра, при която функцията на вероятността достига своя максимум.

За произволно време до повреда с плътност на вероятността f(t,), функцията на вероятността е дадена с формула 12.11: , т.е. е съвместната плътност на вероятността от независими измервания на случайната променлива τ с плътността на вероятността f(t, ).

Ако случайната променлива е дискретна и приема стойностите Z1, Z2…, съответно, с вероятности P 1 (α),P 2 (α)…, , тогава функцията на вероятността се приема в различна форма, а именно: , където индексите на вероятностите показват, че са наблюдавани стойности.

Оценките на максималната вероятност на параметъра се определят от уравнението на вероятността (12.12).

Стойността на метода на максималната вероятност се установява от следните две предположения:

Ако има ефективна оценка за параметъра, тогава уравнението на вероятността (12.12) има уникално решение.

При някои общи аналитични условия, наложени на функциите f(t, )решението на уравнението на вероятността се сближава при към истинската стойност на параметъра.

Помислете за пример за използване на метода на максималната вероятност за параметри на нормалното разпределение.

Пример:

Ние имаме: , , t i (i=1..N)извадка от популация с плътност на разпространение .

Изисква се да се намери оценка на максималното сходство.

Функция на вероятността: ;

Уравнения на вероятността: ;

;

Решението на тези уравнения има вида: - средностатистическо; - статистическа дисперсия. Оценката е пристрастна. Безпристрастната оценка е: .

Основният недостатък на метода на максималната вероятност са изчислителните трудности, които възникват при решаването на уравненията на вероятността, които по правило са трансцендентални.

моментен метод.

Този метод е предложен от K. Pearson и е първият общ метод за точкова оценка на неизвестни параметри. Все още се използва широко в практическата статистика, тъй като често води до сравнително проста изчислителна процедура. Идеята на този метод е, че моментите на разпределение в зависимост от неизвестни параметри се приравняват към емпирични моменти. Като вземем броя на моментите, равен на броя на неизвестните параметри, и съставим подходящите уравнения, получаваме необходимия брой уравнения. Най-често се изчисляват първите два статистически момента: извадкова средна; и дисперсия на извадката . Оценките, получени по метода на моментите, не са най-добрите по отношение на тяхната ефективност. Много често обаче те се използват като първи приближения.

Помислете за пример за използване на метода на моментите.

Пример: Разгледайте експоненциалното разпределение:

t>0; λ<0; t i (i=1..N) е извадка от популацията с плътност на разпространение. Необходимо е да се намери оценка на параметъра λ.

Правим уравнение: . Така иначе.

квантилен метод.

Това е същият емпиричен метод като метода на моментите. Състои се в това, че квантилът на теоретичното разпределение се приравнява на емпиричния квантил. Ако трябва да се оценят няколко параметъра, тогава съответните равенства се записват за няколко квантила.

Разгледайте случая, когато законът за разпределение F(t,α,β)с два неизвестни параметъра α, β . Нека функцията F(t,α,β) има непрекъснато диференцируема плътност, приемаща положителни стойности за всякакви възможни стойности на параметрите α, β. Ако тестовете се провеждат по план , r>>1, тогава моментът на поява на -та повреда може да се разглежда като емпиричен квантил на нивото , i=1,2… , - емпирична функция на разпределение. Ако t lи T r – моментите на възникване на l-та и r-та повреда са известни точно, стойностите на параметрите α и β може да се намери от уравненията

Същност на проблема за точкова оценка на параметри

ТОЧКОВА ОЦЕНКА НА ПАРАМЕТРИ НА РАЗПРЕДЕЛЕНИЕ

Точкова оценка включва намиране на една единствена числова стойност, която се приема като стойност на параметъра. Препоръчително е да се определи такава оценка в случаите, когато обемът на ЕД е достатъчно голям. Освен това няма единна концепция за достатъчен обем на ED, неговата стойност зависи от вида на оценения параметър (ще се върнем към този въпрос, когато изучаваме методите за интервална оценка на параметрите, и първо ще разгледаме извадка, съдържаща поне 10 стойности са достатъчни). При малък обем на ED точковите оценки могат да се различават значително от истинските стойности на параметрите, което ги прави неподходящи за използване.

Проблем с оценката на точковия параметър в типична обстановка е както следва.

Налични: извадка от наблюдения ( x 1, x 2, …, x n) на случайна величина х. Размер на извадката нфиксирани.

Формата на закона за разпределение на количеството е известна х, например, под формата на плътност на разпространение е(Θ , х),където Θ е неизвестен (обикновено векторен) параметър на разпределение. Параметърът е неслучайна стойност.

Трябва да се намери оценка Θ* параметър Θ разпределителен закон.

Ограничения: извадката е представителна.

Има няколко метода за решаване на проблема с точковата оценка на параметрите, най-често срещаните от които са методите за максимална (максимална) вероятност, моменти и квантили.

Методът е предложен от Р. Фишер през 1912 г. Методът се основава на изследването на вероятността за получаване на извадка от наблюдения (x 1, x 2, …, x n). Тази вероятност е

f(x 1, Θ) f(x 2, Θ) ... f(x p, Θ) dx 1 dx 2 ... dx n.

Съвместна плътност на вероятността

L (x 1, x 2 ..., x n; Θ) \u003d f (x 1, Θ) f (x 2, Θ) ... f (x n, Θ),(2.7)

разглеждани като функция на параметъра Θ , е наречен функция на вероятността .

Като оценка Θ* параметър Θ вземете стойността, която максимизира функцията на вероятността. За да се намери оценката, е необходимо да се замени във функцията на вероятността Tна ри реши уравнението

dL/dΘ* = 0.

За да опростим изчисленията, преминаваме от функцията на вероятността към нейния логаритъм ln Л. Тази трансформация е валидна, тъй като функцията на вероятността е положителна функция и достига максимума си в същата точка като своя логаритъм. Ако параметърът на разпределението е векторна величина

Θ* =(q 1, q 2, …, q n),

тогава оценките на максималната вероятност се намират от системата от уравнения

d ln L(q 1, q 2, …, q n) /d q 1 = 0;

d ln L(q 1, q 2, …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1, q 2, …, q n) /d q n = 0.

За да се провери дали оптималната точка съответства на максимума на функцията на вероятността, е необходимо да се намери втората производна на тази функция. И ако втората производна в оптималната точка е отрицателна, тогава намерените стойности на параметрите максимизират функцията.

И така, намирането на оценки на максималната вероятност включва следните стъпки: изграждане на функцията на вероятност (нейния естествен логаритъм); диференциране на функцията по търсените параметри и съставяне на система от уравнения; решаване на система от уравнения за намиране на оценки; определяне на втората производна на функцията, проверка на нейния знак в оптималната точка на първата производна и правене на изводи.

Решение.Функция на вероятността за пробен обем на ЕД н

Функция за логаритмична вероятност

Система от уравнения за намиране на оценки на параметри

От първото уравнение следва:

или накрая

По този начин средната аритметична стойност е оценката на максималната вероятност за очакваната стойност.

От второто уравнение можете да намерите

Емпиричната вариация е предубедена. След премахване на офсет

Действителните стойности на оценките на параметъра: м =27,51, s2 = 0,91.

За да проверим дали получените оценки максимизират стойността на функцията на вероятността, ние вземаме вторите производни

Втори производни на ln( L(m,S)) независимо от стойностите на параметрите, по-малки от нула, следователно намерените стойности на параметрите са оценки на максималната вероятност.

Методът на максималната вероятност дава възможност да се получат последователни, ефективни (ако такива съществуват, тогава полученото решение ще даде ефективни оценки), достатъчни, асимптотично нормално разпределени оценки. Този метод може да даде както пристрастни, така и непредубедени оценки. Промяната може да бъде елиминирана чрез въвеждане на корекции. Методът е особено полезен за малки проби.