Maksimal ehtimollik. Ehtimollik taqsimotining noma'lum parametrlarini nuqtali baholash uchun maksimal ehtimollik usuli. Boshqa lug'atlarda "Maksimal ehtimollik usuli" nima ekanligini ko'ring

Matematik statistika bilan dastlabki tanishish uchun mo'ljallangan ishlarda odatda maksimal ehtimollik baholari (qisqartirilgan MLE) hisobga olinadi:

Shunday qilib, avval namunaga mos keladigan ehtimollik zichligi funksiyasi tuziladi. Namuna elementlari mustaqil bo'lganligi sababli, bu zichlik alohida namuna elementlari uchun zichlik mahsuloti sifatida taqdim etiladi. Qo'shma zichlik kuzatilgan qiymatlarga mos keladigan nuqtada hisobga olinadi. Parametrning funksiyasi sifatidagi bu ifoda (ma'lum namunaviy elementlar uchun) ehtimollik funktsiyasi deb ataladi. Keyin, u yoki bu tarzda, qo'shma zichlikning qiymati maksimal bo'lgan parametrning qiymati izlanadi. Bu maksimal ehtimollik taxminidir.

Ma'lumki, maksimal ehtimollik baholovchilari eng yaxshi asimptotik normal baholovchilar sinfiga kiradi. Biroq, bir qator muammolarda cheklangan namuna o'lchamlari bilan OMPlar qabul qilinishi mumkin emas, chunki ular boshqa baholardan, xususan, xolis bo'lganlardan ham yomonroq (dispersiya va o'rtacha kvadrat xatosi kattaroq). Shuning uchun GOST 11.010-81 salbiy binomial taqsimot parametrlarini baholash uchun OMP emas, balki xolis baholardan foydalanadi. Yuqorida aytilganlarga ko'ra, agar iloji bo'lsa, faqat taxminlarning asimptotik xatti-harakatlarini o'rganish bosqichida OMPni boshqa baholash turlaridan ustun qo'yish kerak.

Ba'zi hollarda, WMD aniq, hisoblash uchun mos bo'lgan maxsus formulalar shaklida topiladi.

Aksariyat hollarda WMDni topish uchun analitik echimlar mavjud emas, raqamli usullardan foydalanish kerak; Bu, masalan, gamma taqsimoti yoki Weibull-Gnedenko taqsimotidan olingan namunalar bilan bog'liq. Ko'pgina ishlarda maksimal ehtimollik tenglamalari tizimi ba'zi iterativ usul yordamida echiladi yoki ehtimollik funksiyasi to'g'ridan-to'g'ri maksimallashtiriladi.

Biroq, dastur raqamli usullar ko‘plab muammolarni keltirib chiqaradi. Takrorlanuvchi usullarning yaqinlashuvi asoslashni talab qiladi. Bir qator misollarda ehtimollik funktsiyasi ko'plab mahalliy maksimallarga ega va shuning uchun tabiiy iteratsiya protseduralari bir-biriga yaqinlashmaydi. Butun Rossiya temir yo'l transporti ilmiy-tadqiqot institutining po'latdan charchash sinovlari bo'yicha ma'lumotlari uchun maksimal ehtimollik tenglamasi 11 ta ildizga ega. Parametrni baholash uchun o'n bittadan qaysi biri ishlatilishi kerak?

Ushbu qiyinchiliklarni anglash natijasida aniq ehtimollik modellari va aniq algoritmlar uchun maksimal ehtimollik baholarini topish algoritmlarining yaqinlashishini isbotlash bo'yicha ishlar boshlandi.

Biroq, iterativ algoritmning yaqinlashuvining nazariy isboti hamma narsa emas. Kerakli aniqlikka erishish bilan bog'liq holda hisob-kitoblarni qachon to'xtatishni oqilona tanlash haqida savol tug'iladi. Aksariyat hollarda u hal etilmaydi.

Lekin bu hammasi emas. Hisob-kitoblarning to'g'riligi namunaviy hajm bilan bog'liq bo'lishi kerak - u qanchalik katta bo'lsa, parametr baholarini shunchalik aniqroq topish kerak bo'ladi, aks holda biz baholash usulining izchilligi haqida gapira olmaymiz. Bundan tashqari, namuna hajmi oshgani sayin, kompyuterda ishlatiladigan raqamlar sonini ko'paytirish, hisob-kitoblarning bitta aniqligidan ikki baravar aniqligiga o'tish va yana izchil hisob-kitoblarga erishish uchun kerak bo'ladi.

Shunday qilib, maksimal ehtimollik taxminlari uchun aniq formulalar mavjud bo'lmaganda, WMD topish bir qator hisoblash muammolariga olib keladi. Matematik statistika mutaxassislari ommaviy qirg'in qurollarini nazariy jihatdan muhokama qilib, ushbu muammolarning barchasiga e'tibor bermaslikka imkon beradi. Biroq, amaliy statistika ularni e'tiborsiz qoldirolmaydi. Qayd etilgan muammolar ommaviy qirg'in qurolidan amaliy foydalanishning maqsadga muvofiqligini shubha ostiga qo'yadi.

1-misol. Standartlashtirish va sifatni boshqarishning statistik muammolarida gamma taqsimotlar oilasi qo'llaniladi. Gamma taqsimot zichligi shaklga ega

(7) formuladagi ehtimollik zichligi uchta parametr bilan aniqlanadi a, b, c, Qayerda a>2, b>0. Qayerda a shakl parametridir, b- masshtab parametri va Bilan - siljish parametri. Faktor 1/G(a) normallashmoqda, u bilan tanishtirildi

Bu yerga G(a)- matematikada qo'llaniladigan maxsus funktsiyalardan biri, "gamma funktsiyasi" deb ataladi, undan keyin (7) formulada berilgan taqsimot nomlanadi;

Gamma taqsimoti parametrlarini baholash muammolarining batafsil echimlari biz tomonidan ishlab chiqilgan GOST 11.011-83 "Amaliy statistika" davlat standartida mavjud. Gamma taqsimot parametrlari uchun taxminlar va ishonch chegaralarini aniqlash qoidalari. Hozirda ushbu nashr sifatida foydalanilmoqda uslubiy material muhandislik-texnik xodimlar uchun sanoat korxonalari va amaliy tadqiqot institutlari.

Gamma taqsimoti uchta parametrga bog'liq bo'lganligi sababli, baholash muammolarini o'rnatish uchun 2 3 - 1 = 7 variant mavjud. Ular jadvalda tasvirlangan. 1. Jadvalda. 2-rasmda to'sarlarning chegaralangan holatga qadar ish vaqti, soatlarda haqiqiy ma'lumotlar ko'rsatilgan. Hajmning buyurtma qilingan namunasi (variatsiya seriyasi). n= 50 davlat standartidan olingan. Aynan shu ma'lumotlar parametrlarni baholashning ma'lum usullarini namoyish qilish uchun manba bo'lib xizmat qiladi.

Amaliy statistikaning ma'lum parametrik modelida "eng yaxshi" baholarni tanlash vaqt o'tishi bilan cho'zilgan tadqiqot loyihasidir. Keling, ikkita bosqichni ajratamiz. Asimptotik bosqich: Namuna hajmi cheksiz oshib borishi sababli baholar ularning xususiyatlariga qarab tuziladi va taqqoslanadi. Ushbu bosqichda baholarning izchillik, asimptotik samaradorlik va boshqalar kabi xususiyatlari ko'rib chiqiladi. Namuna hajmining yakuniy bosqichi: taxminlar solishtiriladi, deylik, da n= 10. Tadqiqot asimptotik bosqichdan boshlanishi aniq: taxminlarni solishtirish uchun birinchi navbatda ularni qurish va ular bema'ni emasligiga ishonch hosil qilish kerak (bunday ishonch izchillik isboti bilan ta'minlanadi).

2-misol. Uchta noma'lum parametr bo'lgan taqdirda momentlar usuli bo'yicha gamma taqsimot parametrlarini baholash (1-jadvalning 7-qatori).

Yuqoridagi fikrga ko'ra, uchta parametrni baholash uchun uchta namunaviy momentdan foydalanish kifoya - namunaviy arifmetik o'rtacha:

namunaviy farq

va selektiv uchinchi markaziy moment

Tarqatish parametrlari va namunaviy momentlar orqali ifodalangan nazariy momentlarni tenglashtirib, biz momentlar usuli uchun tenglamalar tizimini olamiz:

Ushbu tizimni yechib, biz momentlar usuli uchun taxminlarni topamiz. Ikkinchi tenglamani uchinchisiga almashtirib, siljish parametri uchun momentlarni baholash usulini olamiz:

Ushbu bahoni ikkinchi tenglamaga almashtirib, biz shakl parametri uchun momentlarni baholash usulini topamiz:

Nihoyat, birinchi tenglamadan biz siljish parametri uchun taxminni topamiz:

Yuqoridagi jadvalda keltirilgan haqiqiy ma'lumotlar uchun. 2, namunaviy o'rtacha = 57,88, tanlov dispersiyasi s 2 = 663.00, uchinchi markaziy moment namunasi m 3 = 14927,91. Momentlar usulini baholash uchun yangi olingan formulalarga ko'ra, ular: a* = 5,23; b* = 11,26, c* = - 1,01.

Momentlar usuli bilan olingan gamma taqsimot parametrlarining baholari namunaviy momentlarning funktsiyalari hisoblanadi. Yuqoridagilarga muvofiq, ular asimptotik normal tasodifiy o'zgaruvchilardir. Jadvalda 3-rasmda gamma taqsimotining ma'lum va noma'lum parametrlarining turli kombinatsiyalari uchun momentlar va ularning asimptotik dispersiyalari usulining taxminlari ko'rsatilgan.

Momentlar usulining barcha baholari jadvalda keltirilgan. 3, kiritilgan davlat standarti. Ular gamma taqsimot parametrlarini baholash muammolarining barcha formulalarini qamrab oladi (1-jadvalga qarang), faqat bitta parametr noma'lum bo'lganlar bundan mustasno - a yoki b. Ushbu istisno holatlar uchun maxsus baholash usullari ishlab chiqilgan.

Momentlar usulini baholashning asimptotik taqsimoti ma'lum bo'lganligi sababli, taqsimot parametrlarining qiymatlari bo'yicha statistik gipotezalarni sinab ko'rish qoidalarini shakllantirish, shuningdek parametrlar uchun ishonch chegaralarini yaratish qiyin emas. Masalan, ehtimolli modelda, barcha uch parametr noma'lum bo'lsa, 3-jadvalning uchinchi qatoriga ko'ra, parametr uchun pastki ishonch chegarasi A, ishonch ehtimoli r = 0,95 ga mos keladi, asimptotikada ko'rinishga ega.

va bir xil ishonch ehtimoli uchun yuqori ishonch chegarasi quyidagicha

Qayerda A* - shakl parametrining momentlari usulini baholash (3-jadval).

3-misol. Keling, misol uchun ommaviy qirg'in qurollarini topamiz normal taqsimot, har bir elementi zichlikka ega

Shunday qilib, ikki o'lchovli parametrni baholash kerak ( m, y 2).

Namuna elementlari uchun ehtimollik zichliklarining mahsuloti, ya'ni. ehtimollik funksiyasi shaklga ega

Bu optimallashtirish muammosini hal qilish uchun talab qilinadi

Ko'pgina boshqa holatlarda bo'lgani kabi, ehtimollik funktsiyasining logarifmini olsak, optimallashtirish masalasini hal qilish osonroq bo'ladi, ya'ni. funktsiyaga o'ting

log-ehtimollik funksiyasi deb ataladi. Oddiy taqsimotdan namuna olish uchun

Maksimal uchun zaruriy shart - parametrlarga nisbatan logarifmik ehtimollik funktsiyasining 0 qisman hosilalari tengligi, ya'ni.

(10) sistema maksimal ehtimollik tenglamalari tizimi deyiladi. Umumiy holatda tenglamalar soni noma'lum parametrlar soniga teng bo'lib, har bir tenglama u yoki bu parametrga nisbatan log-ehtimollik funksiyasining qisman hosilasini 0 ga tenglashtirib yoziladi.

ga nisbatan farqlashda m(9) formulaning o'ng tomonidagi dastlabki ikkita had 0 ga aylanadi, oxirgi had esa tenglamani beradi

Shuning uchun, baholash m* maksimal ehtimollik parametri m namunaviy arifmetik o'rtacha,

Dispersiyaning taxminiy qiymatini topish uchun tenglamani yechish kerak

Buni ko'rish oson

Shuning uchun, parametr uchun oldindan topilgan taxminni hisobga olgan holda, y 2 dispersiya uchun maksimal ehtimollik bahosi (y 2)* m namunaviy farq,

Shunday qilib, maksimal ehtimollik tenglamalari tizimi analitik tarzda echiladi, normal taqsimotning matematik kutilishi va dispersiyasi uchun GME tanlov arifmetik o'rtacha va tanlov dispersiyasidir. E'tibor bering, oxirgi taxmin bir tomonlama.

E'tibor bering, 3-misol sharoitida maksimal ehtimollik usulining baholari momentlar usulining baholari bilan mos keladi. Bundan tashqari, momentlar usulini baholash turi aniq va hech qanday fikr yuritishni talab qilmaydi.

4-misol. Keling, kirishga harakat qilaylik maxfiy ma'no Zamonaviy statistika asoschisi Ronald Fisherning quyidagi iborasi: "Parametrni taxmin qilishdan osonroq narsa yo'q". Klassik istehzoli edi: u yomon baho berish osonligini nazarda tutgan. Yaxshi bahoni ixtiro qilish shart emas (!) - uni maksimal ehtimollik printsipidan foydalangan holda standart usulda olish kerak.

Vazifa. H 0 ga ko'ra, uchta mustaqil Puasson tasodifiy o'zgaruvchilarning matematik taxminlari chiziqli bog'liqlik bilan bog'liq: .

Bu miqdorlarning realizatsiyasi berilgan. Chiziqli munosabatlarning ikkita parametrini baholash va H 0 ni tekshirish talab qilinadi.

Aniqlik uchun biz nuqtalarda o'rtacha qiymatlarni oladigan chiziqli regressiyani tasavvur qilishimiz mumkin. Qadriyatlar olinsin. H0 ning kattaligi va adolatliligi haqida nima deyish mumkin?

Oddiy yondashuv

Ko'rinib turibdiki, parametrlarni oddiy aql-idrok yordamida baholash mumkin. Biz x 1 =-1 dan x 3 =+1 ga o'tishdagi o'sishni bo'lish orqali to'g'ridan-to'g'ri regressiya qiyaligining taxminiy qiymatini olamiz va qiymatning o'rtacha arifmetik qiymatini topamiz:

Hisoblashning matematik taxminlari teng ekanligini tekshirish oson (baholar xolis).

Hisob-kitoblar olingandan so'ng, H0 odatdagidek Pearson chi-kvadrat testi yordamida tekshiriladi:

Kutilayotgan chastotalar hisob-kitoblari taxminlar asosida olinishi mumkin:

Bundan tashqari, agar bizning taxminlarimiz "to'g'ri" bo'lsa, u holda Pearson masofasi bir erkinlik darajasiga ega bo'lgan chi-kvadrat tasodifiy o'zgaruvchisi sifatida taqsimlanadi: 3-2 = 1. Eslatib o'tamiz, biz ma'lumotlarni modelimizga moslashtirish orqali ikkita parametrni baholaymiz. Bunday holda, miqdor belgilanmaydi, shuning uchun qo'shimcha birlikni olib tashlashning hojati yo'q.

Biroq, biz uni almashtirganimizda, biz g'alati natijaga erishamiz:

Bir tomondan, bu chastotalar uchun H0 ni rad etish uchun hech qanday sabab yo'qligi aniq, ammo biz buni chi-kvadrat testi yordamida tekshira olmaymiz, chunki birinchi nuqtada kutilgan chastotani taxmin qilish shunday bo'ladi. salbiy. Shunday qilib, "sog'lom aql" dan olingan hisob-kitoblar muammoni umumiy holatda hal qilishga imkon bermaydi.

Maksimal ehtimollik usuli

Tasodifiy o'zgaruvchilar mustaqil va Puasson taqsimotiga ega. Qiymatlarni olish ehtimoli:

Maksimal ehtimollik printsipiga ko'ra, noma'lum parametrlarning qiymatlarini izlash kerak, bu qiymatlarni olish ehtimoli maksimal bo'lishini talab qiladi:

Agar ular doimiy bo'lsa, biz oddiy ehtimollik bilan shug'ullanamiz. Fisher konstantalar o'zgaruvchi deb hisoblangan holat uchun yangi "ishonchlilik" atamasini taklif qildi. Agar ehtimollik mustaqil hodisalarning ehtimolliklarining mahsuloti bo'lib chiqsa, unda ko'paytmani yig'indiga aylantirish va keyin ehtimollik logarifmi bilan shug'ullanish tabiiydir:

Bu erda bog'liq bo'lmagan barcha atamalar oxirgi ifodada belgilanadi va o'chiriladi. Maksimal loglik ehtimolini topish uchun hosilalarni nolga tenglashtiramiz:

Ushbu tenglamalarni yechish orqali biz quyidagilarni olamiz:

Bular baholash uchun "to'g'ri" iboralardir. O'rtacha uchun taxmin sog'lom fikr taklif qiladigan narsa bilan bir xil, ammo nishab uchun taxminlar farq qiladi: . Formula haqida nima deya olasiz?

  • 1) Javob o'rta nuqtadagi chastotaga bog'liqligi g'alati tuyuladi, chunki kattalik chiziqning moyillik burchagini aniqlaydi.
  • 2) Biroq, agar H 0 rost bo'lsa (regressiya chizig'i to'g'ri bo'lsa), unda qachon katta qiymatlar kuzatilgan chastotalar, ular matematik kutilganiga yaqin bo'ladi. Shuning uchun: , va maksimal ehtimollik taxmini sog'lom fikrdan olingan natijaga yaqinlashadi.

3) Baholashning afzalliklari barcha kutilgan chastotalar har doim ijobiy ekanligini sezganimizda sezila boshlaydi:

Bu "sodda" baholar uchun to'g'ri emas edi, shuning uchun har doim ham chi-kvadrat testini qo'llash mumkin emas edi (salbiy yoki nol kutilgan chastotani bitta bilan almashtirishga urinish vaziyatni saqlab qolmaydi).

4) Raqamli hisob-kitoblar shuni ko'rsatadiki, agar kutilgan chastotalar etarlicha katta bo'lsa, sodda baholardan foydalanish mumkin. Agar ular kichik qiymatlarda ishlatilsa, hisoblangan Pearson masofasi ko'pincha haddan tashqari katta bo'ladi.

Xulosa : To'g'ri tanlov taxminlar muhim ahamiyatga ega, chunki aks holda gi-kvadrat testi yordamida gipotezani sinab ko'rish mumkin bo'lmaydi. Aniq ko'rinadigan baho foydalanishga yaroqsiz bo'lib chiqishi mumkin!

Zichlik bilan uzluksiz tasodifiy o'zgaruvchi Zichlik turi ma'lum, ammo parametrlarning qiymatlari noma'lum Ehtimollik funktsiyasi funktsiyadir (bu erda - tasodifiy o'zgaruvchining taqsimlanishidan n hajmining namunasi). Ko'rinib turibdiki, ehtimollik funksiyasiga ehtimollik ma'nosi berilishi mumkin, ya'ni: komponentlari mustaqil, D(z) qonuni bilan birgalikda bir xil taqsimlangan tasodifiy o'zgaruvchilar bo'lgan tasodifiy vektorni ko'rib chiqaylik. Keyin E vektorining ehtimollik elementi ya'ni ko'rinishga ega bo'ladi. Ehtimollik funksiyasi tajribalar ketma-ketligida qat'iy belgilangan namunani olish ehtimoli bilan bog'liq P. Ehtimollik usulining asosiy g'oyasi shundaki, A parametrlarini baholashda bunday qiymatlarni olish taklif etiladi (3) Berilgan qo'zg'almas namuna uchun ehtimollik funksiyasining maksimalini ta'minlaydigan, ya'ni tajribada olingan namunani eng ehtimolli deb hisoblash taklif etiladi. pj parametrlarining taxminlarini topish k tenglamalar tizimini yechishga keltiriladi (k - noma'lum parametrlar soni): L funktsiya logi ehtimollik funksiyasi bilan bir xil nuqtada maksimalga ega bo'lganligi sababli, ehtimollik tenglamalari tizimi (19) bo'ladi. ko'pincha shaklda yoziladi Noma'lum parametrlarni baholash sifatida (19) yoki (20) tizimning haqiqatan ham namunaga bog'liq bo'lgan va doimiy bo'lmagan echimlarini olish kerak. £ taqsimot qatori bilan diskret bo'lgan holatda, ehtimollik funktsiyasi funksiya deb ataladi va maksimal ehtimollik usuli yoki ekvivalenti uchun echimlar izlanadi. Shuni ta'kidlash kerakki, maksimal ehtimollik usuli momentlar usulidan ko'ra murakkabroq hisob-kitoblarga olib keladi, ammo nazariy jihatdan samaraliroqdir, chunki maksimal ehtimollik taxminlari momentlar usuli yordamida olingan taxminlarga qaraganda taxmin qilingan parametrlarning haqiqiy qiymatlaridan kamroq og'adi. . Ilovalarda eng ko'p uchraydigan taqsimotlar uchun momentlar usuli va maksimal ehtimollik usuli yordamida olingan parametr baholari ko'p hollarda mos keladi. Prshir 1. Nominal qiymatdan chetlanish (qism kattaligining nominal qiymatdan normal taqsimlangan tasodifiy miqdordir. Bu tizimli xato va tanlanmadan chetlanish dispersiyasini aniqlash uchun talab qilinadi. M sharti bo‘yicha (matematik ko‘rsatkichga ega bo‘lgan normal taqsimlangan tasodifiy miqdor). kutish (tizimli xatolik) va dispersiyani n o'lchamdagi tanlamadan baholash kerak: X\>...uXp Bu holda tizim (19) ehtimollik funksiyasi ko'rinishga ega Demak, Xx ga bog'liq bo'lmagan echimlar bundan mustasno. olamiz, ya'ni. Bu holda maksimal ehtimollik taxminlari bizga allaqachon ma'lum bo'lgan empirik o'rtacha va dispersiyaga to'g'ri keladi > 2-misol. Tanlamadan eksponent ravishda taqsimlangan tasodifiy o'zgaruvchining /i parametrini baholang. 4 Ehtimollik funksiyasi shaklga ega. Ehtimollik tenglamasi bizni momentlar usulida olingan bir xil parametrning bahosi bilan mos keladigan yechimga olib boradi, qarang (17). ^ 3-misol. Maksimal ehtimollik usulidan foydalanib, gerbning paydo bo'lish ehtimolini baholang, agar tangani o'n marta otish paytida gerb 8 marta paydo bo'lgan bo'lsa. -4 Baholash ehtimoli p ga teng bo'lsin. Tasodifiy o‘zgaruvchini ko‘rib chiqamiz (tarqatish qatori bilan. Ehtimollik funksiyasi (21) ko‘rinishga ega Maksimal ehtimollik usuli. Tenglama noma’lum ehtimollik p bahosi sifatida gerbning eksperimentda paydo bo‘lish chastotasini beradi. Xulosa. taxminlarni topish usullarini muhokama qilishda biz shuni ta'kidlaymizki, hatto juda katta miqdordagi eksperimental ma'lumotlarga ega bo'lsak ham, biz hali ham ko'rsata olmaymiz. aniq qiymat Bundan tashqari, bir necha bor ta'kidlanganidek, biz olingan baholar faqat "o'rtacha" yoki "ko'p hollarda" taxmin qilingan parametrlarning haqiqiy qiymatlariga yaqin. Shuning uchun biz keyingi ko'rib chiqadigan muhim statistik vazifa bu bizning baholashimizning to'g'riligi va ishonchliligini aniqlash vazifasidir.

Va boshqalar).

Maksimal ehtimollikni baholash - bu ma'lumotlardan statistik model yaratish va model parametrlarini baholash uchun ishlatiladigan mashhur statistik usul.

Statistika sohasidagi ko'plab taniqli baholash usullariga mos keladi. Masalan, siz Ukraina aholisining o'sishiga qiziqasiz deylik. Aytaylik, sizda butun aholi emas, balki bir nechta odamlar uchun balandlik ma'lumotlari mavjud. Bundan tashqari, balandlik noma'lum dispersiya va o'rtacha bilan normal taqsimlangan o'zgaruvchi sifatida qabul qilinadi. Namuna o'sishining o'rtacha va dispersiyasi butun populyatsiyaning o'rtacha va dispersiyasi bo'lishi mumkin.

Ruxsat etilgan ma'lumotlar to'plami va asosiy ehtimollik modelini hisobga olgan holda, maksimal ehtimollik usulidan foydalangan holda, biz ma'lumotlarni real dunyoga "yaqinroq" qiladigan model parametrlari uchun qiymatlarni olamiz. Maksimal ehtimollikni baholash oddiy taqsimot holatida echimlarni aniqlashning noyob va oddiy usulini ta'minlaydi.

Maksimal ehtimollikni baholash ko'plab statistik modellar uchun qo'llaniladi, jumladan:

  • chiziqli modellar va umumlashtirilgan chiziqli modellar;
  • omil tahlili;
  • strukturaviy tenglamalarni modellashtirish;
  • gipotezalarni tekshirish va ishonch oralig'ini shakllantirish doirasidagi ko'plab vaziyatlar;
  • diskret tanlov modellari.

Usulning mohiyati

chaqirdi maksimal ehtimollikni baholash parametr. Shunday qilib, maksimal ehtimollik smetatori belgilangan namunani amalga oshirishda ehtimollik funktsiyasini maksimal darajaga ko'taradigan baholovchi hisoblanadi.

Ko'pincha ehtimollik funksiyasi o'rniga log-ehtimollik funktsiyasi qo'llaniladi. Funktsiya butun ta'rif sohasi bo'ylab monoton ravishda ortib borayotganligi sababli, har qanday funktsiyaning maksimali funksiyaning maksimali bo'ladi va aksincha. Shunday qilib

,

Agar ehtimollik funktsiyasi differentsial bo'lsa, ekstremum uchun zaruriy shart uning gradienti nolga teng bo'lishidir:

Ekstremum uchun etarli shart Hessianning salbiy aniqligi - ikkinchi hosilalarning matritsasi sifatida ifodalanishi mumkin:

Ta'rifi bo'yicha quyidagilarga teng bo'lgan axborot matritsasi:

Optimal nuqtada ma'lumot matritsasi minus belgisi bilan olingan Hessianning matematik kutishiga to'g'ri keladi:

Xususiyatlari

  • Maksimal ehtimollik taxminlari, umuman olganda, bir tomonlama bo'lishi mumkin (misollarga qarang), lekin izchil. asimptotik samarali va asimptotik normal taxminlar. Asimptotik normallik shuni anglatadi

asimptotik axborot matritsasi qayerda

Asimptotik samaradorlik asimptotik kovariatsiya matritsasi barcha izchil asimptotik normal baholovchilar uchun pastki chegara ekanligini anglatadi.

Misollar

Oxirgi tenglikni quyidagicha qayta yozish mumkin:

bu erda, undan ko'rinib turibdiki, ehtimollik funksiyasi nuqtada maksimal darajaga etadi. Shunday qilib

. .

Uning maksimalini topish uchun qisman hosilalarni nolga tenglashtiramiz:

- namunaviy o'rtacha va - tanlov dispersiyasi.

Shartli maksimal ehtimollik usuli

Shartli maksimal ehtimollik (shartli ML) regressiya modellarida ishlatiladi. Usulning mohiyati shundaki, barcha o'zgaruvchilarning (qaram va regressorlar) to'liq qo'shma taqsimlanishi qo'llanilmaydi, faqat shartli bog'liq o'zgaruvchining omillar bo'yicha taqsimlanishi, ya'ni aslida tasodifiy xatolarning taqsimlanishi regressiya modeli. Umumiy ehtimollik funksiyasi “shartli ehtimollik funksiyasi” va omil taqsimoti zichligining mahsulotidir. Shartli MMP, omillarning taqsimlanishi hisoblangan parametrlarga hech qanday tarzda bog'liq bo'lmagan taqdirda MMP ning to'liq versiyasiga ekvivalentdir. Bu holat tez-tez avtoregressiv model kabi vaqtli seriyali modellarda buziladi. Bunday holda, regressorlar bog'liq o'zgaruvchining o'tgan qiymatlari bo'lib, ularning qiymatlari ham bir xil AR modeliga bo'ysunadi, ya'ni regressorlarning taqsimlanishi taxminiy parametrlarga bog'liq. Bunday hollarda shartli va to'liq maksimal ehtimollik usullarini qo'llash natijalari farqlanadi.

Shuningdek qarang

Eslatmalar

Adabiyot

  • Magnus Y.R., Katyshev P.K., Peresetskiy A.A. Ekonometriya. Boshlang'ich kurs. - M.: Delo, 2007. - 504 b. - ISBN 978-5-7749-0473-0

Wikimedia fondi. 2010 yil.

Boshqa lug'atlarda "Maksimal ehtimollik usuli" nima ekanligini ko'ring:

    maksimal ehtimollik usuli- - maksimal ehtimollik usuli Matematik statistikada ehtimollik funksiyasi deb ataladigan narsani maksimallashtirishga asoslangan taqsimot parametrlarini baholash usuli... ...

    Namunadan F(s; a1,..., as) taqsimot funksiyasining noma’lum parametrlarini baholash usuli, bunda a1, ..., as noma’lum parametrlar. Agar n ta kuzatuv namunasi r ajralgan guruhlarga bo'linsa s1,..., sr; r1,..., pr…… Geologik entsiklopediya

    Maksimal ehtimollik usuli- matematik statistikada ehtimollik funktsiyasi deb ataladigan narsani maksimallashtirishga asoslangan taqsimot parametrlarini baholash usuli (qiymatlarni tashkil etadigan kuzatuvlarning qo'shma ehtimollik zichligi ... ... Iqtisodiy-matematik lug'at

    maksimal ehtimollik usuli- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. maksimal ehtimollik usuli vok. Methode der maksimalen Mutmaßlichkeit, f rus. maksimal ehtimollik usuli, m pranc. méthode de maksimal de vraisemblance, f;… … Automatikos terminų žodynas

    maksimal ehtimollik qisman javob usuli- Viterbi signalni aniqlash usuli, bu simvollararo buzilishning minimal darajasini ta'minlaydi. Shuningdek qarang. Viterbi algoritmi. [L.M. Nevdyaev. Telekommunikatsiya texnologiyalari. Ingliz rus izohli lug'at katalog. Yu.M tomonidan tahrirlangan... Texnik tarjimon uchun qo'llanma

    maksimal ehtimollik usuli yordamida ketma-ketlik detektori- Qabul qilingan signalning ehtimollik funktsiyasini maksimal darajaga ko'taradigan belgilarning eng mumkin bo'lgan ketma-ketligini taxminiy hisoblash uchun qurilma. [L.M. Nevdyaev. Telekommunikatsiya texnologiyalari. Inglizcha-ruscha izohli lug'at ma'lumotnomasi. Yu.M tomonidan tahrirlangan... Texnik tarjimon uchun qo'llanma

    maksimal ehtimollik usuli- maksimal ehtimollik usuli - [L.G. Axborot texnologiyalari bo'yicha inglizcha-ruscha lug'at. M.: GP TsNIIS, 2003.] Mavzular axborot texnologiyalari Umuman Sinonimlar maksimal ehtimollik usuli EN maksimal ehtimollik usuli ... Texnik tarjimon uchun qo'llanma

Bu usul parametrning nuqtaviy bahosi sifatida ehtimollik funksiyasi maksimal darajaga etgan parametr qiymatini olishdan iborat.

F(t, ) ehtimollik zichligi bilan tasodifiy ishlamay qolish vaqti uchun ehtimollik funksiyasi 12.11 formula bilan aniqlanadi: , ya'ni. t tasodifiy o'zgaruvchining ehtimollik zichligi bilan mustaqil o'lchovlarining qo'shma ehtimollik zichligi f(t, ).

Agar tasodifiy o'zgaruvchi diskret bo'lsa va qiymatlarni qabul qilsa Z 1 , Z 2..., mos ravishda P 1 (a), P 2 (a) ... ehtimolliklari bilan, ehtimollik funktsiyasi boshqa shaklda olinadi, ya'ni: , bu erda ehtimollik indekslari qiymatlar kuzatilganligini ko'rsatadi.

Parametrning maksimal ehtimollik baholari ehtimollik tenglamasidan (12.12) aniqlanadi.

Maksimal ehtimollik usulining qiymati quyidagi ikkita taxmin bilan aniqlanadi:

Agar parametr uchun samarali baho mavjud bo'lsa, ehtimollik tenglamasi (12.12) yagona yechimga ega.

Vazifalarga yuklangan analitik xarakterdagi muayyan umumiy sharoitlarda f(t, ) ehtimollik tenglamasining yechimi parametrning haqiqiy qiymatiga yaqinlashadi.

Oddiy taqsimot parametrlari uchun maksimal ehtimollik usulini qo'llash misolini ko'rib chiqaylik.

Misol:

Bizda ... bor: , , t i (i=1..N) zichlik taqsimotiga ega bo'lgan populyatsiyadan olingan namuna.

Biz maksimal o'xshashlik taxminini topishimiz kerak.

Ehtimollik funktsiyasi: ;

.

Ehtimollik tenglamalari: ;

;

Bu tenglamalar yechimi quyidagi ko'rinishga ega: - o'rtacha statistik; - statistik dispersiya. Hisob-kitob bir tomonlama. Xolis baholash quyidagicha bo'ladi: .

Maksimal ehtimollik usulining asosiy kamchiliklari, qoida tariqasida, transsendental bo'lgan ehtimollik tenglamalarini echishda yuzaga keladigan hisoblash qiyinchiliklari.

Lahzalar usuli.

Bu usul K.Pirson tomonidan taklif qilingan va noma'lum parametrlarni nuqtali baholashning eng birinchi umumiy usuli hisoblanadi. U hali ham amaliy statistikada keng qo'llaniladi, chunki u ko'pincha nisbatan sodda hisoblash jarayoniga olib keladi. Ushbu usulning g'oyasi shundaki, noma'lum parametrlarga qarab taqsimlanish momentlari empirik momentlarga tenglashtiriladi. Noma'lum parametrlar soniga teng bo'lgan momentlar sonini olib, tegishli tenglamalarni tuzib, biz kerakli miqdordagi tenglamalarni olamiz. Dastlabki ikkita statistik nuqta ko'pincha hisoblab chiqiladi: o'rtacha tanlov; va namunaviy farq . Lahzalar usuli yordamida olingan baholar ularning samaradorligi jihatidan eng yaxshisi emas. Biroq, ko'pincha ular birinchi taxminlar sifatida ishlatiladi.

Keling, momentlar usulini qo'llash misolini ko'rib chiqaylik.

Misol: Eksponensial taqsimotni ko'rib chiqing:

t>0; l<0; t i (i=1..N) – tarqalish zichligi bo‘lgan populyatsiyadan olingan namuna. Biz l parametri uchun taxminni topishimiz kerak.

Keling, tenglama tuzamiz: . Shunday qilib, aks holda.

Kvant usuli.

Bu momentlar usuli bilan bir xil empirik usul. U nazariy taqsimot kvantlarining empirik kvantlarga teng ekanligidan iborat. Agar bir nechta parametrlar baholanishi kerak bo'lsa, unda bir nechta kvantlar uchun mos keladigan tengliklar yoziladi.

Keling, ishni ko'rib chiqaylik qachon taqsimlash qonuni F(t,a,b) ikkita noma'lum parametr bilan α, β . Funktsiyaga ruxsat bering F(t,a,b) har qanday mumkin bo'lgan parametr qiymatlari uchun ijobiy qiymatlarni qabul qiladigan doimiy farqlanadigan zichlikka ega α, β. Sinovlar rejaga muvofiq amalga oshirilsa , r>>1, u holda th nosozlikning paydo bo'lish momentini darajaning empirik kvantili deb hisoblash mumkin, i=1,2… , - empirik taqsimot funksiyasi. Agarda t l Va t r - l va r nosozliklarning paydo bo'lish momentlari aniq ma'lum, parametrlarning qiymatlari α Va β tenglamalardan topish mumkin

Nuqta parametrlarini baholash masalasining mohiyati

TARQATISH PARAMETRELARINING NUQTA BAHOLANISHI

Ballarni baholash parametr qiymati sifatida qabul qilinadigan yagona raqamli qiymatni topishni o'z ichiga oladi. ED hajmi etarlicha katta bo'lgan hollarda bunday baholashni aniqlash maqsadga muvofiqdir. Bundan tashqari, ED ning etarli hajmining yagona kontseptsiyasi mavjud emas, uning qiymati baholanayotgan parametr turiga bog'liq (biz bu masalaga parametrlarni intervalli baholash usullarini o'rganishda qaytamiz, lekin birinchi navbatda biz kamida o'z ichiga olgan namunani ko'rib chiqamiz; 10 qiymat etarli). ED hajmi kichik bo'lsa, nuqta baholari haqiqiy parametr qiymatlaridan sezilarli darajada farq qilishi mumkin, bu ularni ishlatish uchun yaroqsiz qiladi.

Nuqta parametrlarini baholash muammosi odatiy sharoitda quyidagicha bo'ladi.

Mavjud: kuzatishlar namunasi ( x 1 , x 2 , …, x n) orqasida tasodifiy o'zgaruvchi X. Namuna hajmi n belgilangan

Miqdorning taqsimlanish qonunining ma'lum shakli X, masalan, tarqatish zichligi shaklida f(Θ , x), Qayerda Θ – noma’lum (umuman, vektor) taqsimot parametri. Parametr tasodifiy bo'lmagan qiymatdir.

Taxminiy topish kerak Θ* parametr Θ tarqatish qonuni.

Cheklovlar: namuna vakillik hisoblanadi.

Nuqta parametrlarini baholash masalasini yechishning bir qancha usullari mavjud, ulardan eng keng tarqalgani maksimal ehtimollik, momentlar va kvantil usullaridir.

Usul 1912 yilda R. Fisher tomonidan taklif qilingan.Usul kuzatishlar namunasini olish ehtimolini o'rganishga asoslangan. (x 1 , x 2, …, x n). Bu ehtimollik teng

f(x 1, Ę) f(x 2, Ę) … f(x n, Ę) dx 1 dx 2 … dx n.

Birgalikda ehtimollik zichligi

L(x 1, x 2 ..., x n; Ę) = f(x 1, Ę) f(x 2, Ę) ... f(x n, D),(2.7)

parametrning funksiyasi sifatida qaraladi Θ , chaqirildi ehtimollik funksiyasi .

Baholash sifatida Θ* parametr Θ ehtimollik funksiyasini maksimal qiladigan qiymatni olish kerak. Bahoni topish uchun uni ehtimollik funksiyasiga almashtirish kerak T yoqilgan q va tenglamani yeching

dL/dΘ* = 0.

Hisob-kitoblarni soddalashtirish uchun biz ehtimollik funktsiyasidan uning logarifmi ln ga o'tamiz L. Bu o'zgartirish qabul qilinadi, chunki ehtimollik funktsiyasi ijobiy funktsiya bo'lib, uning logarifmi bilan bir xil nuqtada maksimalga etadi. Agar taqsimot parametri vektor miqdori bo'lsa

Θ* =(q 1, q 2, …, q n),

keyin tenglamalar tizimidan maksimal ehtimollik baholari topiladi


d ln L(q 1, q 2, …, q n) /d q 1 = 0;

d ln L(q 1, q 2, …, q n) /d q 2 = 0;

. . . . . . . . .



d ln L(q 1, q 2, …, q n) /d q n = 0.

Optimal nuqta ehtimollik funksiyasining maksimaliga mos kelishini tekshirish uchun bu funksiyaning ikkinchi hosilasini topish kerak. Va agar optimal nuqtadagi ikkinchi hosila salbiy bo'lsa, topilgan parametr qiymatlari funktsiyani maksimal darajada oshiradi.

Demak, maksimal ehtimollik baholarini topish quyidagi bosqichlarni o'z ichiga oladi: ehtimollik funksiyasini qurish (uning natural logarifmi); funksiyani kerakli parametrlarga ko‘ra differentsiallash va tenglamalar sistemasini tuzish; baholarni topish uchun tenglamalar tizimini yechish; funksiyaning ikkinchi hosilasini aniqlash, birinchi hosilaning optimal nuqtasidagi belgisini tekshirish va xulosalar chiqarish.

Yechim. Hajmining ED namunasi uchun ehtimollik funktsiyasi n

Log ehtimollik funksiyasi

Parametr baholarini topish uchun tenglamalar tizimi

Birinchi tenglamadan quyidagicha:

yoki nihoyat

Shunday qilib, o'rtacha arifmetik matematik kutish uchun maksimal ehtimollik bahosidir.

Ikkinchi tenglamadan biz topishimiz mumkin

Empirik dispersiya bir tomonlama. Ofsetni olib tashlaganingizdan so'ng

Parametr baholarining haqiqiy qiymatlari: m =27,51, s 2 = 0,91.

Olingan taxminlar ehtimollik funksiyasining qiymatini maksimal darajada oshirishini tekshirish uchun biz ikkinchi hosilalarni olamiz.

ln( funksiyaning ikkinchi hosilalari L(m,S)) parametr qiymatlari noldan kichik bo'lishidan qat'i nazar, topilgan parametr qiymatlari maksimal ehtimollik taxminidir.

Maksimal ehtimollik usuli bizga izchil, samarali (agar ular mavjud bo'lsa, natijada olingan yechim samarali baholarni beradi), etarli, asimptotik normal taqsimlangan baholarni olish imkonini beradi. Bu usul ham xolis, ham xolis baholarni ishlab chiqishi mumkin. Noqonuniylikni tuzatishlar kiritish orqali yo'q qilish mumkin. Usul, ayniqsa, kichik namunalar bilan foydalidir.