حداکثر احتمال روش حداکثر درستنمایی برای تخمین نقطه ای پارامترهای ناشناخته توزیع احتمال. ببینید "روش حداکثر احتمال" در فرهنگ های دیگر چیست

در مقالاتی که برای آشنایی اولیه با آمار ریاضی در نظر گرفته شده است، معمولاً تخمین های حداکثر احتمال (به اختصار MLE) در نظر گرفته می شود:

بنابراین، ابتدا چگالی توزیع احتمال مربوط به نمونه ساخته می شود. از آنجایی که عناصر نمونه مستقل هستند، این چگالی به عنوان حاصل ضرب چگالی برای عناصر تکی نمونه ارائه می شود. چگالی اتصال در نقطه مربوط به مقادیر مشاهده شده در نظر گرفته می شود. این عبارت به عنوان تابعی از پارامتر (برای عناصر نمونه معین) تابع احتمال نامیده می شود. سپس، به هر طریقی، مقدار پارامتری که در آن مقدار چگالی اتصال حداکثر است، جستجو می شود. این تخمین حداکثر احتمال است.

به خوبی شناخته شده است که برآوردگرهای حداکثر درستنمایی متعلق به کلاس بهترین برآوردگرهای نرمال مجانبی هستند. با این حال، با حجم نمونه محدود در تعدادی از مسائل، MLE ها غیرقابل قبول هستند، زیرا آنها بدتر هستند (واریانس و میانگین مربعات خطا بزرگتر است) از برآوردگرهای دیگر، به ویژه برآوردگرهای بی طرف. به همین دلیل است که در GOST 11.010-81 برای تخمین پارامترهای توزیع دوجمله ای منفی، از برآوردهای بی طرفانه استفاده می شود و نه MLE. با توجه به آنچه گفته شد، در صورت امکان، فقط در مرحله مطالعه رفتار مجانبی برآوردگرها، باید پیشینی MLE را به سایر انواع برآوردگرها ترجیح داد.

در برخی موارد، MLE به صراحت، در قالب فرمول های خاص مناسب برای محاسبه یافت می شود.

در بیشتر موارد، هیچ راه حل تحلیلی وجود ندارد، برای یافتن MLE، استفاده از روش های عددی ضروری است. این مورد، برای مثال، در مورد نمونه هایی از توزیع گاما یا توزیع Weibull-Gnedenko است. در بسیاری از کارها، برخی از روش‌های تکراری، سیستمی از معادلات حداکثر درستنمایی را حل می‌کنند یا مستقیماً تابع درستنمایی را به حداکثر می‌رسانند.

با این حال، برنامه روشهای عددیمشکلات متعددی را به وجود می آورد. همگرایی روش های تکراری نیاز به توجیه دارد. در تعدادی از مثال‌ها، تابع احتمال دارای ماکزیمم‌های محلی زیادی است و بنابراین رویه‌های تکراری طبیعی همگرا نمی‌شوند. برای داده های موسسه تحقیقاتی حمل و نقل ریلی روسیه در مورد آزمایش خستگی فولاد، معادله حداکثر احتمال 11 ریشه دارد. کدام یک از یازده باید به عنوان تخمین پارامتر استفاده شود؟

در نتیجه تحقق این مشکلات، کارهایی در مورد اثبات همگرایی الگوریتم‌ها برای یافتن تخمین‌های حداکثر احتمال برای مدل‌های احتمالی خاص و الگوریتم‌های خاص شروع شد.

با این حال، اثبات نظری همگرایی الگوریتم تکراری همه چیز نیست. این سوال در مورد انتخاب منطقی لحظه خاتمه محاسبات در ارتباط با دستیابی به دقت مورد نیاز مطرح می شود. در بیشتر موارد حل نشده است.

اما این همه ماجرا نیست. دقت محاسبات باید به اندازه نمونه مرتبط باشد - هرچه بزرگتر باشد، دقیق تر باید تخمین پارامترها را پیدا کرد، در غیر این صورت نمی توان در مورد سازگاری روش تخمین صحبت کرد. علاوه بر این، با افزایش حجم نمونه، لازم است تعداد ارقام مورد استفاده در رایانه افزایش یابد، از محاسبات تک دقیق به دقت دوگانه و بیشتر - مجدداً، برای دستیابی به تخمین های سازگار حرکت کنید.

بنابراین، در غیاب فرمول‌های صریح برای تخمین‌های حداکثر احتمال، یافتن MLE با تعدادی از مشکلات محاسباتی مواجه می‌شود. آماردانان ریاضی به خود اجازه می دهند که همه این مشکلات را هنگام صحبت در مورد کشتار جمعی به صورت نظری نادیده بگیرند. با این حال، آمار کاربردی نمی تواند آنها را نادیده بگیرد. مشکلات ذکر شده امکان استفاده عملی از سلاح های کشتار جمعی را زیر سوال می برد.

مثال 1در مسائل آماری استانداردسازی و کنترل کیفیت از خانواده توزیع گاما استفاده می شود. چگالی توزیع گاما شکل دارد

چگالی احتمال در فرمول (7) با سه پارامتر تعیین می شود الف، ب، ج، جایی که آ>2, ب> 0. که در آن آیک پارامتر فرم است، ب- پارامتر مقیاس و با -پارامتر شیفت عامل 1/G(a)عادی سازی است، به منظور معرفی شده است

اینجا GA)- یکی از توابع خاص مورد استفاده در ریاضیات، به اصطلاح "تابع گاما" که توزیع داده شده با فرمول (7) نیز نامگذاری شده است.

راه حل های دقیق برای مشکلات تخمین پارامترهای توزیع گاما در استاندارد دولتی GOST 11,011-83 ارائه شده توسط ما "آمار کاربردی. قوانین تعیین تخمین ها و محدودیت های اطمینان برای پارامترهای توزیع گاما. این نشریه در حال حاضر به عنوان استفاده می شود مواد روش شناختیبرای کارگران فنی و مهندسی شرکت های صنعتیو موسسات تحقیقات کاربردی

از آنجایی که توزیع گاما به سه پارامتر بستگی دارد، 2 گزینه 3 - 1 = 7 برای تنظیم مشکلات تخمین وجود دارد. آنها در جدول توضیح داده شده اند. 1. در جدول. 2 داده های واقعی را در مورد زمان کار برش ها تا حالت حد، بر حسب ساعت نشان می دهد. نمونه سفارش داده شده (سری تغییرات) حجم n= 50 از استاندارد دولتی گرفته شده است. این داده ها هستند که به عنوان منبع منبع برای نشان دادن روش های خاصی برای تخمین پارامترها عمل می کنند.

انتخاب «بهترین» برآوردها در یک مدل پارامتری خاص از آمار کاربردی، یک کار تحقیقاتی است که در طول زمان گسترش یافته است. بیایید دو مرحله را از هم تشخیص دهیم. مرحله مجانبی: تخمین ها ساخته شده و توسط خواص آنها با افزایش نامحدود در حجم نمونه مقایسه می شود. در این مرحله، ویژگی های برآوردها مانند سازگاری، کارایی مجانبی و غیره در نظر گرفته می شود. مرحله اندازه نمونه محدود:برآوردها مقایسه می شوند، مثلاً، در n= 10. واضح است که مطالعه با مرحله مجانبی شروع می شود: برای مقایسه تخمین ها ابتدا باید آنها را ساخت و از پوچ نبودن آنها مطمئن شد (چنین اطمینانی با اثبات سازگاری ارائه می شود).

مثال 2برآورد با روش گشتاورهای پارامترهای توزیع گاما در مورد سه پارامتر مجهول (خط 7 جدول 1).

مطابق با استدلال فوق، برای تخمین سه پارامتر، کافی است از سه ممان نمونه استفاده کنید - میانگین حسابی نمونه:

واریانس نمونه

و سومین لحظه مرکزی انتخابی

با معادل سازی گشتاورهای نظری بیان شده بر حسب پارامترهای توزیع و گشتاورهای نمونه، سیستم معادلات روش گشتاور را به دست می آوریم:

با حل این سیستم، تخمین هایی برای روش لحظه ها پیدا می کنیم. با جایگزینی معادله دوم به معادله سوم، تخمین روش گشتاورها را برای پارامتر شیفت بدست می آوریم:

با جایگزینی این تخمین به معادله دوم، تخمین روش گشتاورها را برای پارامتر شکل پیدا می کنیم:

در نهایت، از معادله اول، تخمینی برای پارامتر تغییر پیدا می کنیم:

برای داده های واقعی که در جدول بالا آورده شده است. 2، میانگین حسابی نمونه = 57.88، واریانس نمونه س 2 = 663.00، سومین لحظه مرکزی انتخابی متر 3 = 14927.91. با توجه به فرمول های جدید به دست آمده برای تخمین روش گشتاورها به شرح زیر است: آ* = 5,23; ب* = 11,26, ج* = - 1,01.

تخمین پارامترهای توزیع گاما به دست آمده با روش گشتاورها، توابعی از گشتاورهای نمونه هستند. مطابق با آنچه در بالا گفته شد، آنها متغیرهای تصادفی عادی مجانبی هستند. روی میز. شکل 3 تخمین روش گشتاورها و واریانس مجانبی آنها را برای ترکیب های مختلف پارامترهای شناخته شده و ناشناخته توزیع گاما نشان می دهد.

کلیه برآوردهای روش گشتاورها در جدول آورده شده است. 3، شامل استاندارد دولتی. آنها تمام تنظیمات مشکل را برای تخمین پارامترهای توزیع گاما پوشش می دهند (جدول 1 را ببینید)، به جز مواردی که فقط یک پارامتر ناشناخته است - آیا ب. برای این موارد استثنایی، روش های تخمین ویژه ای توسعه داده شده است.

از آنجایی که توزیع مجانبی تخمین های روش گشتاورها مشخص است، تدوین قوانین برای آزمایش فرضیه های آماری در مورد مقادیر پارامترهای توزیع و همچنین ایجاد محدودیت های اطمینان برای پارامترها دشوار نیست. به عنوان مثال، در یک مدل احتمالی، زمانی که هر سه پارامتر ناشناخته هستند، طبق ردیف سوم جدول 3، حد اطمینان پایین برای پارامتر آ، مربوط به احتمال اطمینان r = 0.95، به صورت مجانبی شکل دارد

و حد بالای اطمینان برای همان احتمال اطمینان است

جایی که آ* - تخمین روش گشتاورهای پارامتر شکل (جدول 3).

مثال 3بیایید GMP را برای نمونه ای از آن پیدا کنیم توزیع نرمالکه هر عنصر آن دارای چگالی است

بنابراین لازم است پارامتر دوبعدی ( متر، در 2).

حاصل ضرب چگالی احتمال برای عناصر نمونه، یعنی. تابع احتمال شکل دارد

برای حل مسئله بهینه سازی مورد نیاز است

مانند بسیاری از موارد دیگر، اگر لگاریتم تابع درستنمایی را در نظر بگیریم، حل مسئله بهینه‌سازی آسان‌تر است. برو به عملکرد

تابع log-likelihood نامیده می شود. برای نمونه ای از توزیع نرمال

شرط لازم برای ماکزیمم برابری 0 مشتق جزئی تابع لاگ درستنمایی با توجه به پارامترها است.

سیستم (10) را سیستم معادلات حداکثر درستنمایی می نامند. در حالت کلی، تعداد معادلات برابر با تعداد پارامترهای مجهول است و هر یک از معادلات با برابر کردن 0 مشتق جزئی تابع درستنمایی لگاریتمی نسبت به یک یا آن پارامتر، نوشته می شود.

هنگام تمایز توسط متردو جمله اول در سمت راست فرمول (9) به 0 تبدیل می شود و جمله آخر معادله را نشان می دهد.

بنابراین، برآورد متر* پارامتر حداکثر احتمال مترمیانگین حسابی نمونه است،

برای یافتن برآورد واریانس، حل معادله ضروری است

دیدن آن آسان است

بنابراین، تخمین (y 2) * حداکثر احتمال برای واریانس y 2، با در نظر گرفتن تخمین قبلاً یافت شده برای پارامتر مترواریانس نمونه است،

بنابراین، سیستم معادلات حداکثر درستنمایی به صورت تحلیلی حل می‌شود، MLE برای انتظارات ریاضی و واریانس توزیع نرمال، میانگین حسابی نمونه و واریانس نمونه است. توجه داشته باشید که آخرین برآورد مغرضانه است.

توجه داشته باشید که در شرایط مثال 3، برآوردهای روش حداکثر درستنمایی با برآوردهای روش گشتاورها منطبق است. علاوه بر این، شکل تخمین روش گشتاورها واضح است و نیازی به استدلال ندارد.

مثال 4بیایید سعی کنیم به معنای مخفی عبارت زیر بنیانگذار آمار مدرن، رونالد فیشر نفوذ کنیم: "هیچ چیز ساده تر از برآورد یک پارامتر نیست." کلاسیک کنایه آمیز بود: منظور او این بود که ارزیابی بد آسان است. یک تخمین خوب نیازی به اختراع ندارد (!) - باید به روشی استاندارد و با استفاده از اصل حداکثر احتمال به دست آید.

وظیفه. با توجه به H 0، انتظارات ریاضی سه متغیر تصادفی مستقل پواسون با یک رابطه خطی به هم متصل می شوند: .

تحقق این مقادیر داده شده است. لازم است دو پارامتر وابستگی خطی تخمین زده شود و H 0 بررسی شود.

برای وضوح، می توانید یک رگرسیون خطی را تصور کنید که مقادیر میانگین را در نقاط می گیرد. بگذارید مقادیر به دست آیند. در مورد مقدار و اعتبار H 0 چه می توان گفت؟

رویکرد ساده لوحانه

به نظر می رسد که ارزیابی پارامترها از عقل سلیم ابتدایی امکان پذیر است. ما شیب خط رگرسیون را با تقسیم افزایش در انتقال از x 1 \u003d -1 به x 3 \u003d + 1 بر تخمین می زنیم و تخمین مقدار را به عنوان میانگین حسابی خواهیم یافت:

به راحتی می توان بررسی کرد که انتظارات ریاضی برآوردها برابر هستند (تخمین ها بی طرف هستند).

پس از به دست آمدن تخمین ها، H 0 طبق معمول با استفاده از آزمون کای اسکوئر پیرسون آزمایش می شود:

تخمین فرکانس های مورد انتظار را می توان از تخمین ها به دست آورد:

در این حالت، اگر برآوردهای ما "درست" باشد، فاصله پیرسون به عنوان یک متغیر کای دو تصادفی با یک درجه آزادی توزیع می شود: 3-2=1. به یاد داشته باشید که ما دو پارامتر را با برازش داده ها به مدل خود ارزیابی می کنیم. در این مورد، مقدار ثابت نیست، بنابراین نیازی به کم کردن یک واحد اضافی نیست.

با این حال، با تعویض، نتیجه عجیبی دریافت می کنیم:

از یک طرف، واضح است که برای این فرکانس‌ها دلیلی برای رد H 0 وجود ندارد، اما ما نمی‌توانیم این را با استفاده از آزمون مجذور کای بررسی کنیم، زیرا برآورد فرکانس مورد انتظار در نقطه اول به نظر می‌رسد. منفی باشد بنابراین، برآوردهای یافت شده از "عقل سلیم" به ما اجازه نمی دهد که مشکل را در حالت کلی حل کنیم.

روش حداکثر احتمال

متغیرهای تصادفی مستقل هستند و توزیع پواسون دارند. احتمال بدست آوردن مقادیر:

با توجه به اصل حداکثر احتمال، مقادیر پارامترهای ناشناخته را باید جستجو کرد که مستلزم آن است که احتمال به دست آوردن مقادیر حداکثر باشد:

اگر ثابت باشد، پس با احتمال معمول سروکار داریم. فیشر یک اصطلاح جدید "احتمال" را برای مواردی پیشنهاد کرد که ثابت ها به عنوان متغیر در نظر گرفته شوند. اگر معلوم شد که احتمال حاصل ضرب احتمالات رویدادهای مستقل است، طبیعی است که حاصلضرب را به یک جمع تبدیل کنیم و به لگاریتم احتمال ادامه دهیم:

در اینجا، تمام عباراتی که به آن وابسته نیستند نشان داده شده و در عبارت نهایی کنار گذاشته می شوند. برای یافتن حداکثر احتمال ورود به سیستم، مشتقات را با صفر برابر می کنیم:

با حل این معادلات بدست می آوریم:

اینها عبارات "درست" برای برآوردها هستند. تخمین مقدار میانگین همان است که توسط عقل سلیم پیشنهاد شده است، اما برآوردها برای شیب متفاوت است: . در مورد فرمول چه می توان گفت؟

• 1) عجیب به نظر می رسد که پاسخ به فرکانس در نقطه میانی بستگی دارد، زیرا قدر زاویه خط مستقیم را تعیین می کند.
• 2) با این وجود، اگر H 0 معتبر باشد (خط رگرسیون مستقیم است)، پس چه زمانی ارزش های بزرگفرکانس های مشاهده شده، به فرکانس های خود نزدیک می شوند انتظارات ریاضی. بنابراین: و تخمین حداکثر احتمال نزدیک به نتیجه به دست آمده از عقل سلیم می شود.

3) مزایای تخمین زمانی احساس می‌شود که متوجه می‌شویم همه فرکانس‌های مورد انتظار اکنون همیشه مثبت هستند:

این مورد برای تخمین‌های «ساده‌انگیز» صدق نمی‌کند، بنابراین همیشه نمی‌توان از آزمون کای دو استفاده کرد (تلاش برای جایگزینی فرکانس منفی یا صفر مورد انتظار با یک، روز را نجات نمی‌دهد).

4) محاسبات عددی نشان می دهد که تخمین های ساده تنها در صورتی می توانند مورد استفاده قرار گیرند که فرکانس های مورد انتظار به اندازه کافی بزرگ باشند. اگر آنها در مقادیر کوچک استفاده شوند، فاصله پیرسون محاسبه شده اغلب بیش از حد بزرگ می شود.

نتیجه : انتخاب درستتخمین مهم است، زیرا در غیر این صورت امکان آزمون فرضیه با استفاده از آزمون کای اسکوئر وجود نخواهد داشت. تخمینی که بدیهی به نظر می رسد می تواند غیرقابل استفاده باشد!

متغیر تصادفی پیوسته با چگالی نوع چگالی مشخص است، اما مقادیر پارامترها ناشناخته است. تابع احتمال یک تابع است (در اینجا نمونه ای به اندازه n از توزیع متغیر تصادفی ξ). به راحتی می توان فهمید که تابع احتمال می تواند معنای احتمالی داده شود، یعنی: یک بردار تصادفی را در نظر بگیرید که اجزای آن مستقل هستند، در مجموع، متغیرهای تصادفی به طور یکسان با قانون D(x) توزیع شده اند. سپس عنصر احتمال بردار E به شکل i.e است. تابع احتمال به احتمال به دست آوردن یک نمونه ثابت در دنباله آزمایش ها مربوط می شود. حداکثر تابع احتمال را برای یک نمونه ثابت معین ارائه می دهد، یعنی پیشنهاد می شود نمونه به دست آمده در آزمایش را به عنوان محتمل ترین در نظر بگیرید. یافتن تخمین پارامترهای pj به حل سیستم k معادلات کاهش می یابد (k تعداد پارامترهای مجهول است): از آنجایی که تابع log L در همان نقطه با تابع درستنمایی دارای حداکثر است، سیستم معادلات درستنمایی (19) ) اغلب به شکل D نوشته می شود، باید جواب های سیستم (19) یا (20) را که واقعاً به نمونه بستگی دارند و ثابت نیستند، در نظر گرفت. در حالتی که £ با یک سری توزیع گسسته باشد، تابع درستنمایی را تابع می نامند و برآوردها را به عنوان راه حلی برای روش حداکثر درستنمایی یا معادل سیستم جستجو می کنند، می توان نشان داد که برآوردهای حداکثر درستنمایی دارای خاصیت سازگاری هستند. لازم به ذکر است که روش حداکثر درستنمایی منجر به محاسبات پیچیده تری نسبت به روش گشتاورها می شود، اما از نظر تئوری کارآمدتر است، زیرا تخمین های حداکثر احتمال کمتر از مقادیر واقعی پارامترهای برآورد شده انحراف دارند. روش لحظه ها برای رایج‌ترین توزیع‌ها در کاربردها، تخمین‌های پارامتر به‌دست‌آمده از روش گشتاورها و با روش حداکثر درستنمایی در بیشتر موارد منطبق هستند. پرشیر 1. انحراف (اندازه قطعه از مقدار اسمی یک متغیر تصادفی با توزیع نرمال است. تعیین خطای سیستماتیک و واریانس انحراف از نمونه الزامی است. M با شرط (- یک متغیر تصادفی با توزیع نرمال با انتظارات ریاضی (سیستماتیک) خطا) و واریانسی که باید از نمونه حجم n تخمین زده شود: X\>...yXn در این حالت، تابع درستنمایی سیستم (19) شکل دارد. تخمین حداکثر احتمال در این مورد با میانگین تجربی و واریانس که قبلاً برای ما شناخته شده است، مطابقت دارد. 4 تابع درستنمایی به شکلی است که معادله درستنمایی ما را به یک جواب منطبق با تخمین پارامتر مشابهی که با روش گشتاورها به دست می‌آید هدایت می‌کند (17). ^ مثال 3. با استفاده از روش حداکثر احتمال، احتمال ظاهر شدن یک نشان را در صورتی که نشان 8 بار در ده پرتاب یک سکه ظاهر شود، تخمین بزنید. -4 فرض کنید احتمال تخمین زده شود p باشد. یک متغیر تصادفی را در نظر بگیرید (با یک سری توزیع. تابع درستنمایی (21) به شکل روش حداکثر است. در بحث روش‌های یافتن تخمین‌ها، تأکید می‌کنیم که، حتی با حجم بسیار زیادی از داده‌های تجربی، هنوز نمی‌توانیم بگوییم ارزش دقیقاز پارامتر تخمین زده شده، علاوه بر این، همانطور که بارها اشاره شده است، تخمین هایی که دریافت می کنیم تنها به مقادیر واقعی پارامترهای تخمین زده شده نزدیک است "به طور متوسط" یا "در اکثر موارد". بنابراین، یک کار مهم آماری که در ادامه به آن خواهیم پرداخت، تعیین صحت و پایایی ارزیابی ما است.

و دیگران).

برآورد حداکثر درستنمایی یک تکنیک آماری رایج است که برای ایجاد یک مدل آماری از داده‌ها و ارائه تخمینی از پارامترهای مدل استفاده می‌شود.

با بسیاری از روش های ارزیابی شناخته شده در زمینه آمار مطابقت دارد. به عنوان مثال، فرض کنید به رشد مردم اوکراین علاقه مند هستید. فرض کنید شما داده های رشد برای تعداد معینی از افراد دارید، نه کل جمعیت. علاوه بر این، رشد به طور نرمال با واریانس و میانگین ناشناخته توزیع شده است. میانگین و واریانس رشد نمونه حداکثر احتمال نسبت به میانگین و واریانس کل جامعه است.

برای یک مجموعه داده ثابت و یک مدل احتمالی پایه، با استفاده از روش حداکثر درستنمایی، مقادیر پارامترهای مدل را به دست خواهیم آورد که داده ها را به واقعی "نزدیک" می کند. برآورد حداکثر احتمال یک راه منحصر به فرد و آسان برای تعیین راه حل ها در مورد توزیع نرمال فراهم می کند.

روش برآورد حداکثر درستنمایی برای طیف وسیعی از مدل‌های آماری از جمله:

• مدل های خطی و مدل های خطی تعمیم یافته.
• تحلیل عاملی؛
• مدل سازی معادلات ساختاری;
• بسیاری از موقعیت ها، تحت آزمون فرضیه و تشکیل فاصله اطمینان.
• مدل های گسسته انتخابی

ماهیت روش

تماس گرفت برآورد حداکثر احتمالپارامتر . بنابراین، برآوردگر حداکثر درستنمایی، برآورد کننده ای است که تابع احتمال را برای اجرای نمونه گیری ثابت به حداکثر می رساند.

اغلب به جای تابع درستنمایی از تابع log-likelihood استفاده می شود. از آنجایی که تابع در کل دامنه تعریف به طور یکنواخت در حال افزایش است، حداکثر هر تابع حداکثر تابع است و بالعکس. بدین ترتیب

,

اگر تابع درستنمایی قابل تمایز باشد، شرط لازم برای اکستروم، برابری گرادیان آن به صفر است:

شرط افراطی کافی را می توان به عنوان قطعیت منفی هسین - ماتریس مشتقات دوم فرموله کرد:

برای ارزیابی ویژگی‌های تخمین‌های روش حداکثر درست‌نمایی، به اصطلاح ماتریس اطلاعات مهم است که طبق تعریف برابر است:

در نقطه بهینه، ماتریس اطلاعات منطبق بر انتظار هسین است که با علامت منفی گرفته شده است:

خواص

• برآوردهای حداکثر احتمال، به طور کلی، می توانند جانبدارانه باشند (به مثال ها مراجعه کنید)، اما سازگار هستند. مجانبی کارآمد و مجانبی طبیعی استرتبه بندی ها نرمال مجانبی به این معنی است

ماتریس اطلاعات مجانبی کجاست

کارایی مجانبی به این معنی است که ماتریس کوواریانس مجانبی حد پایینی برای همه برآوردگرهای عادی مجانبی ثابت است.

مثال ها

آخرین برابری را می توان به صورت زیر بازنویسی کرد:

جایی که نشان می دهد که تابع درستنمایی در نقطه به حداکثر می رسد. بدین ترتیب

. .

برای یافتن حداکثر آن، مشتقات جزئی را با صفر برابر می کنیم:

میانگین نمونه است و واریانس نمونه است.

روش حداکثر درستنمایی مشروط

روش حداکثر درستنمایی شرطی (ML شرطی)در مدل های رگرسیون استفاده می شود. ماهیت روش این است که از توزیع مشترک کامل همه متغیرها (وابسته و رگرسیون) استفاده نمی کند، بلکه فقط مشروطتوزیع متغیر وابسته بر روی عوامل، یعنی در واقع توزیع خطاهای تصادفی مدل رگرسیون. تابع درستنمایی کل حاصل ضرب «تابع احتمال شرطی» و چگالی توزیع عوامل است. MMP شرطی معادل نسخه کامل MMP در مواردی است که توزیع عوامل به هیچ وجه به پارامترهای تخمین زده شده بستگی ندارد. این شرط اغلب در مدل های سری زمانی، مانند مدل اتورگرسیو، نقض می شود. در این حالت، رگرسیون ها مقادیر گذشته متغیر وابسته هستند، به این معنی که مقادیر آنها نیز از همان مدل AR تبعیت می کند، یعنی توزیع رگرسیورها به پارامترهای برآورد شده بستگی دارد. در چنین مواردی، نتایج به‌کارگیری روش‌های حداکثر درست‌نمایی مشروط و کامل، متفاوت خواهد بود.

همچنین ببینید

یادداشت

ادبیات

• Magnus Ya.R.، Katyshev P.K.، Peresetsky A.A.اقتصاد سنجی. شروع دوره. - م .: دلو، 2007. - 504 ص. - شابک 978-5-7749-0473-0

بنیاد ویکی مدیا 2010 .

ببینید «روش حداکثر احتمال» در فرهنگ‌های دیگر چیست:

روش حداکثر احتمال- - روش حداکثر درستنمایی در آمار ریاضی روشی برای تخمین پارامترهای توزیع بر اساس حداکثر کردن تابع درستنمایی به اصطلاح ... ...

روش تخمین از نمونه ای از پارامترهای ناشناخته تابع توزیع F(s؛ α1،...، αs)، که α1، ...، αs پارامترهای ناشناخته هستند. اگر نمونه ای از n مشاهدات به r گروه های غیر همپوشانی تقسیم شود s1,…, sr; р1,..., pr…… دایره المعارف زمین شناسی

روش حداکثر احتمال- در آمار ریاضی، روشی برای تخمین پارامترهای توزیع بر اساس حداکثر کردن تابع درستنمایی (تراکم احتمال مشترک مشاهدات در مقادیر تشکیل دهنده ... ... فرهنگ لغت اقتصادی و ریاضی

روش حداکثر احتمال- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. روش حداکثر احتمال vok. Methode der maksimalen Mutmaßlichkeit, f rus. روش حداکثر احتمال، m pranc. روش حداکثر سرعت، f;… … پایان خودکار

روش حداکثر درستنمایی پاسخ جزئی- روش تشخیص سیگنال Viterbi که حداقل سطح اعوجاج بین نمادی را تضمین می کند. همچنین ببینید الگوریتم ویتربی [L.M. نودیایف. فناوری های مخابراتی انگلیسی روسی فرهنگ لغتفهرست راهنما. تحت سردبیری Yu.M ... کتابچه راهنمای مترجم فنی

توالی یاب حداکثر احتمال- وسیله ای برای محاسبه تخمین محتمل ترین دنباله نمادها که تابع احتمال سیگنال دریافتی را به حداکثر می رساند. [L.M. نودیایف. فناوری های مخابراتی کتاب مرجع فرهنگ لغت توضیحی انگلیسی روسی. تحت سردبیری Yu.M ... کتابچه راهنمای مترجم فنی

روش حداکثر احتمال- روش حداکثر درستنمایی - [L.G. Sumenko. فرهنگ لغت انگلیسی روسی فناوری اطلاعات. M .: GP TsNIIS، 2003.] موضوعات فناوری اطلاعات به طور کلی مترادف روش حداکثر احتمال EN روش حداکثر احتمال ... کتابچه راهنمای مترجم فنی

این روش شامل در نظر گرفتن مقدار پارامتری است که در آن تابع درستنمایی به حداکثر می رسد.

برای زمان تصادفی تا شکست با چگالی احتمال f(t, )، تابع احتمال توسط فرمول 12.11 داده شده است: ، یعنی چگالی احتمال مشترک اندازه گیری های مستقل متغیر تصادفی τ با چگالی احتمال است. f(t, ).

اگر متغیر تصادفی گسسته باشد و مقادیر را بگیرد Z1، Z2...، به ترتیب، با احتمالات P 1 (α)، P 2 (α)…،، سپس تابع درستنمایی به شکل دیگری گرفته می شود، یعنی: ، که در آن شاخص های احتمالات نشان می دهد که مقادیر مشاهده شده است.

برآوردهای حداکثر درستنمایی پارامتر از معادله درستنمایی (12.12) تعیین می شود.

ارزش روش حداکثر درستنمایی با دو فرض زیر مشخص می شود:

اگر تخمین موثری برای پارامتر وجود داشته باشد، معادله احتمال (12.12) یک راه حل منحصر به فرد دارد.

تحت برخی شرایط تحلیلی کلی که بر توابع تحمیل شده است f (t, )حل معادله احتمال به مقدار واقعی پارامتر همگرا می شود.

مثالی از استفاده از روش حداکثر درستنمایی برای پارامترهای توزیع نرمال را در نظر بگیرید.

مثال:

ما داریم: , , t i (i=1..N)نمونه از جمعیت با تراکم توزیع.

برای یافتن تخمینی از حداکثر شباهت لازم است.

تابع احتمال: ;

.

معادلات احتمال: ;

;

حل این معادلات به شکل زیر است: - میانگین آماری; - پراکندگی آماری برآورد مغرضانه است. برآورد بی طرفانه این است: .

عیب اصلی روش حداکثر درستنمایی، مشکلات محاسباتی است که هنگام حل معادلات احتمال ایجاد می شود، که به عنوان یک قاعده، ماورایی هستند.

روش لحظه ای

این روش توسط K. Pearson پیشنهاد شده است و اولین روش کلی برای تخمین نقطه ای پارامترهای مجهول است. هنوز به طور گسترده در آمارهای عملی استفاده می شود، زیرا اغلب به یک روش محاسباتی نسبتاً ساده منجر می شود. ایده این روش این است که گشتاورهای توزیع بسته به پارامترهای ناشناخته با گشتاورهای تجربی برابری می‌کنند. با در نظر گرفتن تعداد لحظه ها برابر با تعداد پارامترهای مجهول و جمع آوری معادلات مناسب، تعداد معادلات مورد نیاز را به دست می آوریم. اغلب، دو لحظه آماری اول محاسبه می شود: میانگین نمونه; و واریانس نمونه . برآوردهای به دست آمده با استفاده از روش گشتاورها از نظر کارایی بهترین نیستند. با این حال، اغلب آنها به عنوان تقریب اول استفاده می شوند.

مثالی از استفاده از روش لحظه ها را در نظر بگیرید.

مثال: توزیع نمایی را در نظر بگیرید:

t>0; λ<0; t i (i=1..N) نمونه ای از جامعه با تراکم توزیع است. لازم است تخمینی برای پارامتر λ پیدا کنید.

معادله می سازیم: . بنابراین، در غیر این صورت.

روش چندکی

این همان روش تجربی است که روش لحظه هاست. این شامل این واقعیت است که کمیت توزیع نظری با کمیت تجربی برابر است. اگر قرار باشد چندین پارامتر ارزیابی شوند، آنگاه برابری های مربوطه برای چند کمیت نوشته می شود.

موردی را در نظر بگیرید که قانون توزیع F(t، α، β)با دو پارامتر ناشناخته α, β . اجازه دهید تابع F(t، α، β) دارای چگالی قابل تمایز پیوسته است که مقادیر مثبتی برای هر مقدار ممکن پارامترها دارد. α, β. اگر آزمایشات طبق برنامه انجام شود ، r>>1، سپس لحظه ظهور شکست -ام را می توان به عنوان یک کمیت تجربی از سطح در نظر گرفت. i=1،2… , - تابع توزیع تجربی اگر t lو تی r - لحظات وقوع خرابی های l و r به طور دقیق مشخص است، مقادیر پارامترها α و β می توان از معادلات پیدا کرد

اصل مسئله تخمین نقطه ای پارامترها

تخمین نقطه ای پارامترهای توزیع

تخمین نقطه ای شامل یافتن یک مقدار عددی واحد است که به عنوان مقدار پارامتر در نظر گرفته می شود. در مواردی که حجم ED به اندازه کافی بزرگ است، توصیه می شود چنین ارزیابی را تعیین کنید. علاوه بر این، هیچ مفهوم واحدی از حجم کافی ED وجود ندارد، مقدار آن به نوع پارامتر تخمین زده شده بستگی دارد (هنگام مطالعه روش های تخمین فاصله پارامترها به این موضوع باز خواهیم گشت و ابتدا نمونه ای حاوی حداقل 10 مقدار کافی است). با حجم کمی از ED، تخمین نقطه می تواند به طور قابل توجهی با مقادیر واقعی پارامترها متفاوت باشد، که آنها را برای استفاده نامناسب می کند.

مشکل تخمین پارامتر نقطه در یک تنظیمات معمولی به شرح زیر است.

موجود: نمونه مشاهدات ( x 1، x 2، …، x n) پشت متغیر تصادفی ایکس. اندازهی نمونه nدرست شد.

شکل قانون توزیع کمیت مشخص است ایکسبه عنوان مثال، به شکل چگالی توزیع f(Θ ، ایکس)،جایی که Θ یک پارامتر توزیع ناشناخته (به طور کلی بردار) است. پارامتر یک مقدار غیر تصادفی است.

باید تخمینی پیدا کرد Θ* پارامتر Θ قانون توزیع

محدودیت ها: نمونه نماینده است.

روش‌های مختلفی برای حل مسئله تخمین نقطه‌ای پارامترها وجود دارد که رایج‌ترین آنها روش‌های حداکثر (حداکثر) احتمال، گشتاورها و چندک‌ها هستند.

این روش توسط R. Fisher در سال 1912 پیشنهاد شد. این روش بر اساس مطالعه احتمال به دست آوردن یک نمونه از مشاهدات است. (x 1، x 2، …، x n). این احتمال است

f(x 1، Θ) f(x 2، Θ) ... f(x p، Θ) dx 1 dx 2 ... dx n.

چگالی احتمال مشترک

L (x 1، x 2 ...، x n؛ Θ) \u003d f (x 1، Θ) f (x 2، Θ) ... f (x n، Θ)،(2.7)

به عنوان تابعی از پارامتر در نظر گرفته می شود Θ ، نامیده میشود تابع احتمال .

به عنوان یک تخمین Θ* پارامتر Θ مقداری را بگیرید که تابع احتمال را به حداکثر می رساند. برای یافتن برآورد، لازم است تابع درستنمایی جایگزین شود تیبر qو معادله را حل کنید

دسی لیتر در روزΘ* = 0.

برای ساده کردن محاسبات، از تابع درستنمایی به لگاریتم ln آن عبور می کنیم L. این تبدیل معتبر است زیرا تابع درستنمایی یک تابع مثبت است و در همان نقطه لگاریتم خود به حداکثر می رسد. اگر پارامتر توزیع یک کمیت برداری باشد

Θ* =(q 1، q 2، ...، q n)،

سپس حداکثر احتمال از سیستم معادلات بدست می آید

d ln L(q 1، q 2، ...، q n) /d q 1 = 0;

d ln L(q 1، q 2، ...، q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1، q 2، ...، q n) /d q n = 0.

برای بررسی اینکه نقطه بهینه با حداکثر تابع درستنمایی مطابقت دارد، باید مشتق دوم این تابع را پیدا کرد. و اگر مشتق دوم در نقطه بهینه منفی باشد، مقادیر یافت شده پارامترها تابع را به حداکثر می رساند.

بنابراین، یافتن برآوردهای حداکثر درستنمایی شامل مراحل زیر است: ساخت تابع درستنمایی (لگاریتم طبیعی آن). تمایز تابع با توجه به پارامترهای مورد نیاز و تدوین یک سیستم معادلات. حل یک سیستم معادلات برای یافتن تخمین. تعیین مشتق دوم تابع، بررسی علامت آن در نقطه بهینه مشتق اول و نتیجه گیری.

راه حل.تابع احتمال برای حجم نمونه ED n

تابع احتمال ورود به سیستم

سیستم معادلات برای یافتن تخمین پارامترها

از معادله اول به شرح زیر است:

یا در نهایت

بنابراین، میانگین حسابی حداکثر برآورد احتمال برای مقدار مورد انتظار است.

از معادله دوم می توانید پیدا کنید

واریانس تجربی سوگیری دارد. پس از حذف افست

مقادیر واقعی تخمین پارامترها: متر =27,51, s2 = 0,91.

برای بررسی اینکه تخمین‌های به‌دست‌آمده مقدار تابع درستنمایی را به حداکثر می‌رسانند، مشتق‌های دوم را می‌گیریم.

مشتقات دوم ln( L(m,S)) صرف نظر از مقادیر پارامتر کمتر از صفر، بنابراین، مقادیر پارامترهای یافت شده تخمین حداکثر احتمال هستند.

روش حداکثر درستنمایی امکان به دست آوردن یکسان، کارآمد (در صورت وجود، پس راه حل حاصل تخمین های کارآمد را ارائه می دهد)، تخمین های کافی و مجانبی توزیع شده معمولی را ممکن می سازد. این روش می تواند هم تخمین های مغرضانه و هم بی طرفانه ارائه دهد. تغییر را می توان با انجام اصلاحات حذف کرد. این روش به ویژه برای نمونه های کوچک مفید است.