Maximale Wahrscheinlichkeit. Maximum-Likelihood-Methode zur Punktschätzung unbekannter Parameter von Wahrscheinlichkeitsverteilungen. Sehen Sie in anderen Wörterbüchern nach, was die „Maximum-Likelihood-Methode“ ist

In Arbeiten, die zum ersten Kennenlernen der mathematischen Statistik gedacht sind, betrachtet man meist Maximum-Likelihood-Schätzungen (kurz MLE):

Somit wird zuerst die der Stichprobe entsprechende Wahrkonstruiert. Da die Elemente der Probe unabhängig voneinander sind, wird diese Dichte als Produkt der Dichten für die einzelnen Elemente der Probe dargestellt. Die Fugendichte wird an dem Punkt berücksichtigt, der den beobachteten Werten entspricht. Dieser Ausdruck als Funktion des Parameters (für gegebene Stichprobenelemente) wird als Wahrscheinlichkeitsfunktion bezeichnet. Dann wird auf die eine oder andere Weise nach dem Wert des Parameters gesucht, bei dem der Wert der Fugendichte maximal ist. Dies ist die Maximum-Likelihood-Schätzung.

Es ist allgemein bekannt, dass Maximum-Likelihood-Schätzer zur Klasse der besten asymptotisch normalen Schätzer gehören. Bei endlichen Stichprobengrößen bei einer Reihe von Problemen sind MLEs jedoch nicht akzeptabel, da sie sind schlechter (Varianz und mittlerer quadratischer Fehler sind größer) als andere Schätzer, insbesondere unverzerrte. Aus diesem Grund werden in GOST 11.010-81 zur Schätzung der Parameter der negativen Binomialverteilung unverzerrte Schätzungen und nicht MLE verwendet. Nach dem Gesagten sollte man den MLE a priori anderen Arten von Schätzern vorziehen, wenn möglich erst in der Phase der Untersuchung des asymptotischen Verhaltens der Schätzer.

In einigen Fällen werden die MLE explizit in Form spezifischer Formeln gefunden, die zur Berechnung geeignet sind.

In den meisten Fällen gibt es keine analytischen Lösungen, um die MLE zu finden, müssen numerische Methoden angewendet werden. Dies ist beispielsweise bei Stichproben aus der Gamma-Verteilung oder der Weibull-Gnedenko-Verteilung der Fall. In vielen Arbeiten löst ein iteratives Verfahren ein System von Maximum-Likelihood-Gleichungen oder maximiert direkt die Likelihood-Funktion.

Allerdings die Anwendung Numerische Methoden führt zu zahlreichen Problemen. Die Konvergenz iterativer Verfahren bedarf der Begründung. In einer Reihe von Beispielen hat die Wahrscheinlichkeitsfunktion viele lokale Maxima, und daher konvergieren die natürlichen iterativen Verfahren nicht. Für Daten des Allrussischen Forschungsinstituts für Eisenbahntransport zur Ermüdungsprüfung von Stahl hat die Maximum-Likelihood-Gleichung 11 Wurzeln. Welche der elf sollte als Parameterschätzung verwendet werden?

Als Ergebnis der Erkenntnis dieser Schwierigkeiten begannen Arbeiten zum Beweis der Konvergenz von Algorithmen zum Auffinden von Maximum-Likelihood-Schätzungen für bestimmte probabilistische Modelle und bestimmte Algorithmen zu erscheinen.

Der theoretische Beweis der Konvergenz des iterativen Algorithmus ist jedoch nicht alles. Es stellt sich die Frage nach der angemessenen Wahl des Zeitpunkts der Beendigung der Berechnungen im Zusammenhang mit der Erreichung der erforderlichen Genauigkeit. In den meisten Fällen wurde es nicht gelöst.

Aber das ist nicht alles. Die Genauigkeit der Berechnungen muss mit der Stichprobengröße verknüpft sein – je größer sie ist, desto genauer müssen Parameterschätzungen gefunden werden, da sonst keine Aussage über die Konsistenz der Schätzmethode getroffen werden kann. Darüber hinaus ist es mit zunehmender Stichprobengröße erforderlich, die Anzahl der im Computer verwendeten Ziffern zu erhöhen, von Berechnungen mit einfacher Genauigkeit auf Berechnungen mit doppelter Genauigkeit und weiter umzustellen – wiederum, um konsistente Schätzungen zu erzielen.

In Ermangelung expliziter Formeln für Maximum-Likelihood-Schätzungen stößt das Auffinden des MLE daher auf eine Reihe von Rechenproblemen. Mathematische Statistiker erlauben sich, all diese Probleme zu ignorieren, wenn sie theoretisch über Massenvernichtungswaffen sprechen. Angewandte Statistiken können sie jedoch nicht ignorieren. Die festgestellten Probleme stellen die Durchführbarkeit des praktischen Einsatzes von Massenvernichtungswaffen in Frage.

Beispiel 1 Bei statistischen Problemen der Standardisierung und Qualitätskontrolle wird eine Familie von Gammaverteilungen verwendet. Die Dichte der Gammaverteilung hat die Form

Die Wahrscheinlichkeitsdichte in Formel (7) wird durch drei Parameter bestimmt a, b, c, Wo A>2, B>0. Dabei A ist ein Formularparameter, B- Skalenparameter und Mit - Verschiebungsparameter. Faktor 1/G(a) ist eine Normalisierung, wird sie eingeführt, um

Hier G(a)- eine der in der Mathematik verwendeten Sonderfunktionen, die sogenannte "Gamma-Funktion", mit der auch die durch Formel (7) gegebene Verteilung bezeichnet wird,

Detaillierte Lösungen zu den Problemen der Schätzung von Parametern für die Gammaverteilung sind in der von uns entwickelten staatlichen Norm GOST 11.011-83 „Angewandte Statistik. Regeln zur Bestimmung von Schätzungen und Vertrauensgrenzen für Gammaverteilungsparameter. Diese Veröffentlichung wird derzeit als verwendet methodisches Material für Ingenieure und Techniker Industrieunternehmen und angewandte Forschungsinstitute.

Da die Gammaverteilung von drei Parametern abhängt, gibt es 2 3 - 1 = 7 Möglichkeiten zur Einstellung der Schätzprobleme. Sie sind in Tabelle beschrieben. 1. In der Tabelle. 2 zeigt reale Daten über die Betriebszeit von Fräsern bis zum Grenzzustand in Stunden. Bestelltes Muster (Variationsserie) des Volumens N= 50 wird dem staatlichen Standard entnommen. Diese Daten dienen als Ausgangsmaterial für die Demonstration bestimmter Methoden zur Schätzung von Parametern.

Die Auswahl der „besten“ Schätzungen in einem bestimmten parametrischen Modell der angewandten Statistik ist eine zeitlich ausgedehnte Forschungsarbeit. Unterscheiden wir zwei Stadien. Asymptotisches Stadium: Schätzungen werden anhand ihrer Eigenschaften erstellt und verglichen, wobei die Stichprobengröße unbegrenzt erhöht wird. In diesem Stadium werden solche Eigenschaften von Schätzungen wie Konsistenz, asymptotische Effizienz usw. berücksichtigt. Phase endlicher Stichprobengrößen: Schätzungen werden verglichen, sagen wir, bei N= 10. Es ist klar, dass die Studie mit dem Stadium der Asymptotik beginnt: Um Schätzungen vergleichen zu können, muss man sie zuerst konstruieren und sich vergewissern, dass sie nicht absurd sind (dieses Vertrauen wird durch den Konsistenzbeweis geliefert).

Beispiel 2 Schätzung nach der Momentenmethode der Parameter der Gammaverteilung bei drei unbekannten Parametern (Zeile 7 von Tabelle 1).

In Übereinstimmung mit der obigen Argumentation reicht es aus, drei Stichprobenmomente zu verwenden, um die drei Parameter zu schätzen - das arithmetische Mittel der Stichprobe:

Stichprobenvarianz

und ein selektives drittes zentrales Moment

Durch Gleichsetzen der theoretischen Momente, ausgedrückt durch die Verteilungsparameter, und der Stichprobenmomente erhalten wir das Gleichungssystem der Momentenmethode:

Beim Lösen dieses Systems finden wir Abschätzungen für die Methode der Momente. Durch Einsetzen der zweiten Gleichung in die dritte erhalten wir die Schätzung der Momentenmethode für den Verschiebungsparameter:

Setzen wir diese Schätzung in die zweite Gleichung ein, finden wir die Schätzung der Momentenmethode für den Formparameter:

Schließlich finden wir aus der ersten Gleichung eine Schätzung für den Verschiebungsparameter:

Für reale Daten, die oben in Tabelle angegeben sind. 2, arithmetisches Mittel der Stichprobe = 57,88, Stichprobenvarianz S 2 = 663,00, selektives drittes zentrales Moment M 3 = 14927,91. Nach den neu erhaltenen Formeln zur Schätzung der Momentenmethode lauten sie wie folgt: A* = 5,23; B* = 11,26, C* = - 1,01.

Die durch die Momentenmethode erhaltenen Schätzungen der Parameter der Gammaverteilung sind Funktionen der Stichprobenmomente. Sie sind gemäß dem oben Gesagten asymptotisch normale Zufallsvariablen. Im Tisch. Abbildung 3 zeigt die Schätzungen der Momentenmethode und ihre asymptotischen Varianzen für verschiedene Kombinationen bekannter und unbekannter Parameter der Gammaverteilung.

Alle Schätzungen der Momentenmethode sind in der Tabelle angegeben. 3, enthalten in staatliche Norm. Sie decken alle Problemstellungen zur Schätzung der Parameter der Gammaverteilung ab (siehe Tabelle 1), außer wenn nur ein Parameter unbekannt ist - A oder B. Für diese Ausnahmefälle wurden spezielle Schätzverfahren entwickelt.

Da die asymptotische Verteilung der Schätzungen der Momentenmethode bekannt ist, ist es nicht schwierig, die Regeln zum Testen statistischer Hypothesen in Bezug auf die Werte der Verteilungsparameter zu formulieren und Vertrauensgrenzen für die Parameter zu konstruieren. Wenn beispielsweise in einem probabilistischen Modell alle drei Parameter unbekannt sind, gemäß der dritten Zeile von Tabelle 3 die untere Konfidenzgrenze für den Parameter A, entsprechend der Konfidenzwahrscheinlichkeit r = 0,95, hat asymptotisch die Form

und die obere Vertrauensgrenze für die gleiche Vertrauenswahrscheinlichkeit ist

Wo A* - Schätzung der Methode der Momente des Formparameters (Tabelle 3).

Beispiel 3 Lassen Sie uns die GMP für eine Probe ausfindig machen Normalverteilung, von denen jedes Element eine Dichte hat

Daher ist es notwendig, den zweidimensionalen Parameter ( M, um 2).

Das Produkt der Wahrscheinlichkeitsdichten für die Stichprobenelemente, d. h. die Wahrscheinlichkeitsfunktion hat die Form

Es ist erforderlich, um das Optimierungsproblem zu lösen

Wie in vielen anderen Fällen ist das Optimierungsproblem einfacher zu lösen, wenn wir die Likelihood-Funktion logarithmieren, d.h. gehe zur Funktion

wird Log-Likelihood-Funktion genannt. Für eine Stichprobe aus einer Normalverteilung

Die notwendige Bedingung für das Maximum ist die Gleichheit von 0 partiellen Ableitungen der Log-Likelihood-Funktion bezüglich der Parameter, d.h.

Das System (10) wird das System der Maximum-Likelihood-Gleichungen genannt. Im allgemeinen Fall ist die Anzahl der Gleichungen gleich der Anzahl der unbekannten Parameter, und jede der Gleichungen wird ausgeschrieben, indem die partielle Ableitung der logarithmischen Wahrscheinlichkeitsfunktion in Bezug auf den einen oder anderen Parameter mit 0 gleichgesetzt wird.

Bei der Differenzierung nach M die ersten beiden Terme auf der rechten Seite von Formel (9) werden zu 0, und der letzte Term ergibt die Gleichung

Daher die Schätzung M* Maximum-Likelihood-Parameter M ist das arithmetische Mittel der Stichprobe,

Um die Varianzschätzung zu finden, ist es notwendig, die Gleichung zu lösen

Das ist leicht zu sehen

Daher ist die Schätzung (y 2)* der maximalen Wahrscheinlichkeit für die Varianz von y 2 unter Berücksichtigung der zuvor gefundenen Schätzung für den Parameter M ist die Stichprobenvarianz,

Das System der Maximum-Likelihood-Gleichungen wird also analytisch gelöst, die MLE für den mathematischen Erwartungswert und die Varianz der Normalverteilung ist das arithmetische Mittel der Stichprobe und die Stichprobenvarianz. Beachten Sie, dass die letzte Schätzung verzerrt ist.

Beachten Sie, dass unter den Bedingungen von Beispiel 3 die Schätzungen der Maximum-Likelihood-Methode mit den Schätzungen der Momentenmethode übereinstimmen. Darüber hinaus ist die Form der Schätzungen der Momentenmethode offensichtlich und erfordert keine Begründung.

Beispiel 4 Versuchen wir, in die geheime Bedeutung des folgenden Satzes des Begründers der modernen Statistik, Ronald Fisher, einzudringen: "Es gibt nichts Einfacheres, als eine Schätzung eines Parameters zu finden." Der Klassiker war ironisch: Er meinte, dass es leicht ist, zu einer schlechten Bewertung zu kommen. Eine gute Schätzung muss nicht erfunden (!) werden – sie muss auf standardisierte Weise nach dem Maximum-Likelihood-Prinzip ermittelt werden.

Aufgabe. Nach H 0 sind die mathematischen Erwartungen dreier unabhängiger Poisson-Zufallsvariablen durch eine lineare Beziehung verbunden: .

Realisierungen dieser Größen sind angegeben. Es ist erforderlich, zwei Parameter der linearen Abhängigkeit zu schätzen und H 0 zu prüfen.

Zur Verdeutlichung kann man sich eine lineare Regression vorstellen, die die Mittelwerte an den Punkten nimmt. Lassen Sie die Werte erhalten. Was kann über den Wert und die Gültigkeit von H 0 gesagt werden?

Naiver Ansatz

Es scheint, dass es möglich ist, die Parameter mit elementarem gesunden Menschenverstand zu bewerten. Wir schätzen die Steigung der Regressionslinie, indem wir das Inkrement beim Übergang von x 1 \u003d -1 zu x 3 \u003d + 1 dividieren, und wir finden die Wertschätzung als arithmetisches Mittel:

Es ist leicht zu überprüfen, ob die mathematischen Erwartungen der Schätzungen gleich sind (die Schätzungen sind unvoreingenommen).

Nachdem die Schätzungen erhalten wurden, wird H 0 wie üblich mit dem Chi-Quadrat-Test von Pearson getestet:

Schätzungen der erwarteten Häufigkeiten können den Schätzungen entnommen werden:

Wenn unsere Schätzungen „korrekt“ sind, wird in diesem Fall die Pearson-Distanz als zufällige Chi-Quadrat-Variable mit einem Freiheitsgrad verteilt: 3-2=1. Denken Sie daran, dass wir zwei Parameter auswerten, indem wir die Daten an unser Modell anpassen. In diesem Fall ist der Betrag nicht festgelegt, sodass keine zusätzliche Einheit abgezogen werden muss.

Beim Ersetzen erhalten wir jedoch ein seltsames Ergebnis:

Einerseits ist klar, dass es für diese Häufigkeiten keinen Grund gibt, H 0 abzulehnen, aber wir können dies nicht mit dem Chi-Quadrat-Test überprüfen, da die Schätzung der erwarteten Häufigkeit am ersten Punkt ausfällt negativ sein. Die vom „gesunden Menschenverstand“ gefundenen Schätzungen erlauben es uns also nicht, das Problem im allgemeinen Fall zu lösen.

Maximum-Likelihood-Methode

Zufallsvariablen sind unabhängig und haben eine Poisson-Verteilung. Die Wahrscheinlichkeit, Werte zu erhalten, ist:

Nach dem Prinzip der maximalen Wahrscheinlichkeit müssen die Werte unbekannter Parameter gesucht werden, was erfordert, dass die Wahrscheinlichkeit, die Werte zu erhalten, maximal ist:

Wenn konstant, dann haben wir es mit der üblichen Wahrscheinlichkeit zu tun. Fisher schlug einen neuen Begriff „Wahrscheinlichkeit“ für den Fall vor, dass Konstanten als Variablen betrachtet werden. Entpuppt sich die Wahrscheinlichkeit als Produkt der Wahrscheinlichkeiten unabhängiger Ereignisse, dann liegt es nahe, das Produkt in eine Summe umzuwandeln und sich weiterhin mit dem Logarithmus der Wahrscheinlichkeit zu beschäftigen:

Hier werden alle Terme, die nicht von abhängen, bezeichnet und im endgültigen Ausdruck verworfen. Um die maximale Log-Wahrscheinlichkeit zu finden, setzen wir die Ableitungen in Bezug auf Null gleich:

Lösen wir diese Gleichungen, erhalten wir:

Dies sind die „richtigen“ Ausdrücke für Schätzungen. Die Schätzung des Mittelwerts ist die gleiche wie die des gesunden Menschenverstandes, aber die Schätzungen für die Steigung unterscheiden sich: . Was lässt sich über die Formel für sagen?

1) Es scheint seltsam, dass die Antwort von der Frequenz im Mittelpunkt abhängt, da die Größe den Winkel der Geraden bestimmt.
2) Trotzdem, wenn H 0 gültig ist (die Regressionsgerade ist gerade), wann dann große Werte beobachteten Frequenzen nähern sie sich ihren eigenen mathematische Erwartung. Daher gilt: , und die Maximum-Likelihood-Schätzung nähert sich dem Ergebnis des gesunden Menschenverstands.

3) Die Vorteile der Schätzung beginnen sich zu bemerkbar zu machen, wenn wir feststellen, dass sich nun alle erwarteten Häufigkeiten als immer positiv herausstellen:

Bei „naiven“ Schätzungen war dies nicht der Fall, daher war es nicht immer möglich, den Chi-Quadrat-Test anzuwenden (ein Versuch, eine negative oder null erwartete Häufigkeit durch eine zu ersetzen, rettet die Situation nicht).

4) Numerische Berechnungen zeigen, dass naive Schätzungen nur verwendet werden können, wenn die erwarteten Häufigkeiten groß genug sind. Wenn sie mit kleinen Werten verwendet werden, wird die berechnete Pearson-Distanz oft zu groß ausfallen.

Abschluss : Richtige Wahl Die Schätzung ist wichtig, da es sonst nicht möglich ist, die Hypothese mit dem Chi-Quadrat-Test zu testen. Eine scheinbar offensichtliche Schätzung kann unbrauchbar sein!

stetige Zufallsvariable mit Dichte Die Art der Dichte ist bekannt, aber die Werte der Parameter sind unbekannt Die Likelihood-Funktion ist eine Funktion (hier eine Stichprobe der Größe n aus der Verteilung einer Zufallsvariablen ξ). Es ist leicht einzusehen, dass der Wahrscheinlichkeitsfunktion eine probabilistische Bedeutung gegeben werden kann, nämlich: Betrachten Sie einen Zufallsvektor, dessen Komponenten unabhängige, insgesamt identisch verteilte Zufallsvariablen mit dem Gesetz D(x) sind. Dann hat das Wahrscheinlichkeitselement des Vektors E die Form, d.h. die Likelihood-Funktion bezieht sich auf die Wahrscheinlichkeit, eine feste Stichprobe in der Folge von Experimenten P zu erhalten. Die Hauptidee der Likelihood-Methode besteht darin, dass vorgeschlagen wird, als Schätzungen der Parameter A solche Werte (3) zu nehmen Geben Sie die Maximum-Likelihood-Funktion für eine gegebene feste Stichprobe an, d. h. es wird vorgeschlagen, die im Experiment erhaltene Stichprobe als die wahrscheinlichste zu betrachten. Das Finden der Schätzwerte der Parameter pj reduziert sich auf das Lösen des Gleichungssystems k (k ist die Anzahl der unbekannten Parameter): Da die log L-Funktion am selben Punkt wie die Likelihood-Funktion ein Maximum hat, ist das System der Likelihood-Gleichungen (19 ) oft in der Form D geschrieben wird, sollte man Lösungen von System (19) oder (20) nehmen, die wirklich von der Probe abhängen und nicht konstant sind. In dem Fall, dass £ mit einer Verteilungsreihe diskret ist, wird die Likelihood-Funktion als Funktion bezeichnet und die Schätzungen werden als Lösungen für das System der Maximum-Likelihood-Methode oder einem Äquivalent gesucht Es kann gezeigt werden, dass die Maximum-Likelihood-Schätzungen die Konsistenzeigenschaft haben. Es ist zu beachten, dass die Maximum-Likelihood-Methode zu komplexeren Berechnungen führt als die Momentenmethode, aber theoretisch effizienter ist, da die Maximum-Likelihood-Schätzungen weniger von den wahren Werten der geschätzten Parameter abweichen als die durch die erhaltenen Schätzungen Methode der Momente. Für die häufigsten Verteilungen in Anwendungen stimmen die mit der Momentenmethode und der Maximum-Likelihood-Methode erhaltenen Parameterschätzungen in den meisten Fällen überein. Prshir 1. Abweichung (der Teilgröße vom Nennwert ist eine normalverteilte Zufallsvariable. Sie ist erforderlich, um den systematischen Fehler und die Abweichungsvarianz von der Stichprobe zu bestimmen. M Durch Bedingung (- eine normalverteilte Zufallsvariable mit mathematischer Erwartung (systematisch Fehler) und zu schätzende Varianz aus einer Stichprobe des Volumens n : X\>...yXn In diesem Fall hat die Likelihood-Funktion System (19) die Form die Maximum-Likelihood-Schätzungen stimmen in diesem Fall mit dem uns bereits bekannten empirischen Mittelwert und der Varianz überein. 4 Die Likelihood-Funktion hat die Form Die Likelihood-Gleichung führt uns zu einer Lösung, die mit der Schätzung desselben Parameters übereinstimmt, der durch die Momentenmethode erhalten wird, siehe (17). ^ Beispiel 3. Schätzen Sie mit der Maximum-Likelihood-Methode die Wahrscheinlichkeit, dass ein Wappen erscheint, wenn das Wappen bei zehn Münzwürfen 8 Mal erscheint. -4 Die zu schätzende Wahrscheinlichkeit sei p. Betrachten Sie eine Zufallsvariable (mit einer Verteilungsreihe. Die Likelihood-Funktion (21) hat die Form Die Methode des Maximums. Die Likelihood-Gleichung gibt als Schätzung der unbekannten Wahrscheinlichkeit p die Häufigkeit des Auftretens des Wappens im Experiment an. Abschluss Bei der Diskussion der Methoden zum Auffinden von Schätzungen betonen wir, dass wir selbst bei einer sehr großen Menge experimenteller Daten immer noch nichts sagen können genauer Wert des geschätzten Parameters, außerdem kommen, wie wiederholt festgestellt wurde, die Schätzungen, die wir erhalten, nur „im Durchschnitt“ oder „in den meisten Fällen“ nahe an den wahren Werten der geschätzten Parameter. Daher ist eine wichtige statistische Aufgabe, die wir im Folgenden betrachten werden, die Bestimmung der Genauigkeit und Zuverlässigkeit unserer Einschätzung.

Und andere).

Die Maximum-Likelihood-Schätzung ist eine beliebte statistische Technik, die verwendet wird, um ein statistisches Modell aus Daten zu erstellen und eine Schätzung der Modellparameter bereitzustellen.

Entspricht vielen bekannten Auswertungsmethoden im Bereich der Statistik. Angenommen, Sie interessieren sich für das Wachstum der Menschen in der Ukraine. Angenommen, Sie haben Wachstumsdaten für eine bestimmte Anzahl von Menschen, nicht für die gesamte Bevölkerung. Außerdem wird angenommen, dass das Wachstum normalverteilt ist mit unbekannter Varianz und unbekanntem Mittelwert. Der Mittelwert und die Varianz des Stichprobenwachstums sind die maximale Wahrscheinlichkeit für den Mittelwert und die Varianz der gesamten Grundgesamtheit.

Für einen festen Datensatz und ein einfaches probabilistisches Modell erhalten wir unter Verwendung der Maximum-Likelihood-Methode die Werte der Modellparameter, die die Daten „näher“ an die realen machen. Die Maximum-Likelihood-Schätzung bietet eine einzigartige und einfache Möglichkeit, Lösungen im Fall einer Normalverteilung zu bestimmen.

Die Maximum-Likelihood-Schätzmethode wird auf eine Vielzahl statistischer Modelle angewendet, darunter:

lineare Modelle und verallgemeinerte lineare Modelle;
Faktorenanalyse;
Modellierung von Strukturgleichungen;
viele Situationen, unter Hypothesenprüfung und Konfidenzintervallbildung;
diskrete Modelle der Wahl.

Methode Essenz

genannt Maximum-Likelihood-Schätzung Parameter . Somit ist der Maximum-Likelihood-Schätzer der Schätzer, der die Likelihood-Funktion für eine feste Abtastimplementierung maximiert.

Oft wird die Log-Likelihood-Funktion anstelle der Likelihood-Funktion verwendet. Da die Funktion über den gesamten Definitionsbereich monoton wächst, ist das Maximum jeder Funktion das Maximum der Funktion und umgekehrt. Auf diese Weise

Wenn die Likelihood-Funktion differenzierbar ist, dann ist die notwendige Bedingung für das Extremum die Gleichheit ihres Gradienten mit Null:

Die hinreichende Extremumsbedingung lässt sich als negative Bestimmtheit der Hesse-Matrix der zweiten Ableitung formulieren:

Wichtig für die Beurteilung der Eigenschaften von Schätzungen der Maximum-Likelihood-Methode ist die sogenannte Informationsmatrix, definitionsgemäß gleichbedeutend mit:

Am optimalen Punkt deckt sich die Informationsmatrix mit der Erwartung des Hessischen, mit Minuszeichen:

Eigenschaften

Maximum-Likelihood-Schätzungen können im Allgemeinen verzerrt sein (siehe Beispiele), sind aber konsistent. asymptotisch effizient und asymptotisch normal Bewertungen. Asymptotische Normalität bedeutet das

wo ist die asymptotische Informationsmatrix

Asymptotische Effizienz bedeutet, dass die asymptotische Kovarianzmatrix die Untergrenze für alle konsistenten asymptotisch normalen Schätzer ist.

Beispiele

Die letzte Gleichheit kann umgeschrieben werden als:

wo , was zeigt , dass die Likelihood - Funktion an diesem Punkt ihr Maximum erreicht . Auf diese Weise

. .

Um sein Maximum zu finden, setzen wir die partiellen Ableitungen mit Null gleich:

der Stichprobenmittelwert und die Stichprobenvarianz ist.

Bedingte Maximum-Likelihood-Methode

Bedingte Maximum-Likelihood-Methode (Conditional ML) in Regressionsmodellen verwendet. Die Essenz der Methode besteht darin, dass sie nicht die vollständige gemeinsame Verteilung aller Variablen (abhängige und Regressoren) verwendet, sondern nur bedingt Verteilung der abhängigen Variablen über Faktoren, also eigentlich die Verteilung von Zufallsfehlern Regressionsmodell. Die Gist das Produkt aus der "bedingten Wahrscheinlichkeitsfunktion" und der Verteilungsdichte der Faktoren. Die bedingte MMP entspricht der Vollversion der MMP in dem Fall, in dem die Verteilung der Faktoren in keiner Weise von den geschätzten Parametern abhängt. Diese Bedingung wird häufig in Zeitreihenmodellen wie dem autoregressiven Modell verletzt. In diesem Fall sind die Regressoren die vergangenen Werte der abhängigen Variablen, was bedeutet, dass ihre Werte ebenfalls demselben AR-Modell gehorchen, dh die Verteilung der Regressoren hängt von den geschätzten Parametern ab. In solchen Fällen unterscheiden sich die Ergebnisse der Anwendung der bedingten und der vollen Maximum-Likelihood-Methode.

siehe auch

Anmerkungen

Literatur

Magnus Ya.R., Katyshev P.K., Peresetsky A.A.Ökonometrie. Startkurs. - M.: Delo, 2007. - 504 S. - ISBN 978-5-7749-0473-0

Wikimedia-Stiftung. 2010 .

Sehen Sie in anderen Wörterbüchern, was die "Maximum-Likelihood-Methode" ist:

Maximum-Likelihood-Methode- - Maximum-Likelihood-Methode In der mathematischen Statistik ein Verfahren zur Schätzung von Verteilungsparametern, das auf der Maximierung der sogenannten Likelihood-Funktion basiert ... ...

Schätzverfahren aus einer Stichprobe unbekannter Parameter der Verteilungsfunktion F(s; α1,..., αs), wobei α1, ..., αs unbekannte Parameter sind. Wenn eine Stichprobe von n Beobachtungen in r nicht überlappende Gruppen s1,…, sr; р1,..., pr… … Geologische Enzyklopädie

Maximum-Likelihood-Methode- in der mathematischen Statistik eine Methode zum Schätzen von Verteilungsparametern basierend auf der Maximierung der sogenannten Likelihood-Funktion (die gemeinsame Wahrscheinlichkeitsdichte von Beobachtungen bei Werten, die ... ... Wirtschafts- und Mathematikwörterbuch

Maximum-Likelihood-Methode- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. Maximum-Likelihood-Methode {f} Methode der maksimalen Mutmaßlichkeit, f rus. Maximum-Likelihood-Methode, m pranc. méthode de maximum de vraisemblance, f;… … Automatikos terminų žodynas

Partial-Response-Maximum-Likelihood-Methode- Viterbi-Signalerkennungsmethode, die ein Minimum an Intersymbolverzerrung gewährleistet. Siehe auch Viterbi-Algorithmus. [LM Newdjajew. Telekommunikationstechnologien. Englischer Russe Wörterbuch Verzeichnis. Unter der Redaktion von Yu.M ... Handbuch für technische Übersetzer

Maximum-Likelihood-Sequenzfinder- Eine Vorrichtung zum Berechnen der Schätzung der wahrscheinlichsten Folge von Symbolen, die die Wahrscheinlichkeitsfunktion des empfangenen Signals maximiert. [LM Newdjajew. Telekommunikationstechnologien. Erklärendes Nachschlagewerk für das Englisch-Russisch-Wörterbuch. Unter der Redaktion von Yu.M ... Handbuch für technische Übersetzer

Maximum-Likelihood-Methode- Maximum-Likelihood-Methode - [L. G. Sumenko. Englisch-Russisches Wörterbuch der Informationstechnologien. M.: GP TsNIIS, 2003.] Themen Informationstechnik allgemein Synonyme Maximum-Likelihood-Methode EN Maximum-Likelihood-Methode ... Handbuch für technische Übersetzer

Dieses Verfahren besteht darin, als Punktschätzung des Parameters den Wert des Parameters zu nehmen, bei dem die Wahrscheinlichkeitsfunktion ihr Maximum erreicht.

Für eine zufällige Zeit bis zum Ausfall mit einer Wahrscheinlichkeitsdichte f(t, ) ist die Likelihood-Funktion durch Formel 12.11 gegeben: , d.h. ist die gemeinsame Wahrscheinlichkeitsdichte unabhängiger Messungen der Zufallsvariablen τ mit der Wahrscheinlichkeitsdichte f(t, ).

Wenn die Zufallsvariable diskret ist und die Werte annimmt Z1, Z2… bzw. mit Wahrscheinlichkeiten P 1 (α),P 2 (α)…, , dann nimmt man die Likelihood-Funktion in einer anderen Form an, nämlich: , wobei die Indizes der Wahrscheinlichkeiten angeben, dass Werte eingehalten wurden.

Die Parameter-Maximum-Likelihood-Schätzungen werden aus der Likelihood-Gleichung (12.12) bestimmt.

Der Wert der Maximum-Likelihood-Methode wird durch die folgenden zwei Annahmen ermittelt:

Wenn es eine effektive Schätzung für den Parameter gibt, dann hat die Likelihood-Gleichung (12.12) eine eindeutige Lösung .

Unter einigen allgemeinen analytischen Bedingungen, die den Funktionen auferlegt werden f(t, ) die Lösung der Likelihood-Gleichung konvergiert gegen den wahren Wert des Parameters .

Betrachten Sie ein Beispiel für die Verwendung der Maximum-Likelihood-Methode für Normalverteilungsparameter.

Beispiel:

Wir haben: , , t i (i=1..N) Stichprobe aus Bevölkerung mit Verteilungsdichte .

Es ist erforderlich, eine Schätzung der maximalen Ähnlichkeit zu finden.

Wahrscheinlichkeitsfunktion: ;

Wahrscheinlichkeitsgleichungen: ;

;

Die Lösung dieser Gleichungen hat die Form: - statistischer Durchschnitt; - statistische Streuung. Die Schätzung ist verzerrt. Die unverzerrte Schätzung lautet: .

Der Hauptnachteil der Maximum-Likelihood-Methode sind die Rechenschwierigkeiten, die beim Lösen der in der Regel transzendenten Likelihood-Gleichungen auftreten.

Moment Methode.

Dieses Verfahren wurde von K. Pearson vorgeschlagen und ist das allererste allgemeine Verfahren zur Punktschätzung unbekannter Parameter. Sie ist in der praktischen Statistik noch weit verbreitet, da sie oft zu einem relativ einfachen Rechenverfahren führt. Die Idee dieser Methode ist, dass von unbekannten Parametern abhängige Verteilungsmomente empirischen Momenten gleichgesetzt werden. Wenn wir die Anzahl der Momente gleich der Anzahl der unbekannten Parameter nehmen und die entsprechenden Gleichungen zusammenstellen, erhalten wir die erforderliche Anzahl von Gleichungen. Am häufigsten werden die ersten beiden statistischen Momente berechnet: der Stichprobenmittelwert; und Stichprobenvarianz . Die mit der Momentenmethode erhaltenen Schätzungen sind hinsichtlich ihrer Effizienz nicht die besten. Sie werden jedoch sehr oft als erste Annäherung verwendet.

Betrachten Sie ein Beispiel für die Verwendung der Methode der Momente.

Beispiel: Betrachten Sie die Exponentialverteilung:

t>0; λ<0; t i (i=1..N) ist eine Stichprobe aus der Grundgesamtheit mit der Verteilungsdichte . Es ist erforderlich, eine Schätzung für den Parameter λ zu finden.

Wir stellen eine Gleichung auf: . Also sonst.

Quantil-Methode.

Dies ist die gleiche empirische Methode wie die Methode der Momente. Sie besteht darin, dass das Quantil der theoretischen Verteilung mit dem empirischen Quantil gleichgesetzt wird. Sollen mehrere Parameter ausgewertet werden, so werden die entsprechenden Gleichheiten für mehrere Quantile geschrieben.

Betrachten Sie den Fall, wenn das Verteilungsgesetz F(t,α,β) mit zwei unbekannten Parametern α, β . Lassen Sie die Funktion F(t,α,β) hat eine kontinuierlich differenzierbare Dichte, die positive Werte für alle möglichen Werte der Parameter annimmt α, β. Wenn die Tests planmäßig durchgeführt werden , r>>1, dann kann der Zeitpunkt des Auftretens des -ten Ausfalls als empirisches Quantil des Niveaus betrachtet werden, i=1,2… , - Empirische Verteilungsfunktion. Wenn t l Und T r – die Zeitpunkte des Auftretens der l-ten und r-ten Ausfälle sind genau bekannt, die Werte der Parameter α Und β konnte aus den Gleichungen gefunden werden

Essenz des Problems der Punktschätzung von Parametern

PUNKTSCHÄTZUNG DER VERTEILUNGSPARAMETER

Punktschätzung beinhaltet das Auffinden eines einzelnen numerischen Werts, der als Wert des Parameters genommen wird. Es ist ratsam, eine solche Bewertung in Fällen festzulegen, in denen das Volumen der ED groß genug ist. Darüber hinaus gibt es kein einheitliches Konzept für ein ausreichendes ED-Volumen, sein Wert hängt von der Art des geschätzten Parameters ab (wir werden auf dieses Problem zurückkommen, wenn wir die Methoden zur Intervallschätzung von Parametern untersuchen, und wir werden zuerst eine Stichprobe betrachten, die at enthält mindestens 10 Werte ausreichend). Bei einem kleinen ED-Volumen können Punktschätzungen erheblich von den wahren Werten der Parameter abweichen, was sie für die Verwendung ungeeignet macht.

Punktparameterschätzungsproblem in einer typischen Einstellung ist wie folgt.

Verfügbar: Stichprobe von Beobachtungen ( x 1 , x 2 , …, x n) hinter der Zufallsvariablen X. Stichprobengröße N Fest.

Die Form des Mengenverteilungsgesetzes ist bekannt X, beispielsweise in Form der Verteilungsdichte F(Θ , X), Wo Θ ist ein unbekannter (im Allgemeinen vektorieller) Verteilungsparameter. Der Parameter ist ein nicht zufälliger Wert.

Es muss ein Kostenvoranschlag gefunden werden Θ* Parameter Θ Vertriebsrecht.

Einschränkungen: Die Stichprobe ist repräsentativ.

Es gibt mehrere Methoden zur Lösung des Problems der Punktschätzung von Parametern, von denen die gebräuchlichsten Methoden der maximalen (maximalen) Wahrscheinlichkeit, Momente und Quantile sind.

Die Methode wurde 1912 von R. Fisher vorgeschlagen. Die Methode basiert auf der Untersuchung der Wahrscheinlichkeit, eine Stichprobe von Beobachtungen zu erhalten (x 1 , x 2, …, x n). Diese Wahrscheinlichkeit ist

f(x 1, Θ) f(x 2, Θ) ... f(x p, Θ) dx 1 dx 2 ... dx n.

Gemeinsame Wahrscheinlichkeitsdichte

L (x 1, x 2 ..., x n; Θ) \u003d f (x 1, Θ) f (x 2, Θ) ... f (x n, Θ),(2.7)

als Funktion des Parameters betrachtet Θ , wird genannt Wahrscheinlichkeitsfunktion .

Als Schätzung Θ* Parameter Θ Nehmen Sie den Wert, der die Likelihood-Funktion maximiert. Um den Schätzwert zu finden, ist es notwendig, in der Likelihood-Funktion zu ersetzen T An Q und löst die Gleichung

dl/dΘ* = 0.

Um die Berechnungen zu vereinfachen, gehen wir von der Likelihood-Funktion zu ihrem Logarithmus ln über L. Diese Transformation ist gültig, weil die Likelihood-Funktion eine positive Funktion ist und ihr Maximum am selben Punkt wie ihr Logarithmus erreicht. Wenn der Verteilungsparameter eine Vektorgröße ist

Θ* =(q 1 , q 2 , …, q n),

dann werden die Maximum-Likelihood-Schätzungen aus dem Gleichungssystem gefunden

d ln L(q 1 , q 2 , …, q n) /d q 1 = 0;

d ln L(q 1 , q 2 , …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1 , q 2 , …, q n) /d q n = 0.

Um zu überprüfen, ob der optimale Punkt dem Maximum der Likelihood-Funktion entspricht, muss die zweite Ableitung dieser Funktion gefunden werden. Und wenn die zweite Ableitung am optimalen Punkt negativ ist, maximieren die gefundenen Werte der Parameter die Funktion.

Das Auffinden von Maximum-Likelihood-Schätzungen umfasst also die folgenden Schritte: Erstellen der Likelihood-Funktion (ihres natürlichen Logarithmus); Differentiation der Funktion nach den geforderten Parametern und Erstellung eines Gleichungssystems; Lösen eines Gleichungssystems zum Auffinden von Schätzungen; Bestimmung der zweiten Ableitung der Funktion, Überprüfung ihres Vorzeichens am optimalen Punkt der ersten Ableitung und Schlussfolgerungen ziehen.

Lösung. Wahrscheinlichkeitsfunktion für das ED-Probenvolumen N

Log-Likelihood-Funktion

Gleichungssystem zum Auffinden von Parameterschätzungen

Aus der ersten Gleichung folgt:

oder endlich

Somit ist das arithmetische Mittel die Maximum-Likelihood-Schätzung für den Erwartungswert.

Aus der zweiten Gleichung können Sie finden

Die empirische Varianz ist verzerrt. Nach dem Entfernen des Offsets

Die tatsächlichen Werte der Parameterschätzungen: M =27,51, s2 = 0,91.

Um zu überprüfen, ob die erhaltenen Schätzungen den Wert der Wahrscheinlichkeitsfunktion maximieren, nehmen wir die zweiten Ableitungen

Zweite Ableitung von ln( L(m,S)) unabhängig von den Parameterwerten kleiner als Null, daher sind die gefundenen Parameterwerte Maximum-Likelihood-Schätzungen.

Die Maximum-Likelihood-Methode ermöglicht es, konsistente, effiziente (falls vorhanden, dann liefert die resultierende Lösung effiziente Schätzungen), ausreichende, asymptotisch normalverteilte Schätzungen zu erhalten. Diese Methode kann sowohl voreingenommene als auch unvoreingenommene Schätzungen liefern. Die Verschiebung kann durch Einführen von Korrekturen eliminiert werden. Das Verfahren ist besonders nützlich für kleine Proben.