최대 가능성. 확률 분포의 알 수 없는 매개변수에 대한 점 추정을 위한 최대 우도 방법입니다. 다른 사전에 "최대 가능성 방법"이 무엇인지 확인하십시오.

수학적 통계에 대한 초기 지식을 목적으로 하는 작업에서는 일반적으로 최대 우도 추정치(약어로 MLE)가 고려됩니다.

따라서 먼저 표본에 해당하는 확률밀도함수가 구축된다. 샘플 요소는 독립적이므로 이 밀도는 개별 샘플 요소에 대한 밀도의 곱으로 표시됩니다. 관찰된 값에 해당하는 지점에서 접합 밀도를 고려합니다. (주어진 샘플 요소에 대한) 매개변수의 함수인 이 표현식을 우도 함수라고 합니다. 그런 다음 어떤 방식으로든 접합 밀도 값이 최대가 되는 매개변수 값을 찾습니다. 이것이 최대 우도 추정입니다.

최대우도 추정기는 최고의 점근적 정규 추정기 클래스에 속한다는 것은 잘 알려져 있습니다. 그러나 많은 문제에서 표본량이 유한한 경우 OMP는 허용되지 않습니다. 이는 다른 추정치, 특히 편향되지 않은 추정치보다 더 나쁩니다(분산 및 평균 제곱 오차가 더 큼). 이것이 바로 GOST 11.010-81이 음이항 분포의 매개변수를 추정하기 위해 OMP 대신 편향되지 않은 추정치를 사용하는 이유입니다. 위에서부터 다른 유형의 추정보다 OMP를 선험적으로 선호해야 합니다. 가능하다면 추정의 점근적 동작을 연구하는 단계에서만 가능합니다.

어떤 경우에는 대량살상무기가 계산에 적합한 특정 공식의 형태로 명시적으로 발견되기도 합니다.

대부분의 경우 분석적 해결책은 없으며, 대량살상무기를 찾으려면 수치적 방법을 사용해야 합니다. 예를 들어 감마 분포 또는 Weibull-Gnedenko 분포의 표본이 여기에 해당됩니다. 많은 연구에서 최대 우도 방정식 시스템은 일부 반복 방법을 사용하여 해결되거나 우도 함수가 직접 최대화됩니다.

그러나 신청은 수치적 방법수많은 문제를 일으키게 됩니다. 반복적인 방법의 수렴에는 타당성이 필요합니다. 많은 예에서 우도 함수는 많은 국소 최대값을 가지므로 자연 반복 절차는 수렴하지 않습니다. 강철 피로 테스트에 대한 전 러시아 철도 운송 연구소의 데이터의 경우 최대 우도 방정식에는 11개의 근이 있습니다. 11개 중 어느 것이 매개변수의 추정치로 사용되어야 합니까?

이러한 어려움을 인식한 결과, 특정 확률 모델과 특정 알고리즘에 대한 최대 가능성 추정치를 찾기 위한 알고리즘의 수렴을 증명하는 작업이 나타나기 시작했습니다.

그러나 반복 알고리즘의 수렴에 대한 이론적 증거가 전부는 아닙니다. 필요한 정확도를 달성하는 것과 관련하여 계산을 중지할 시기를 합리적으로 선택하는 것에 대한 의문이 생깁니다. 대부분의 경우 해결되지 않습니다.

하지만 그게 전부는 아닙니다. 계산의 정확성은 표본 크기와 연결되어야 합니다. 표본 크기가 클수록 모수 추정치를 더 정확하게 찾아야 합니다. 그렇지 않으면 추정 방법의 일관성에 대해 말할 수 없습니다. 또한, 샘플 크기가 증가함에 따라 컴퓨터에 사용되는 자릿수를 늘리고, 계산의 단일 정확도에서 이중 정확도로 이동해야 하며, 다시 한 번 일관된 추정치를 달성해야 합니다.

따라서 최대 가능성 추정에 대한 명시적인 공식이 없는 경우 대량살상무기를 찾는 것은 여러 계산 문제에 직면하게 됩니다. 수학 통계 전문가들은 이러한 모든 문제를 무시하고 이론적 용어로 대량 살상 무기를 논의합니다. 그러나 응용통계는 이를 무시할 수 없습니다. 언급된 문제들은 대량살상무기의 실제 사용 가능성에 의문을 제기합니다.

예시 1.표준화 및 품질 관리의 통계적 문제에서는 감마 분포 계열이 사용됩니다. 감마 분포 밀도는 다음과 같은 형식을 갖습니다.

공식 (7)의 확률 밀도는 세 가지 매개변수에 의해 결정됩니다. 에이, 비, 씨, 어디 ㅏ>2, 비>0. 여기서 ㅏ양식 매개변수입니다. 비- 스케일 매개변수 및 와 함께 -시프트 매개변수. 요인 1/G(a)정상화 중입니다.

여기 G(a)- 수학에서 사용되는 특수 함수 중 하나인 소위 "감마 함수"로, 그 이름을 따서 공식 (7)에 의해 주어진 분포가 명명됩니다.

감마 분포 매개변수 추정 문제에 대한 자세한 솔루션은 당사가 개발한 주 표준 GOST 11.011-83 "응용 통계"에 포함되어 있습니다. 감마 분포 매개변수에 대한 추정치 및 신뢰 한계를 결정하기 위한 규칙." 이 출판물은 현재 다음과 같이 사용되고 있습니다. 방법론적 자료엔지니어링 및 기술 인력을 위한 산업 기업및 응용 연구 기관.

감마 분포는 세 가지 매개변수에 따라 달라지므로 추정 문제를 설정하는 데에는 2 3 - 1 = 7개의 옵션이 있습니다. 표에 설명되어 있습니다. 1. 테이블에. 그림 2는 절단기가 제한 상태까지 작동하는 시간에 대한 실제 데이터를 시간 단위로 보여줍니다. 주문량 샘플(변형 시리즈) N= 50은 주 표준에서 따온 것입니다. 매개변수를 추정하기 위한 특정 방법을 시연하기 위한 소스 자료 역할을 하는 것은 이러한 데이터입니다.

응용 통계의 특정 모수적 모델에서 "최상의" 추정치를 선택하는 것은 시간이 지남에 따라 연장되는 연구 프로젝트입니다. 두 단계를 구별해 보겠습니다. 점근 단계: 표본의 크기가 무제한으로 커짐에 따라 그 특성에 따라 추정치를 구성하고 비교합니다. 이 단계에서는 일관성, 점근적 효율성 등과 같은 추정의 특성이 고려됩니다. 최종 표본 크기 단계:추정치는 다음과 같이 비교됩니다. N= 10. 연구는 점근 단계에서 시작된다는 것이 분명합니다. 추정치를 비교하려면 먼저 추정치를 구성하고 그 추정치가 터무니없는지 확인해야 합니다(그러한 신뢰도는 일관성 증명을 통해 제공됩니다).

예시 2.세 가지 알려지지 않은 매개변수의 경우 모멘트 방법을 통한 감마 분포 매개변수 추정(표 1의 7행).

위의 추론에 따라 세 가지 매개변수를 추정하려면 세 가지 샘플 모멘트(샘플 산술 평균)를 사용하면 충분합니다.

표본 분산

선택적 세 번째 중심 모멘트

분포 매개변수와 샘플 모멘트를 통해 표현된 이론적 모멘트를 동일시하여 모멘트 방법에 대한 방정식 시스템을 얻습니다.

이 시스템을 해결하여 순간 방법에 대한 추정치를 찾습니다. 두 번째 방정식을 세 번째 방정식으로 대체하면 이동 매개변수에 대한 모멘트 추정 방법을 얻을 수 있습니다.

이 추정치를 두 번째 방정식으로 대체하면 형상 매개변수에 대한 모멘트 추정 방법을 찾을 수 있습니다.

마지막으로 첫 번째 방정식에서 이동 매개변수에 대한 추정치를 찾습니다.

위의 표에 제공된 실제 데이터의 경우. 2, 표본 평균 = 57.88, 표본 분산 에스 2 = 663.00, 샘플 세 번째 중심 모멘트 중 3 = 14927.91. 모멘트 방법을 평가하기 위해 방금 얻은 공식에 따르면 다음과 같습니다. ㅏ* = 5,23; 비* = 11,26, 씨* = - 1,01.

모멘트 방법으로 얻은 감마 분포 매개변수의 추정치는 샘플 모멘트의 함수입니다. 위의 내용에 따르면 이들은 점근적으로 정규 확률 변수입니다. 테이블에 그림 3은 감마 분포의 알려진 매개변수와 알려지지 않은 매개변수의 다양한 조합에 대한 모멘트 방법과 점근 분산의 추정치를 보여줍니다.

표에 주어진 모멘트 방법에 대한 모든 추정치. 3, 포함됨 주 표준. 이는 하나의 매개변수만 알려지지 않은 경우를 제외하고 감마 분포의 매개변수를 추정하는 문제의 모든 공식을 다룹니다(표 1 참조). ㅏ또는 비. 이러한 예외적인 경우에 대해서는 특별한 평가 방법이 개발되었습니다.

모멘트법 추정치의 점근적 분포가 알려져 있으므로 분포 매개변수 값에 대한 통계적 가설을 테스트하고 매개변수에 대한 신뢰한계를 구성하기 위한 규칙을 공식화하는 것은 어렵지 않습니다. 예를 들어, 확률 모델에서 세 매개변수를 모두 알 수 없는 경우 표 3의 세 번째 행에 따르면 매개변수에 대한 신뢰 하한은 ㅏ, 신뢰 확률 r = 0.95에 해당하며 점근법에서는 다음과 같은 형식을 갖습니다.

동일한 신뢰 확률에 대한 신뢰 상한은 다음과 같습니다.

어디 ㅏ* - 형상 매개변수의 모멘트 방법 평가(표 3).

예시 3.샘플로 대량살상무기를 찾아보자 정규 분포, 각 요소에는 밀도가 있습니다.

따라서 2차원 매개변수( 중, y 2).

표본 요소에 대한 확률 밀도의 곱, 즉 우도 함수는 다음과 같은 형식을 갖습니다.

최적화 문제를 해결해야 합니다

다른 많은 경우와 마찬가지로 우도 함수의 로그를 취하면 최적화 문제를 더 쉽게 해결할 수 있습니다. 기능으로 이동

로그 우도 함수라고 합니다. 정규분포에서 샘플링하는 경우

최대값을 위한 필수 조건은 매개변수에 대한 대수 우도 함수의 편도함수 0이 동일하다는 것입니다. 즉,

시스템(10)은 최대 우도 방정식 시스템이라고 합니다. 일반적인 경우 방정식의 수는 알려지지 않은 매개변수의 수와 동일하며, 각 방정식은 하나 또는 다른 매개변수에 대한 로그 우도 함수의 편도함수를 0과 동일시하여 작성됩니다.

에 대해 구별할 때 중식 (9)의 오른쪽에 있는 처음 두 항은 0이 되고 마지막 항은 다음 방정식을 제공합니다.

그러므로 평가는 중* 최대 우도 매개변수 중표본 산술 평균이고,

분산의 추정치를 찾으려면 다음 방정식을 풀어야 합니다.

그건 보기 쉽죠

따라서 이전에 찾은 모수 추정치를 고려하여 분산 y 2에 대한 최대 우도 추정치(y 2)*는 다음과 같습니다. 중는 표본 분산이고,

따라서 최대 우도 방정식 시스템은 분석적으로 풀립니다. 정규 분포의 수학적 기대값과 분산에 대한 GME는 표본 산술 평균과 표본 분산입니다. 마지막 추정치는 편향되어 있습니다.

예 3의 조건에서 최대우도법의 추정치는 적률법의 추정치와 일치합니다. 또한 모멘트 방법의 추정 유형은 분명하며 추론이 필요하지 않습니다.

예시 4.현대 통계의 창시자인 로널드 피셔(Ronald Fisher)가 남긴 다음 문구의 숨겨진 의미를 파헤쳐 보겠습니다. "모수를 추정하는 것보다 쉬운 것은 없습니다." 그 고전은 아이러니했습니다. 그는 나쁜 평가를 받기가 쉽다는 것을 의미했습니다. 좋은 추정치를 고안할 필요는 없습니다(!). 최대 우도 원칙을 사용하여 표준 방식으로 얻어야 합니다.

일. H 0에 따르면 세 개의 독립적인 포아송 확률 변수의 수학적 기대값은 선형 의존성으로 관련되어 있습니다.

이러한 수량의 실현이 제공됩니다. 선형 관계의 두 매개변수를 추정하고 H 0 를 확인하는 것이 필요합니다.

명확성을 위해 점에서 평균값을 취하는 선형 회귀를 상상할 수 있습니다. 값을 얻으십시오. H0의 크기와 공정성에 대해 무엇을 말할 수 있습니까?

순진한 접근 방식

매개변수는 기본적인 상식을 사용하여 추정할 수 있는 것으로 보입니다. x 1 =-1에서 x 3 =+1로 전환하는 동안 증분을 나누어 직접 회귀의 기울기 추정치를 얻고 산술 평균 값의 추정치를 찾습니다.

추정치의 수학적 기대치가 동일한지 확인하는 것은 쉽습니다(추정치가 편향되지 않음).

추정값을 얻은 후에는 Pearson 카이제곱 테스트를 사용하여 H0를 평소와 같이 테스트합니다.

예상 빈도의 추정치는 추정치를 기반으로 얻을 수 있습니다.

더욱이, 추정치가 "정확"하다면 Pearson 거리는 자유도가 1인 카이제곱 확률 변수(3-2=1)로 분포됩니다. 데이터를 모델에 맞춰서 두 가지 매개변수를 추정하고 있다는 점을 기억하세요. 이 경우 금액이 고정되어 있지 않으므로 추가로 단위를 차감할 필요가 없습니다.

그러나 이를 대체하면 이상한 결과가 나타납니다.

한편으로 이러한 주파수에 대해서는 H0를 기각할 이유가 없다는 것이 분명하지만 첫 번째 지점에서 예상 주파수의 추정치는 다음과 같으므로 카이제곱 검정을 사용하여 이를 확인할 수 없습니다. 부정적인. 따라서 "상식"에서 찾은 추정으로는 일반적인 경우의 문제를 해결할 수 없습니다.

최대우도법

확률 변수는 독립적이며 포아송 분포를 따릅니다. 가치를 얻을 확률은 다음과 같습니다.

최대 가능성의 원칙에 따라 알 수 없는 매개변수의 값을 찾아야 하며 값을 얻을 확률이 최대가 되어야 합니다.

그것이 일정하다면 우리는 일반적인 확률을 다루고 있습니다. Fisher는 상수가 변수로 간주되는 경우에 대해 "타당성"이라는 새로운 용어를 제안했습니다. 우도가 독립된 사건의 확률의 곱으로 판명되면 그 곱을 합계로 바꾼 다음 우도의 로그를 처리하는 것이 당연합니다.

여기서, 에 의존하지 않는 용어는 모두 지정하여 최종 표현에서 폐기한다. 최대 로그 우도를 찾기 위해 도함수를 0과 동일시합니다.

이 방정식을 풀면 다음을 얻습니다.

이는 평가에 대한 "올바른" 표현입니다. 평균에 대한 추정치는 상식이 제안하는 것과 동일하지만 기울기에 대한 추정치는 다릅니다. 공식에 대해 무엇을 말할 수 있나요?

1) 크기가 선의 경사각을 결정하기 때문에 대답이 중간점의 주파수에 따라 달라지는 것이 이상해 보입니다.
2) 그러나 H 0 가 참(회귀선이 직선)이라면, 큰 값관찰된 주파수는 자신의 주파수에 가까워집니다. 수학적 기대. 따라서, 최대 우도 추정치는 상식에서 얻은 결과에 가까워집니다.

3) 이제 모든 기대 빈도가 항상 양수임을 알 때 추정의 이점이 느껴지기 시작합니다.

이는 "순진한" 추정의 경우에는 해당되지 않았으므로 카이제곱 검정을 적용하는 것이 항상 가능하지는 않았습니다(음수 또는 0의 예상 빈도를 1로 바꾸려고 해도 상황이 저장되지 않습니다).

4) 수치 계산은 기대 빈도가 충분히 큰 경우에만 순진한 추정을 사용할 수 있음을 보여줍니다. 작은 값으로 사용하면 계산된 Pearson 거리가 지나치게 커지는 경우가 많습니다.

결론 : 올바른 선택추정이 중요합니다. 그렇지 않으면 카이제곱 검정을 사용하여 가설을 검정할 수 없기 때문입니다. 명백해 보이는 평가가 쓸모없는 것으로 판명될 수도 있습니다!

밀도가 있는 연속 확률 변수 밀도 유형은 알려져 있지만 매개 변수의 값은 알려져 있지 않습니다. 우도 함수는 함수입니다(여기서는 확률 변수 £ 분포의 볼륨 n 샘플). 우도 함수에 확률론적 의미가 부여될 수 있음을 쉽게 알 수 있습니다. 즉, 구성 요소가 독립적이고 법칙 D(z)를 사용하여 집합적으로 동일하게 분포된 확률 변수인 확률 벡터를 고려합니다. 그러면 벡터 E의 확률 요소는 다음과 같은 형식을 갖습니다. 우도 함수는 일련의 실험 P에서 고정된 샘플을 얻을 확률과 연관되어 있습니다. 우도 방법의 주요 아이디어는 매개변수 A의 추정치로서 이러한 값을 취하는 것이 제안된다는 것입니다. (3) 주어진 고정 표본에 대한 우도 함수의 최대값을 제공합니다. 즉, 실험에서 얻은 표본을 가장 가능성 있는 것으로 간주하는 것이 제안됩니다. 매개변수 pj의 추정값을 찾는 것은 k 방정식 시스템(k는 알 수 없는 매개변수의 수)을 푸는 것으로 축소됩니다. 함수 로그 L은 우도 함수와 동일한 지점에서 최대값을 갖기 때문에 우도 방정식 시스템(19)은 다음과 같습니다. 종종 다음과 같은 형식으로 작성됩니다. 알 수 없는 매개변수의 추정으로서 실제로 표본에 의존하고 일정하지 않은 시스템(19) 또는 (20)의 해를 취해야 합니다. £가 분포 계열과 이산적인 경우 우도 함수를 함수라고 하며 추정치는 시스템에 대한 솔루션으로 구됩니다. 최대 우도 방법 또는 이에 상응하는 최대 우도 추정치는 일관성의 속성을 가지고 있음을 보여줄 수 있습니다. 최대우도법은 적률법에 비해 계산이 더 복잡하지만 이론적으로는 최대우도 추정치가 적률법을 사용하여 얻은 추정치보다 추정 매개변수의 실제 값에서 덜 벗어나기 때문에 더 효과적이라는 점에 유의해야 합니다. . 응용 프로그램에서 가장 자주 발생하는 분포의 경우 적률 방법과 최대 우도 방법을 사용하여 얻은 모수 추정치가 대부분 일치합니다. Prshir 1. 편차(공칭 값에서 부품 크기의 편차는 정규 분포 확률 변수입니다. 이는 표본과의 편차의 체계적인 오류 및 분산을 결정하는 데 필요합니다. M 조건에 따라(수학적 계산이 포함된 정규 분포 확률 변수입니다.) n 크기의 표본에서 추정할 기대값(체계적 오류) 및 분산: X\>...yXn 이 경우 우도 함수 시스템(19)은 다음과 같은 형식을 갖습니다. 따라서 Xx에 의존하지 않는 솔루션을 제외하면 다음과 같습니다. 즉, 획득 이 경우 최대 우도 추정치는 이미 우리에게 알려진 경험적 평균 및 분산과 일치합니다. > 예 2. 표본에서 지수 분포 확률 변수의 매개변수 /i를 추정합니다. 4 우도 함수는 다음과 같은 형식을 갖습니다. 우도 방정식은 모멘트 방법으로 얻은 동일한 매개변수의 추정치와 일치하는 솔루션을 제공합니다((17) 참조). ^ 예 3. 최대 우도법을 사용하여 동전을 10번 던지는 동안 문장이 8번 나타날 경우 문장이 나타날 확률을 추정합니다. -4 추정할 확률을 p와 동일하게 둡니다. 확률 변수(분포 계열 포함)를 고려해 보겠습니다. 우도 함수(21)는 다음과 같은 형식을 갖습니다. 최대 우도 방법 이 방정식은 실험에서 문장이 나타나는 빈도를 알 수 없는 확률 p에 대한 추정치로 제공합니다. 결론 추정치를 찾는 방법에 대한 논의에서 우리는 매우 많은 양의 실험 데이터가 있어도 여전히 이를 나타낼 수 없다는 점을 강조합니다. 정확한 값또한, 반복적으로 언급했듯이 우리가 얻은 추정치는 "평균적으로" 또는 "대부분의 경우" 추정된 매개변수의 실제 값에 가깝습니다. 따라서 다음에 고려할 중요한 통계 작업은 평가의 정확성과 신뢰성을 결정하는 작업입니다.

다른 사람).

최대 우도 추정은 데이터로부터 통계 모델을 생성하고 모델 매개변수의 추정치를 제공하는 데 사용되는 널리 사용되는 통계 방법입니다.

통계학 분야에서 잘 알려진 다양한 추정 방법에 해당합니다. 예를 들어, 귀하가 우크라이나 국민의 성장에 관심이 있다고 가정해 보겠습니다. 전체 인구가 아닌 여러 사람의 키 데이터가 있다고 가정해 보겠습니다. 또한 키는 분산과 평균을 알 수 없는 정규 분포 변수로 가정됩니다. 표본 증가의 평균과 분산은 전체 모집단의 평균과 분산일 가능성이 가장 높습니다.

고정된 데이터 세트와 기본 확률 모델이 주어지면 최대 가능성 방법을 사용하여 데이터를 실제 세계에 "더 가깝게" 만드는 모델 매개변수의 값을 얻습니다. 최대 우도 추정은 정규 분포의 경우 솔루션을 결정하는 독특하고 간단한 방법을 제공합니다.

최대 우도 추정은 다음을 포함한 광범위한 통계 모델에 사용됩니다.

선형 모델 및 일반화 선형 모델;
요인 분석;
구조 방정식 모델링;
가설 검정 및 신뢰 구간 형성의 틀 내에서 많은 상황;
이산 선택 모델.

방법의 본질

~라고 불리는 최대 우도 추정매개변수 따라서 최대 우도 추정기는 고정된 샘플 구현이 주어지면 우도 함수를 최대화하는 추정기입니다.

우도 함수 대신 로그 우도 함수가 사용되는 경우가 많습니다. 함수는 전체 정의 영역에 걸쳐 단조롭게 증가하므로 모든 함수의 최대값은 함수의 최대값이 되며 그 반대도 마찬가지입니다. 따라서

우도 함수가 미분 가능한 경우 극값에 대한 필수 조건은 기울기가 0과 같아야 한다는 것입니다.

극값에 대한 충분 조건은 헤세 행렬(2차 도함수의 행렬)의 음의 명확성으로 공식화될 수 있습니다.

소위 정보 매트릭스는 정의에 따라 다음과 같습니다.

최적의 지점에서 정보 매트릭스는 마이너스 기호를 사용하여 헤세 행렬의 수학적 기대값과 일치합니다.

속성

일반적으로 최대우도 추정치는 편향될 수 있지만(예 참조) 일관성이 있습니다. 점근적으로 효율적이고 점근적으로 정상임견적. 점근적 정규성은 다음을 의미합니다.

점근적 정보 행렬은 어디에 있나요?

점근적 효율성은 점근적 공분산 행렬이 모든 일관된 점근적 정규 추정량에 대한 하한임을 의미합니다.

예

마지막 동등성은 다음과 같이 다시 작성할 수 있습니다.

여기서 우도함수는 에서 최대값에 도달함을 알 수 있다. 따라서

. .

최대값을 찾기 위해 편미분을 0과 동일시합니다.

- 표본 평균, - 표본 분산.

조건부 최대우도법

조건부 최대 우도(조건부 ML)회귀 모델에 사용됩니다. 이 방법의 핵심은 모든 변수(종속변수와 회귀변수)의 완전한 결합 분포가 사용되지 않는다는 것입니다. 가정 어구요인에 따른 종속변수의 분포, 즉 실제로 무작위 오류의 분포 회귀 모델. 총 우도 함수는 "조건부 우도 함수"와 요인 분포 밀도의 곱입니다. 조건부 MMP는 요인 분포가 추정된 매개변수에 어떤 식으로든 의존하지 않는 경우 MMP의 전체 버전과 동일합니다. 이 조건은 자기회귀 모델과 같은 시계열 모델에서 종종 위반됩니다. 이 경우 회귀변수는 종속변수의 과거 값이므로 해당 값도 동일한 AR 모델을 따릅니다. 즉, 회귀변수의 분포는 추정된 매개변수에 따라 달라집니다. 이러한 경우 조건부 방법과 전체 최대우도 방법을 적용한 결과는 달라집니다.

또한보십시오

노트

문학

Magnus Y.R., Katyshev P.K., Peresetsky A.A.계량 경제학. 초급 코스. -M .: Delo, 2007. - 504p. - ISBN 978-5-7749-0473-0

위키미디어 재단. 2010.

다른 사전에 "최대 가능성 방법"이 무엇인지 확인하십시오.

최대우도법- - 최대우도법 수학적 통계에서 소위 우도함수를 최대화하여 분포모수를 추정하는 방법.... ...

표본에서 분포 함수 F(s; α1,..., αs)의 알 수 없는 매개변수를 추정하는 방법입니다. 여기서 α1, ..., αs는 알 수 없는 매개변수입니다. n개의 관측치 샘플이 r개의 분리된 그룹 s1,…, sr로 나누어지면; р1,..., 프... ... 지질백과사전

최대우도법- 수학적 통계에서, 소위 우도 함수(구성하는 값과 관측치의 결합 확률 밀도 ... ... 경제 및 수학 사전

최대우도법- maksimaliojo tikėtinumo metodas statusas T sritis automatika atitikmenys: engl. 최대우도법 vok. Methode der maksimalen Mutmaßlichkeit, f rus. 최대우도법, m pranc. Méthode de maximum de vraisemblance, f;… … 자동 종료 방법

최대 우도 부분 응답 방법- 최소 수준의 기호간 왜곡을 보장하는 Viterbi 신호 감지 방법. 또한보십시오. 비터비 알고리즘. [L.M. Nevdyaev. 통신 기술. 영어 러시아어 사전예배 규칙서. 편집자: Yu.M... 기술 번역가 가이드

최대우도법을 이용한 시퀀스 검출기- 수신 신호의 우도 함수를 최대화하는 가장 가능성 있는 심볼 시퀀스의 추정치를 계산하는 장치. [L.M. Nevdyaev. 통신 기술. 영어-러시아어 설명 사전 참고서. 편집자: Yu.M... 기술 번역가 가이드

최대우도법- 최대 우도 방법 - [L.G. Sumenko. 정보 기술에 관한 영어-러시아어 사전. M.: State Enterprise TsNIIS, 2003.] 일반적인 주제 정보 기술 동의어 최대 가능성 방법 EN 최대 가능성 방법 ... 기술 번역가 가이드

이 방법은 우도 함수가 최대값에 도달하는 매개변수 값을 매개변수의 점 추정으로 취하는 것으로 구성됩니다.

확률 밀도 f(t, )를 갖는 무작위 고장 시간에 대해 우도 함수는 공식 12.11에 의해 결정됩니다. , 즉. 확률 밀도와 확률 변수 τ의 독립적인 측정의 결합 확률 밀도입니다. f(티, ).

확률변수가 이산형이고 다음 값을 취하는 경우 Z 1 , Z 2..., 각각 확률 P 1 (α), P 2 (α) ...를 사용하면 우도 함수는 다음과 같은 다른 형식으로 사용됩니다. , 여기서 확률 지수는 값이 관찰되었음을 나타냅니다.

모수의 최대 우도 추정치는 우도 방정식(12.12)으로부터 결정됩니다.

최대 우도 방법의 값은 다음 두 가지 가정에 의해 결정됩니다.

모수에 대한 효과적인 추정치가 있는 경우 우도 방정식(12.12)은 고유한 솔루션을 갖습니다.

기능에 부과된 분석적 성격의 특정 일반 조건 하에서 에프(티, )우도 방정식의 해는 매개변수의 실제 값으로 수렴됩니다.

정규 분포 모수에 대해 최대 우도 방법을 사용하는 예를 고려해 보겠습니다.

예:

우리는: , , 나는 (i=1..N)밀도 분포를 갖는 모집단의 표본입니다.

최대 유사성의 추정치를 찾아야 합니다.

우도 함수: ;

우도 방정식: ;

;

이 방정식의 해법은 다음과 같은 형식을 갖습니다. - 통계적 평균; - 통계적 분산. 추정치는 편향되어 있습니다. 편견 없는 추정치는 다음과 같습니다. .

최대 우도 방법의 가장 큰 단점은 일반적으로 초월적인 우도 방정식을 풀 때 발생하는 계산상의 어려움입니다.

순간의 방법.

이 방법은 K. Pearson이 제안한 것으로, 알려지지 않은 매개변수의 점 추정을 위한 최초의 일반적인 방법입니다. 이는 상대적으로 간단한 계산 절차로 이어지는 경우가 많기 때문에 실제 통계에서 여전히 널리 사용됩니다. 이 방법의 아이디어는 알 수 없는 매개변수에 따른 분포 모멘트가 경험적 모멘트와 동일하다는 것입니다. 알 수 없는 매개변수의 수와 동일한 모멘트 수를 취하고 해당 방정식을 구성하여 필요한 수의 방정식을 얻습니다. 처음 두 통계 지점은 가장 자주 계산됩니다. 표본 평균; 및 표본 분산 . 모멘트 방법을 사용하여 얻은 추정치는 효율성 측면에서 최고가 아닙니다. 그러나 매우 자주 그들은 첫 번째 근사치로 사용됩니다.

순간의 방법을 사용하는 예를 살펴 보겠습니다.

예: 지수 분포를 고려해보세요.

t>0; λ<0; t i (i=1..N) – 분포 밀도가 있는 모집단에서 표본을 추출합니다. 매개변수 λ에 대한 추정값을 찾아야 합니다.

방정식을 만들어 봅시다: . 따라서 그렇지 않으면.

분위수 방법.

이것은 적률법과 동일한 경험적 방법이다. 이론적 분포의 분위수는 경험적 분위수와 동일하다는 사실로 구성됩니다. 여러 매개변수가 평가 대상인 경우 해당 등식은 여러 분위수에 대해 작성됩니다.

유통법이 적용되는 경우를 생각해 보자. F(t,α,β)두 개의 알 수 없는 매개변수가 있는 경우 α, β . 기능을 보자 F(t,α,β) 가능한 모든 매개변수 값에 대해 양수 값을 취하는 연속적으로 미분 가능한 밀도를 가집니다. α, β. 계획대로 테스트가 진행된다면 , r>>1, 그러면 두 번째 실패가 발생한 순간을 해당 수준의 경험적 분위수로 간주할 수 있습니다. 나는=1.2… , - 경험적 분포 함수. 만약에 티엘그리고 티 r - l번째 및 r번째 실패가 발생한 순간이 정확히 알려져 있으며, 매개변수의 값 α 그리고 β 방정식에서 찾을 수 있다

포인트 매개변수 추정 문제의 본질

분포 매개변수의 포인트 추정

포인트 추정 매개변수의 값으로 사용되는 단일 숫자 값을 찾는 작업이 포함됩니다. ED의 양이 충분히 큰 경우 이러한 평가를 결정하는 것이 좋습니다. 더욱이, 충분한 양의 ED에 대한 단일 개념은 없습니다. 그 값은 추정되는 매개변수의 유형에 따라 다릅니다. 매개변수의 간격 추정 방법을 연구할 때 이 문제로 돌아가지만 먼저 최소한 다음을 포함하는 샘플을 고려할 것입니다. 10개 값이면 충분합니다). ED의 양이 작을 경우 점추정은 실제 매개변수 값과 크게 다를 수 있으므로 사용하기에 부적합합니다.

점 매개변수 추정 문제 일반적인 설정에서는 다음과 같습니다.

사용 가능: 관찰 샘플( x 1 , x 2 , …, x n) 무작위 변수 뒤에 엑스. 표본의 크기 N결정된

수량분배법칙의 형태가 알려져 있다 엑스, 예를 들어 분포 밀도의 형태로 나타납니다. 에프(Θ , x),어디 Θ – 알 수 없는(일반적으로 벡터) 분포 매개변수. 매개변수가 무작위가 아닌 값입니다.

견적을 찾아야 합니다 Θ* 매개변수 Θ 유통법.

제한 사항: 샘플은 대표적인 것입니다.

점 모수 추정 문제를 해결하는 방법에는 여러 가지가 있으며, 그 중 가장 일반적인 방법은 최대 우도, 모멘트 및 분위수 방법입니다.

이 방법은 1912년 R. Fisher에 의해 제안되었습니다. 이 방법은 관측 표본을 얻을 확률을 연구하는 데 기반을 두고 있습니다. (x 1 , x 2, …, xn). 이 확률은 다음과 같습니다.

f(x 1, Θ) f(x 2, Θ) … f(x n, Θ) dx 1 dx 2 … dx n.

결합 확률 밀도

L(x 1, x 2 ..., x n; Θ) = f(x 1, Θ) f(x 2, Θ) ... f(x n, Θ),(2.7)

매개변수의 함수로 간주됨 Θ , 라고 불리는 우도 함수 .

평가로는 Θ* 매개변수 Θ 우도 함수를 최대로 만드는 값을 취해야 합니다. 추정값을 찾으려면 우도 함수를 대체해야 합니다. 티~에 큐그리고 방정식을 풀어보세요

dL/일Θ* = 0.

계산을 단순화하기 위해 우도 함수에서 로그 ln으로 이동합니다. 엘. 우도 함수는 양의 함수이고 로그와 동일한 지점에서 최대값에 도달하기 때문에 이 변환이 허용됩니다. 분포 모수가 벡터량인 경우

Θ* =(q 1, q 2, …, q n),

그런 다음 방정식 시스템에서 최대 가능성 추정치를 구합니다.

d ln L(q 1, q 2, …, q n) /d q 1 = 0;

d ln L(q 1, q 2, …, q n) /d q 2 = 0;

. . . . . . . . .

d ln L(q 1, q 2, …, q n) /d q n = 0.

최적점이 우도 함수의 최대값에 해당하는지 확인하려면 이 함수의 2차 도함수를 구해야 합니다. 그리고 최적점에서의 2차 도함수가 음수이면 발견된 매개변수 값은 함수를 최대화합니다.

따라서 최대 우도 추정값을 찾는 단계에는 우도 함수(자연 로그)를 구성하는 단계가 포함됩니다. 필요한 매개변수에 따른 함수의 차별화 및 방정식 시스템의 컴파일; 추정치를 찾기 위해 방정식 시스템을 푸는 것; 함수의 2차 도함수를 결정하고, 1차 도함수의 최적점에서 함수의 부호를 확인하고 결론을 도출합니다.

해결책.볼륨의 ED 표본에 대한 우도 함수 N

로그 우도 함수

모수 추정치를 찾기 위한 방정식 시스템

첫 번째 방정식에서 다음과 같습니다.

아니면 마지막으로

따라서 산술 평균은 수학적 기대에 대한 최대 우도 추정치입니다.

두 번째 방정식에서 우리는 찾을 수 있습니다

경험적 분산은 편향되어 있습니다. 오프셋을 제거한 후

매개변수 추정의 실제 값: 중 =27,51, 초 2 = 0,91.

얻은 추정값이 우도 함수의 값을 최대화하는지 확인하기 위해 2차 도함수를 사용합니다.

함수 ln(의 2차 도함수 L(m,S)) 모수 값에 관계없이 0보다 작으므로 발견된 모수 값은 최대 우도 추정치입니다.

최대 우도 방법을 사용하면 일관되고 효과적이며(존재하는 경우 결과 솔루션이 효과적인 추정치를 제공함) 충분하고 점근적으로 정규 분포된 추정치를 얻을 수 있습니다. 이 방법은 편향된 추정과 편향되지 않은 추정을 모두 생성할 수 있습니다. 수정을 도입하면 편향이 제거될 수 있습니다. 이 방법은 작은 샘플에 특히 유용합니다.