Претпоставимо да имамо Случајни узорак из популације која је заинтересована. Могли бисмо имати теоретски модел за начин на који Популација се дистрибуира. Међутим, може постојати неколико становника параметри за које вредности не знамо. Процјена максималне вјероватности један је од начина за утврђивање тих непознатих параметара.
Основна идеја иза максималне процене вероватноће је да одредимо вредности ових непознатих параметара. То радимо на такав начин да максимизирамо повезану функцију густоће заједничког вероватноћа или вероватноћа масена функција. То ћемо видети детаљније у даљем тексту. Затим ћемо израчунати неколико примера процене максималне вероватноће.
Кораци за максималну процену вероватноће
Горња дискусија може се сумирати следећим корацима:
- Почните са узорком независних случајних променљивих Кс1, ИКС2,... Иксн из заједничке дистрибуције, свака са функцијом густине вероватноће ф (к; θ1,.. .θк). Тете су непознати параметри.
- Пошто је наш узорак независан, вероватноћа добијања одређеног узорка који посматрамо налазимо се множењем наших вероватноћа заједно. То нам даје вероватну функцију Л (θ 1,.. .θк) = ф (к)1 ;θ1,.. .θк) ф (к)2 ;θ1,.. .θк)... ф (к)н ;θ1,.. .θк) = Π ф (кја ;θ1,.. .θк).
- Затим користимо Израчун да нађемо вредности тете које максимизују нашу вероватноћу функције Л.
- Конкретније, разликујемо вероватну функцију Л у односу на θ ако постоји један параметар. Ако постоји више параметара, израчунавамо парцијалне деривате Л у односу на сваки од тхета параметара.
- Да бисте наставили процес максимизације, поставите дериват Л (или делимичне деривате) једнаку нули и решите за тхета.
- Затим можемо да користимо друге технике (као што је други тест деривата) да бисмо проверили да ли смо пронашли максимум за нашу вероватноћу.
Пример
Претпоставимо да имамо пакет семенки од којих свако има сталну вероватноћу п успеха клијања. Садимо н од ових и рачунајте број оних који извиру. Претпоставимо да свако семе клија независно од осталих. Како одредити максималну вјероватност процјене параметра п?
Започињемо примећивањем да је свако семе моделирано Берноуллијевом дистрибуцијом п. Пустили смо Икс бити 0 или 1, а функција вероватноће масе за једно семе је ф( Икс; п ) = пИкс(1 - п)1 - к.
Наш узорак се састоји од н различит Иксја, сваки од њих има Берноуллијеву дистрибуцију. Сјеме које клија Иксја = 1 и семе које не успева клијати Иксја = 0.
Функцију вероватноће даје:
Л ( п ) = Π пИксја(1 - п)1 - Иксја
Видимо да је могуће преписати функцију вероватноће помоћу закона експонената.
Л ( п ) = пΣ кја(1 - п)н - Σ кја
Затим разликујемо ову функцију у односу на п. Претпостављамо да су вредности за све Иксја су познати, а самим тим и константни. Да бисмо разликовали вероватну функцију, морамо да је користимо правило производа заједно са правилом напајања:
Л '( п ) = Σ кјап-1 + Σ кја (1 - п)н - Σ кја- (н - Σ кја ) пΣ кја(1 - п)н-1 - Σ кја
Преписујемо неке негативне експоненте и имамо:
Л '( п ) = (1/п) Σ кјапΣ кја (1 - п)н - Σ кја- 1/(1 - п) (н - Σ кја ) пΣ кја(1 - п)н - Σ кја
= [(1/п) Σ кја - 1/(1 - п) (н - Σ кја)]јапΣ кја (1 - п)н - Σ кја
Сада, како бисмо наставили процес максимизације, поставили смо ову деривату једнаку нули и решили за п:
0 = [(1/п) Σ кја - 1/(1 - п) (н - Σ кја)]јапΣ кја (1 - п)н - Σ кја
Од п и (1- п) су нула које имамо
0 = (1/п) Σ кја - 1/(1 - п) (н - Σ кја).
Помножавање обе стране једначине са п(1- п) даје нам:
0 = (1 - п) Σ кја - п (н - Σ кја).
Проширимо десну страну и видимо:
0 = Σ кја - п Σ кја - пн + пΣ кја = Σ кја - пн.
Дакле Σ кја = пн и (1 / н) Σ кја = п. То значи да је процењивач највеће вероватноће п је просечна вредност узорка. Тачније, то је узорак семена које је клијало. То је савршено у складу са оним што би нам интуиција рекла. Да бисте одредили удео семена које ће клијати, прво размотрите узорак из популације која вас занима.
Измене корака
Неке су измене горње листе корака. На пример, као што смо видели горе, обично се исплати провести неко време користећи неку алгебру да би се поједноставио израз функције вероватноће. Разлог је у томе што је диференцијацију лакше извршити.
Још једна промена горње листе корака је разматрање природних логаритми. Максимум за функцију Л појавит ће се у истој тачки као и за природни логаритам Л. Тако је максимирање лн Л еквивалентно максимизирању функције Л.
Много пута, због присуства експоненцијалних функција у Л, узимање природног логаритма Л знатно ће поједноставити део нашег рада.
Пример
Видимо како користити природни логаритам ревидирањем примера одозго. Почињемо са функцијом вероватноће:
Л ( п ) = пΣ кја(1 - п)н - Σ кја .
Затим користимо наше законе логаритма и видимо да:
Р ( п ) = лн Л ( п ) = Σ кја лн п + (н - Σ кја) лн (1 - п).
Већ видимо да је дериват много лакше израчунати:
Р '( п ) = (1/п) Σ кја - 1/(1 - п)(н - Σ кја) .
Сада, као и раније, поставили смо овај дериват једнак нули и обе стране помножили са п (1 - п):
0 = (1- п ) Σ кја - п(н - Σ кја) .
Ми се решимо за п и наћи исти резултат као и пре.
Употреба природног логаритма Л (п) је корисна на други начин. Много је лакше израчунати други дериват Р (п) да бисмо проверили да ли заиста имамо максимум у тачки (1 / н) Σ кја = п.
Пример
За други пример, претпоставимо да имамо случајни узорак Кс1, ИКС2,... Иксн из популације коју моделирамо експоненцијалном дистрибуцијом. Функција густине вероватноће за једну случајну променљиву је облика ф( Икс ) = θ-1е -Икс/θ
Функција вероватноће је дата функцијом заједничке густине вероватноће. Ово је производ неколико следећих функција густине:
Л (θ) = Π θ-1е -Иксја/θ = θ-не -ΣИксја/θ
Још једном је корисно размотрити природни логаритам функције вероватноће. Ако би се то разликовало, биће потребно мање рада од разликовања вероватноће:
Р (θ) = лн Л (θ) = лн [θ-не -ΣИксја/θ]
Користимо наше законе логаритми и добијамо:
Р (θ) = лн Л (θ) = - н лн θ + -ΣИксја/θ
Разликујемо с обзиром на θ и имамо:
Р '(θ) = - н / θ + ΣИксја/θ2
Поставите овај дериват једнак нули и видимо да:
0 = - н / θ + ΣИксја/θ2.
Помножите обе стране са θ2 а резултат је:
0 = - н θ + ΣИксја.
Сада користите алгебру да решите за θ:
θ = (1 / н) ΣИксја.
Из овог видимо да је узорак значи оно што максимизира функцију вероватноће. Параметар θ који одговара нашем моделу једноставно би требао бити средина свих наших опажања.
Везе
Постоје и друге врсте процењивача. Једна алтернативна врста процене назива се ан непристрани процјенитељ. За овај тип морамо израчунати очекивану вредност наше статистике и утврдити да ли одговара одговарајућем параметру.