Valószínűségi függvény - Likelihood function

A valószínűségi függvény (gyakran egyszerűen valószínűségnek nevezik ) a megfigyelt adatok együttes valószínűségét írja le a választott statisztikai modell paramétereinek függvényében . A valószínűségi függvény ezért a paramétertér minden egyes paraméterértékéhez hozzárendel egy valószínűségi előrejelzést a megfigyelt adatokhoz . Mivel ez valójában a mintavételi sűrűség szorzata , a valószínűség általában magában foglalja mind az adatgenerálási folyamatot, mind a hiányzó adatmechanizmust , amely a megfigyelt mintát előállította. ${\displaystyle \theta }$${\displaystyle p(y|\theta )}$${\displaystyle y}$

Hangsúlyozni, hogy a valószínűsége nem egy pdf a paraméterek, gyakran írva . A maximális valószínűségi becslés során a valószínűségi függvényt maximalizáljuk, hogy megkapjuk azt a fajlagos értéket , amely a legvalószínűbb, hogy a megfigyelt adatokat előállította. Eközben Bayes-statisztika , a likelihood függvény szolgál vezeték, amelyen keresztül mintainformációkkal hatások , az utólagos valószínűség paraméter. ${\displaystyle {\mathcal {L}}(\theta |y)}$${\displaystyle {\hat {\theta }}=\operatorname {argmax} _{\theta \in \Theta }{\mathcal {L}}(\theta |y)}$${\displaystyle p(\theta |y)}$

A valószínűség kihasználására először RA Fisher hivatkozott , aki úgy vélte, hogy ez önálló keret a statisztikai modellezéshez és a következtetéshez. Később Barnard és Birnbaum egy olyan gondolatmenetet vezetett , amely a valószínűség elvét szorgalmazta , és azt feltételezte, hogy a következtetéshez szükséges minden információ megtalálható a valószínűségi függvényben. De mindkét frequentist és Bayes- statisztika, a likelihood függvény alapvető szerepet játszik.

Meghatározás

A valószínűségi függvényt általában eltérően határozzák meg a diszkrét és folyamatos valószínűségi eloszlások esetén. Általános meghatározás is lehetséges, amint azt az alábbiakban tárgyaljuk.

Diszkrét valószínűségi eloszlás

Legyen egy diszkrét véletlen változó , valószínűségi tömegfüggvénnyel egy paramétertől függően . Aztán a funkció ${\displaystyle X}$ ${\displaystyle p}$${\displaystyle \theta }$

${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x),}$

tekinteni függvényében , a likelihood függvény , mivel a kimenetele a véletlen változó . Előfordul, hogy a valószínűsége "értékét az a paraméter értéke " van írva, mint P ( X = X | θ ) vagy P ( X = X ; θ ) . nem tévesztendő össze ; a valószínűség megegyezik annak a valószínűségével, hogy egy adott eredmény megfigyelhető, amikor a paraméter valódi értéke , és ezért egyenlő az eredmény feletti valószínűségi sűrűséggel , nem pedig a paraméter felett . ${\displaystyle \theta }$ ${\displaystyle x}$${\displaystyle X}$${\displaystyle x}$${\displaystyle X}$${\displaystyle \theta }$ ${\displaystyle {\mathcal {L}}(\theta \mid x)}$${\displaystyle p(\theta \mid x)}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$${\displaystyle \theta }$

Ha nincs esemény (nincs adat), a valószínűség és így a valószínűség 1; minden nem triviális esemény kisebb valószínűséggel rendelkezik.

Példa

Tekintsünk egy egyszerű statisztikai modellt az érmefordításhoz: egyetlen paraméter, amely kifejezi az érme "igazságosságát". A paraméter annak a valószínűsége, hogy egy érme felfelé dobva ("H") landol dobáskor. bármilyen értéket felvehet a 0,0 és 1,0 közötti tartományban. A tökéletesen tisztességes érméhez , . ${\displaystyle p_{\text{H}}}$${\displaystyle p_{\text{H}}}$${\displaystyle p_{\text{H}}=0.5}$

Képzelje el, hogy kétszer felforgat egy tisztességes érmét, és figyeli a következő adatokat: két fej két dobással ("HH"). Feltételezve, hogy minden egymást követő érmefordítás iid , akkor a HH megfigyelésének valószínűsége az

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.5)=0.5^{2}=0.25.}$

Ezért, tekintettel a megfigyelt HH adatokra, annak valószínűsége, hogy a modellparaméter egyenlő 0,5 -vel, 0,25. Matematikailag ez így van írva ${\displaystyle p_{\text{H}}}$

${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.5\mid {\text{HH}})=0.25.}$

Ez nem ugyanaz, mint azt mondani, hogy annak valószínűsége, hogy a HH megfigyelés alapján 0,25. (Ehhez alkalmazhatjuk Bayes -tételt , ami azt jelenti, hogy a hátsó valószínűség arányos a valószínűség és az előbbi valószínűség szorzatával.) ${\displaystyle p_{\text{H}}=0.5}$

Tegyük fel, hogy az érme nem fair érme, de van . Akkor két fej megszerzésének valószínűsége az ${\displaystyle p_{\text{H}}=0.3}$

${\displaystyle P({\text{HH}}\mid p_{\text{H}}=0.3)=0.3^{2}=0.09.}$

Ennélfogva

${\displaystyle {\mathcal {L}}(p_{\text{H}}=0.3\mid {\text{HH}})=0.09.}$

Általánosságban elmondható, hogy minden értékre kiszámíthatjuk a megfelelő valószínűséget. Az ilyen számítások eredménye az 1. ábrán látható. ${\displaystyle p_{\text{H}}}$

Az 1. ábrán a valószínűség integrálja a [0, 1] intervallumon belül 1/3. Ez szemlélteti a valószínűségek fontos aspektusát: a valószínűségekkel ellentétben a valószínűségekkel nem kell integrálni (vagy összegezni) az 1 -hez.

Folyamatos valószínűségi eloszlás

Hagy egy véletlen változó követően abszolút folytonos valószínűségi eloszlás a sűrűségfüggvénye (függvényében ), amely függ a paraméter . Aztán a funkció ${\displaystyle X}$ ${\displaystyle f}$${\displaystyle x}$${\displaystyle \theta }$

${\displaystyle {\mathcal {L}}(\theta \mid x)=f_{\theta }(x),\,}$

függvényeként tekintjük, a valószínűségi függvényt ( a következménye alapján ). Előfordul, hogy a függvényt „értékét az adott paraméter értékét ” van írva, mint . A valószínűségi függvényt,, nem szabad összetéveszteni a következővel : a valószínűség megegyezik a megfigyelt eredmény valószínűségi sűrűségével , amikor a paraméter valódi értéke , és ezért egyenlő az eredmény feletti valószínűségi sűrűséggel , azaz a valószínűségi függvény nem sűrűség a paraméter felett . Egyszerűen fogalmazva, ez a hipotézis tesztelése (a változó eredmények valószínűségének megállapítása a nullhipotézisben meghatározott paraméterkészlet alapján ), mint a következtetés (a valószínű paraméterek megtalálása adott eredmény alapján). ${\displaystyle \theta }$${\displaystyle \theta }$ ${\displaystyle x}$${\displaystyle X}$${\displaystyle x}$${\displaystyle X}$${\displaystyle \theta }$ ${\displaystyle f(x\mid \theta )}$${\displaystyle {\mathcal {L}}(\theta \mid x)}$${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle {\mathcal {L}}(\theta \mid x)}$${\displaystyle f(x\mid \theta )}$

Általánosságban

Az intézkedés-elméleti valószínűség elmélet , a sűrűség függvény van definiálva, mint a radon-Nikodym származékot a valószínűség-eloszlás egy közös vonatkoztatási domináló mérték. A valószínűségi függvény az, hogy a sűrűség a paraméter (esetleg vektor) függvényében értelmezhető, nem pedig a lehetséges kimenetek. Ez minden valószínűségi függvényt biztosít minden statisztikai modellhez minden eloszlással, legyen az diszkrét, abszolút folyamatos, keverék vagy valami más. (A valószínűségek csak akkor lesznek összehasonlíthatóak, pl. A paraméterbecslésnél, ha ugyanazon domináns mérték tekintetében Radon – Nikodym származékok.)

A diszkrét valószínűségekkel való valószínűség fenti tárgyalása ennek egy speciális esete , amikor a számláló mértéket használjuk , amely a valószínűségi sűrűséget bármelyik eredménynél egyenlővé teszi az egyetlen eredmény valószínűségével.

Egy paraméterezett modell valószínűségi függvénye

Sok alkalmazás közül itt széles körű elméleti és gyakorlati jelentőségűnek tartjuk. Adott egy paraméteres családja a sűrűségfüggvényeket (vagy valószínűségi tömegfüggvény esetében diszkrét eloszlások)

${\displaystyle x\mapsto f(x\mid \theta ),\!}$

ahol az a paraméter, a likelihood függvény az ${\displaystyle \theta }$

${\displaystyle \theta \mapsto f(x\mid \theta ),\!}$

írott

${\displaystyle {\mathcal {L}}(\theta \mid x)=f(x\mid \theta ),\!}$

hol van a kísérlet megfigyelt eredménye. Más szóval, ha úgy tekintik, mint függvényében a fix, ez egy valószínűségi sűrűségfüggvény, és nézve függvényében a fix, akkor valószínű funkciót. ${\displaystyle x}$${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$${\displaystyle \theta }$${\displaystyle x}$

Ez nem azonos azzal a valószínűséggel, hogy a megfigyelt minta alapján ezek a paraméterek a megfelelőek. A hipotézis valószínűségének értelmezésére tett kísérlet megfigyelt bizonyítékot adott, mivel a hipotézis valószínűsége gyakori hiba, amely katasztrofális következményekkel járhat. Lásd erre az ügyész tévedését .

Geometriai szempontból, ha két változó függvényének tekintjük , akkor a valószínűségi eloszlások családja az -axisszal párhuzamos görbék családjának tekinthető , míg a valószínűségi függvények családja az -axisszal párhuzamos ortogonális görbék . ${\displaystyle f(x\mid \theta )}$${\displaystyle x}$${\displaystyle \theta }$

A folyamatos elosztás valószínűsége

A valószínűségi sűrűség használata a valószínűségi függvény fenti meghatározásakor a következőképpen indokolt. Egy megfigyelés alapján az intervallum valószínűségét , ahol egy állandó, az adja . Ezt figyelje meg ${\displaystyle x_{j}}$${\displaystyle [x_{j},x_{j}+h]}$${\displaystyle h>0}$${\displaystyle {\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])}$,

mivel pozitív és állandó. Mivel ${\displaystyle h}$

${\displaystyle \operatorname {argmax} _{\theta }{\frac {1}{h}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}\Pr(x_{j}\leq x\leq x_{j}+h\mid \theta )=\operatorname {argmax} _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx,}$

ahol a valószínűségi sűrűség függvény, ebből következik ${\displaystyle f(x\mid \theta )}$

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])=\operatorname {argmax} _{\theta }{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx}$.

A számítás első alaptétele és a l'Hôpital -szabály együttesen ezt biztosítja

${\displaystyle {\begin{aligned}&\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx=\lim _{h\to 0^{+}}{\frac {{\frac {d}{dh}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx}{\frac {dh}{dh}}}\\[4pt]={}&\lim _{h\to 0^{+}}{\frac {f(x_{j}+h\mid \theta )}{1}}=f(x_{j}\mid \theta ).\end{aligned}}}$

Azután

${\displaystyle {\begin{aligned}&\operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta }\left[\lim _{h\to 0^{+}}{\mathcal {L}}(\theta \mid x\in [x_{j},x_{j}+h])\right]\\[4pt]={}&\operatorname {argmax} _{\theta }\left[\lim _{h\to 0^{+}}{\frac {1}{h}}\int _{x_{j}}^{x_{j}+h}f(x\mid \theta )\,dx\right]=\operatorname {argmax} _{\theta }f(x_{j}\mid \theta ).\end{aligned}}}$

Ezért,

${\displaystyle \operatorname {argmax} _{\theta }{\mathcal {L}}(\theta \mid x_{j})=\operatorname {argmax} _{\theta }f(x_{j}\mid \theta ),\!}$

és így a valószínűségi sűrűség maximalizálása a konkrét megfigyelés valószínűségének maximalizálásával . ${\displaystyle x_{j}}$${\displaystyle x_{j}}$

Valószínűségek a vegyes folyamatos és diszkrét elosztásokhoz

A fentieket egyszerű módon ki lehet terjeszteni, figyelembe véve az eloszlásokat, amelyek diszkrét és folyamatos komponenseket is tartalmaznak. Tegyük fel, hogy az eloszlás számos diszkrét valószínűségi tömegről és sűrűségből áll , ahol az integrálhoz adott összes összege mindig egy. Feltéve, hogy lehetséges megkülönböztetni a diszkrét valószínűségi tömegek egyikének megfelelő megfigyelést a sűrűségkomponensnek megfelelő megfigyeléstől, a folytonos komponensből származó megfigyelés valószínűségi függvénye a fentiek szerint kezelhető. A diszkrét komponensből származó megfigyelés esetén a diszkrét komponensből származó megfigyelés valószínűségi függvénye egyszerűen ${\displaystyle p_{k}\theta }$${\displaystyle f(x\mid \theta )}$${\displaystyle p}$${\displaystyle f}$

${\displaystyle {\mathcal {L}}(\theta \mid x)=p_{k}(\theta ),\!}$

ahol a megfigyelésnek megfelelő diszkrét valószínűségi tömeg indexe , mivel a valószínűségi tömeg (vagy valószínűség) maximalizálása olyan mértékben, hogy maximalizálja a konkrét megfigyelés valószínűségét. ${\displaystyle k}$${\displaystyle x}$${\displaystyle x}$

Az a tény, hogy a valószínűségi függvény olyan módon határozható meg, amely nem arányos hozzájárulásokat is tartalmaz (a sűrűséget és a valószínűségi tömeget), abból adódik, hogy a valószínűségi függvényt az arányossági állandóig határozzák meg, ahol ez az "állandó" változhat a megfigyeléssel , de nem a paraméterrel . ${\displaystyle x}$${\displaystyle \theta }$

Rendszerességi feltételek

A paraméterbecslés összefüggésében a valószínűségi függvényről általában feltételezik, hogy engedelmeskedik bizonyos feltételeknek, az úgynevezett szabályossági feltételeknek. Ezeket a feltételeket a valószínűségi függvényekkel kapcsolatos különböző bizonyítékok feltételezik , és ezeket minden egyes alkalmazásban ellenőrizni kell. A maximális valószínűség becsléséhez a valószínűségi függvény globális maximumának létezése rendkívül fontos. A szélsőérték -tétel szerint elegendő, ha a valószínűségi függvény folyamatos egy kompakt paraméterterületen, hogy a maximális valószínűségi becslő létezzen. Míg a folyamatosság feltételezése általában teljesül, a paramétertér kompaktsági feltételezése gyakran nem, mivel a valódi paraméterértékek határai ismeretlenek. Ebben az esetben a valószínűségi függvény homorúsága kulcsszerepet játszik.

Pontosabban, ha a valószínűségi függvény kétszer folyamatosan differenciálható a k -dimenziós paramétertéren, amelyről azt feltételezzük, hogy nyitott csatlakoztatott részhalmaza , akkor létezik egy egyedi maximum, ha ${\displaystyle \Theta }$ ${\displaystyle \mathbb {R} ^{k}}$${\displaystyle {\hat {\theta }}\in \Theta }$

${\displaystyle \mathbf {H} (\theta )=\left\{{\frac {\partial ^{2}L}{\partial \theta _{i}\partial \theta _{j}}}\right\}}$jelentése negatív határozott minden amelyre gradiens eltűnik, és a${\displaystyle \theta \in \Theta }$${\displaystyle \nabla L=\left\{\partial L/\partial \theta _{i}\right\}}$

${\displaystyle \lim _{\theta \to \partial \Theta }L(\theta )=0}$, azaz a valószínűségi függvény megközelíti a paramétertér határán lévő állandó értéket , amely korlátlan esetben tartalmazhatja a végtelenben lévő pontokat .${\displaystyle \Theta }$

Mäkeläinen et al. bizonyítsa ezt az eredményt a Morse elmélet segítségével, miközben informálisan vonzza a hegyi hágó tulajdonságait. Mascarenhas a hegyi hágó tételét felhasználva bizonyítja újra bizonyítékát .

A maximális valószínűség -becslő következetességének és aszimptotikus normalitásának bizonyításaiban további feltételezéseket tesznek az adott valószínűségi függvény alapját képező valószínűségi sűrűségekre vonatkozóan. Ezeket a feltételeket először Chanda állapította meg. Különösen a szinte minden , és minden , ${\displaystyle x}$${\displaystyle \theta \in \Theta }$

${\displaystyle {\frac {\partial \log f}{\partial \theta _{r}}}\,,\quad {\frac {\partial ^{2}\log f}{\partial \theta _{r}\partial \theta _{s}}}\,,\quad {\frac {\partial ^{3}\log f}{\partial \theta _{r}\partial \theta _{s}\partial \theta _{t}}}}$

mindenki számára létezik annak érdekében, hogy biztosítani lehessen a Taylor -bővítést . Másodszor, szinte mindenkinek és mindennek így kell lennie ${\displaystyle r,s,t=1,2,\ldots ,k}$${\displaystyle x}$${\displaystyle \theta \in \Theta }$

${\displaystyle \left|{\frac {\partial f}{\partial \theta _{r}}}\right|<F_{r}(x)\,,\quad \left|{\frac {\partial ^{2}f}{\partial \theta _{r}\partial \theta _{s}}}\right|<F_{rs}(x)\,,\quad \left|{\frac {\partial ^{3}f}{\partial \theta _{r}\partial \theta _{s}\partial \theta _{t}}}\right|<H_{rst}(x)}$

hol van ilyen . A származékok ilyen korlátoltságára van szükség ahhoz, hogy lehetővé tegyük az integráljel alatti differenciálást . És végül feltételezzük, hogy az információs mátrix , ${\displaystyle H}$${\displaystyle \int _{-\infty }^{\infty }H_{rst}(z)\mathrm {d} z\leq M<\infty }$

${\displaystyle \mathbf {I} (\theta )=\int _{-\infty }^{\infty }{\frac {\partial \log f}{\partial \theta _{r}}}{\frac {\partial \log f}{\partial \theta _{s}}}f\mathrm {d} z}$

a pozitív definit és véges. Ez biztosítja a pontszám véges szórását. ${\displaystyle \left|\mathbf {I} (\theta )\right|}$

A fenti feltételek elegendőek, de nem szükségesek. Vagyis egy olyan modell, amely nem felel meg ezeknek a rendszerességi feltételeknek, rendelkezhet a fent említett tulajdonságok maximális valószínűségi becslésével, vagy nem. Továbbá, nem egymástól függetlenül vagy nem azonos eloszlású megfigyelések esetén további tulajdonságokat kell feltételezni.

A bayesi statisztikákban majdnem azonos szabályszerűségi feltételeket írnak elő a valószínűségi függvényre, hogy igazolják a hátsó valószínűség Laplace -közelítését .

Valószínűségi arány és relatív valószínűség

Valószínűségi arány

A valószínűségi arány bármely két meghatározott valószínűség aránya, amelyet gyakran így írnak:

${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)={\frac {{\mathcal {L}}(\theta _{1}\mid x)}{{\mathcal {L}}(\theta _{2}\mid x)}}}$

A valószínűségi arány központi szerepet játszik a valószínűségi statisztikákban : a valószínűségi törvény kimondja, hogy a valószínűségi arány méri, hogy az adatok (bizonyítéknak tekintett -e) az egyik paraméter értékét a másikkal szemben.

A gyakori következtetések során a valószínűségi arány az alapja egy tesztstatisztikának , az úgynevezett likelihood-ratio tesztnek . A Neyman-Pearson lemma , ez a legnagyobb teljesítményű teszt összehasonlítására két egyszerű hipotézisek egy adott szignifikancia szinten . Számos más teszt is valószínűségi arány tesztnek vagy annak közelítésének tekinthető. A teszt-statisztikának tekintett log-likelihood arány aszimptotikus eloszlását Wilks tétele adja meg .

Annak a valószínűsége, aránya is központi szerepet játszik a Bayes-féle következtetés , ahol az úgynevezett Bayes faktor , és használják a Bayes-tétel . Az esélyekkel kapcsolatban Bayes szabálya kimondja, hogy két alternatíva utólagos esélye, és adott esemény esetén az előzetes esély, a valószínűségi arány szorzata. Egyenletként: ${\displaystyle A_{1}}$${\displaystyle A_{2}}$${\displaystyle B}$

${\displaystyle O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B).}$

A valószínűségi arányt nem közvetlenül használják az AIC-alapú statisztikákban. Ehelyett a modellek relatív valószínűségét használják (lásd alább).

Megkülönböztetés az esélyekkel

Két modell valószínűségi aránya ugyanazon esemény esetén ellentétben állhat két esemény esélyével , ugyanazon modell alapján. A paraméterezett valószínűségi tömegfüggvény szempontjából a paraméter két értékének valószínűségi aránya és az eredmény alapján: ${\displaystyle p_{\theta }(x)}$${\displaystyle \theta _{1}}$${\displaystyle \theta _{2}}$${\displaystyle x}$

${\displaystyle \Lambda (\theta _{1}:\theta _{2}\mid x)=p_{\theta _{1}}(x):p_{\theta _{2}}(x),}$

míg két eredmény esélye, és a paraméter értéke alapján : ${\displaystyle x_{1}}$${\displaystyle x_{2}}$${\displaystyle \theta }$

${\displaystyle O(x_{1}:x_{2}\mid \theta )=p_{\theta }(x_{1}):p_{\theta }(x_{2}).}$

Ez rávilágít a valószínűség és az esélyek közötti különbségre: valószínűség szerint összehasonlítjuk a modelleket (paramétereket), rögzítve az adatokat; míg az esélyekben az ember összehasonlítja az eseményeket (eredményeket, adatokat), rögzítve a modellt.

Az esélyhányados két feltételes szorzó aránya (egy eseményre, tekintettel egy másik esemény jelenlétére vagy hiányára). Az esélyhányados azonban két valószínűségi arány arányaként is értelmezhető, ha az egyik eseményt könnyebben megfigyelhetőnek tartja, mint a másikat. Lásd a diagnosztikai esélyhányados , ahol az eredmény egy diagnosztikai teszt könnyebben megfigyelhető, mint a jelenléte vagy hiánya egy mögöttes orvosi állapot .

Relatív valószínűségi függvény

Mivel a valószínűségi függvény tényleges értéke a mintától függ, gyakran kényelmes szabványos méréssel dolgozni. Tegyük fel, hogy a maximum likelihood becslést a paraméter θ van . Más θ értékek relatív valószínűségét úgy találhatjuk meg, ha összehasonlítjuk ezen egyéb értékek valószínűségét a valószínűséggel . A relatív valószínűségét a θ úgy definiáljuk, hogy ${\displaystyle {\hat {\theta }}}$${\displaystyle {\hat {\theta }}}$

${\displaystyle R(\theta )={\frac {{\mathcal {L}}(\theta \mid x)}{{\mathcal {L}}({\hat {\theta }}\mid x)}}.}$

Így a relatív valószínűség a valószínűségi arány (fent tárgyalt) a fix nevezővel . Ez megfelel annak a valószínűségnek a szabványosítására, hogy legfeljebb 1 legyen. ${\displaystyle {\mathcal {L}}({\hat {\theta }})}$

Valószínűségi régió

A valószínűség régió halmaza összes értéke θ , amelynek relatív valószínűségét nagyobb vagy egyenlő, mint egy adott küszöbérték. Ami a százalékok, a p % valószínűsége régió számára θ úgy definiáljuk, hogy

${\displaystyle \left\{\theta :R(\theta )\geq {\frac {p}{100}}\right\}.}$

Ha θ egyetlen valós paraméter, a p % valószínűségi régió általában egy valós értékek intervallumát tartalmazza . Ha a régió tartalmaz egy intervallumot, akkor valószínűségi intervallumnak nevezzük .

A valószínűségi intervallumokat, és általában a valószínűségi régiókat használják a valószínűségi statisztikákon belüli intervallumbecslésre : hasonlóak a bizalmi intervallumokhoz a gyakori statisztikákban és a hiteles intervallumokhoz a bayesi statisztikákban. A valószínűségi intervallumokat közvetlenül a relatív valószínűség szerint kell értelmezni, nem pedig a lefedettség valószínűsége (frekventizmus) vagy utólagos valószínűség (Bayesianism) szerint.

Egy adott modell alapján a valószínűségi intervallumok összehasonlíthatók a konfidenciaintervallumokkal. Ha θ egyetlen valós paraméter, akkor bizonyos feltételek mellett a 14,65% -os valószínűségi intervallum (kb. 1: 7 valószínűség) θ esetén megegyezik a 95% -os konfidencia intervallummal (19/20 lefedettségi valószínűség). A log-valószínűségek használatára alkalmas kissé eltérő megfogalmazásban (lásd Wilks-tételt ) a tesztstatisztika kétszerese a log-valószínűségek különbségének, és a tesztstatisztika valószínűségi eloszlása ​​megközelítőleg egy chi-négyzet eloszlás a fokokkal -szabadság (df) megegyezik a két modell közötti df -ek különbségével (ezért az e ^-2 valószínűségi intervallum megegyezik a 0,954 -es konfidencia intervallummal; feltételezve, hogy a df -ek közötti különbség 1).

Valószínűségek, amelyek kiküszöbölik a kellemetlen paramétereket

Sok esetben a valószínűség egynél több paraméter függvénye, de az érdeklődés csak egy, vagy legfeljebb néhány becslésére összpontosít, a többit pedig zavaró paramétereknek kell tekinteni . Számos alternatív megközelítést dolgoztak ki az ilyen kellemetlen paraméterek kiküszöbölésére, így a valószínűséget csak az érdeklődő paraméter (vagy paraméterek) függvényében írhatjuk fel: a fő megközelítések a profil, a feltételes és a marginális valószínűségek. Ezek a megközelítések akkor is hasznosak, ha a nagy dimenziós valószínűségi felületet egy vagy két érdekes paraméterre kell csökkenteni, hogy lehetővé váljon a gráf .

A profil valószínűsége

A dimenziók csökkenthetők úgy, hogy a valószínűségi függvényt a paraméterek egy részhalmazára koncentrálják úgy, hogy a zavaró paramétereket az érdekelt paraméterek függvényeként fejezik ki, és helyettesítik a valószínűségi függvényben. Általánosságban elmondható, hogy a valószínűségi függvényhez a paramétervektor függvényében, amely felosztható , és ahol a megfelelés kifejezetten meghatározható, a koncentráció csökkenti az eredeti maximalizálási feladat számítási terheit . ${\displaystyle \mathbf {\theta } }$${\displaystyle \mathbf {\theta } =\left(\mathbf {\theta } _{1}:\mathbf {\theta } _{2}\right)}$${\displaystyle \mathbf {\hat {\theta }} _{2}=\mathbf {\hat {\theta }} _{2}\left(\mathbf {\theta } _{1}\right)}$

Például, egy lineáris regresszió és a normális eloszlású hibák, a koefficiens-vektor lehet megosztjuk be (és következésképpen a szerkezeti mátrix ). A maximalizálás optimális értékfüggvényt eredményez . Ezt az eredményt használva a maximális valószínűség becslője levezethető ${\displaystyle \mathbf {y} =\mathbf {X} \beta +u}$${\displaystyle \beta =\left[\beta _{1}:\beta _{2}\right]}$ ${\displaystyle \mathbf {X} =\left[\mathbf {X} _{1}:\mathbf {X} _{2}\right]}$${\displaystyle \beta _{2}}$${\displaystyle \beta _{2}(\beta _{1})=\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} _{1}\beta _{1}\right)}$${\displaystyle \beta _{1}}$

${\displaystyle {\hat {\beta }}_{1}=\left(\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {X} _{1}\right)^{-1}\mathbf {X} _{1}^{\mathsf {T}}\left(\mathbf {I} -\mathbf {P} _{2}\right)\mathbf {y} }$

ahol a projekciós mátrix a . Ezt az eredményt Frisch – Waugh – Lovell tételnek nevezik . ${\displaystyle \mathbf {P} _{2}=\mathbf {X} _{2}\left(\mathbf {X} _{2}^{\mathsf {T}}\mathbf {X} _{2}\right)^{-1}\mathbf {X} _{2}^{\mathsf {T}}}$${\displaystyle \mathbf {X} _{2}}$

Mivel grafikusan a koncentrációs eljárás egyenértékű a valószínűségi felület szeletelésével a kellemetlenség paraméter értékgerincén, amely maximalizálja a valószínűségi függvényt, és izometrikus profilt hoz létre a valószínűségi függvényhez egy adott adott esetben , ennek az eljárásnak az eredménye profilként is ismert. valószínűség . A grafikus ábrázoláson kívül a profil valószínűségét fel lehet használni olyan megbízhatósági intervallumok kiszámítására is, amelyek gyakran jobb kismintás tulajdonságokkal rendelkeznek, mint a teljes valószínűségből számított aszimptotikus standard hibákon alapulók. ${\displaystyle \beta _{2}}$ ${\displaystyle \beta _{1}}$

Feltételes valószínűség

Néha lehetséges elegendő statisztikát találni a kellemetlen paraméterekre vonatkozóan, és ennek a statisztikának a kondicionálása olyan valószínűséget eredményez, amely nem függ a zavaró paraméterektől.

Az egyik példa a 2 × 2 táblázatokban fordul elő, ahol mind a négy határösszeg kondicionálása feltételes valószínűséghez vezet a nem központi hipergeometriai eloszlás alapján . A kondicionálásnak ez a formája képezi Fisher pontos tesztjének alapját is .

Marginális valószínűség

Néha eltávolíthatjuk a kellemetlen paramétereket úgy, hogy a valószínűséget az adatok csak egy részén alapuló mérlegeléssel vesszük figyelembe, például a számok helyett a rangsor használatával. Egy másik példa a lineáris vegyes modellekben fordul elő , ahol a maradványok valószínűségének figyelembe vétele csak a rögzített hatások illesztése után vezet a variancia komponensek maradék maximális valószínűség becsléséhez.

Részleges valószínűség

A részleges valószínűség a teljes valószínűség olyan kiigazítása, hogy a paramétereknek csak egy része (az érdekelt paraméterek) fordul elő benne. Ez az arányos veszélyek modelljének kulcsfontosságú eleme: a veszélyfüggvény korlátozását alkalmazva a valószínűség nem tartalmazza a veszély időbeli alakját.

Valószínűségek termékei

A valószínűség két vagy több független esemény miatt az egyes események valószínűségeinek szorzata:

${\displaystyle \Lambda (A\mid X_{1}\land X_{2})=\Lambda (A\mid X_{1})\cdot \Lambda (A\mid X_{2})}$

Ez a függetlenség valószínűség -meghatározásából következik: két független esemény bekövetkezésének valószínűsége, adott modell alapján, a valószínűségek szorzata.

Ez különösen akkor fontos, ha az események független és azonos eloszlású véletlen változókból származnak , például független megfigyelésekből vagy mintavételből . Ilyen helyzetben a valószínűségi függvény az egyéni valószínűségi függvények szorzatává válik.

Az üres termék értéke 1, ami megfelel a valószínűségnek, ha nincs esemény, 1: minden adat előtt a valószínűség mindig 1. Ez hasonló a Bayes -i statisztikában szereplő egységes prioritáshoz, de a valószínűség -statisztikákban ez nem helytelen korábban, mert a valószínűségek nincsenek integrálva.

Log-valószínűség

A log-likelihood függvény a valószínűségi függvény logaritmikus transzformációja, amelyet gyakran kisbetűvel l jelölnek, vagy ellentétben az L nagybetűvel vagy a valószínűséggel. Mivel a logaritmusok szigorúan növekvő függvények, a valószínűség maximalizálása egyenlő a log-valószínűség maximalizálásával. Gyakorlati szempontból azonban kényelmesebb a log-likelihood függvénnyel dolgozni a maximális valószínűségi becslésben , különösen mivel a leggyakoribb valószínűségi eloszlások- nevezetesen az exponenciális család- csak logaritmikusan homorúak , és a célfüggvény homorúsága kulcsszerepet játszik a a maximalizálás . ${\displaystyle \ell }$${\displaystyle {\mathcal {L}}}$

Tekintettel az egyes események függetlenségére, a metszés log-valószínűsége megegyezik az egyes események log-valószínűségeinek összegével. Ez analóg azzal a ténnyel, hogy a teljes log-valószínűség az egyes események log-valószínűségének összege. Az ebből adódó matematikai kényelem mellett a log-likelihood hozzáadási folyamatának intuitív értelmezése van, amelyet gyakran az adatok "támogatásaként" fejeznek ki. Amikor a paramétereket a maximális valószínűség becsléséhez a napló-valószínűség segítségével becsüljük meg , minden adatpontot úgy használunk, hogy hozzáadjuk a teljes napló-valószínűséghez. Mivel az adatok a becsült paramétereket alátámasztó bizonyítéknak tekinthetők, ez a folyamat úgy értelmezhető, hogy "független bizonyítékokból származó támogatás ", és a log-valószínűség a "bizonyítékok súlya". Ha a negatív napló-valószínűséget információtartalomként vagy meglepetésként értelmezzük , akkor egy modell támogatása (napló-valószínűsége) adott esemény esetén az esemény meglepetésének negatívuma, tekintettel a modellre: a modellt olyan mértékben támogatja egy esemény hogy az esemény a modell alapján nem meglepő.

A valószínűségi arány logaritmusa megegyezik a log-valószínűségek különbségével:

${\displaystyle \log {\frac {L(A)}{L(B)}}=\log L(A)-\log L(B)=\ell (A)-\ell (B).}$

Ahogy a valószínűség, ha nincs esemény, 1, a napló-valószínűség, ha nincs esemény, 0, ami megfelel az üres összeg értékének: minden adat nélkül nincs támogatás egyetlen modellre sem.

Valószínűségi egyenletek

Ha a log-likelihood függvény gördülékeny , akkor a paraméterre vonatkozó gradiens , az úgynevezett pontszám és írás , létezik, és lehetővé teszi a differenciálszámítás alkalmazását . A differenciálható függvény maximalizálásának alapvető módja az álló pontok (azok a pontok, ahol a derivált nulla) megtalálása; mivel egy összeg deriváltja csak a származékok összege, de egy termék származtatottja megköveteli a termékszabályt , könnyebb kiszámítani a független események log-valószínűségének stacionárius pontjait, mint a független események valószínűségét. ${\displaystyle s_{n}(\theta )\equiv \nabla _{\theta }\ell _{n}(\theta )}$

A pontszámfüggvény álló pontja által meghatározott egyenletek becslési egyenletekként szolgálnak a maximális valószínűségi becslő számára.

${\displaystyle s_{n}(\theta )=\mathbf {0} }$

Ebben az értelemben a maximális valószínűségbecslőt implicit módon az inverz függvény értéke határozza meg , ahol a d -dimenziós euklideszi tér és a paramétertér. Az inverz függvény tétel , ki lehet mutatni, hogy a jól definiált egy nyílt szomszédságában találhatóak valószínűséggel fog egy, és egy következetes becslését . Ennek következtében létezik olyan szekvencia , amely aszimptotikusan szinte biztosan , és . Hasonló eredményt lehet megállapítani Rolle -tétel felhasználásával . ${\displaystyle \mathbf {0} }$ ${\displaystyle s_{n}^{-1}:\mathbb {E} ^{d}\to \Theta }$${\displaystyle \mathbb {E} ^{d}}$${\displaystyle \Theta }$${\displaystyle s_{n}^{-1}}$${\displaystyle \mathbf {0} }$${\displaystyle {\hat {\theta }}_{n}=s_{n}^{-1}(\mathbf {0} )}$${\displaystyle \theta }$${\displaystyle \left\{{\hat {\theta }}_{n}\right\}}$${\displaystyle s_{n}({\hat {\theta }}_{n})=\mathbf {0} }$${\displaystyle {\hat {\theta }}_{n}{\xrightarrow {\text{p}}}\theta _{0}}$

A második derivált , amelyet Fisher -információként ismerünk , meghatározza a valószínűségi felület görbületét, és így jelzi a becslés pontosságát . ${\displaystyle {\hat {\theta }}}$

Exponenciális családok

A napló-valószínűség különösen hasznos az exponenciális eloszláscsaládok esetében, amelyek magukban foglalják a gyakori paraméteres valószínűségi eloszlások nagy részét . Az exponenciális családok valószínűségi eloszlási függvénye (és így a valószínűségi függvény) exponenciális tényezők szorzatait tartalmazza . Az ilyen függvények logaritmusa termékek összege, amelyek megkülönböztetése megint könnyebb, mint az eredeti függvényé.

Az exponenciális család olyan, amelynek valószínűségi sűrűségfüggvénye a következő formátumú (egyes függvények esetében a belső termék írása ): ${\displaystyle \langle -,-\rangle }$

${\displaystyle p(x\mid {\boldsymbol {\theta }})=h(x)\exp {\Big (}\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }}){\Big )}.}$

E kifejezések mindegyikének van értelmezése, de a valószínűségről a valószínűségre való átállás és a logaritmusok felvétele az összeget eredményezi:

${\displaystyle \ell ({\boldsymbol {\theta }}\mid x)=\langle {\boldsymbol {\eta }}({\boldsymbol {\theta }}),\mathbf {T} (x)\rangle -A({\boldsymbol {\theta }})+\log h(x).}$

A és mindegyik a koordináták változásának felel meg , ezért ezekben a koordinátákban az exponenciális család log-valószínűségét az egyszerű képlet adja meg: ${\displaystyle {\boldsymbol {\eta }}({\boldsymbol {\theta }})}$${\displaystyle h(x)}$

${\displaystyle \ell ({\boldsymbol {\eta }}\mid x)=\langle {\boldsymbol {\eta }},\mathbf {T} (x)\rangle -A({\boldsymbol {\eta }}).}$

Szavakkal kifejezve, az exponenciális család log-valószínűsége a természetes paraméter belső terméke és a kellő statisztika , mínusz a normalizációs tényező ( log-partition függvény ) . Így például a maximális valószínűség becslését lehet véve számítottuk ki származékok elegendő statisztika T és a log-partíció funkció A . ${\displaystyle {\boldsymbol {\eta }}}$ ${\displaystyle \mathbf {T} (x)}$${\displaystyle A({\boldsymbol {\eta }})}$

Példa: gamma eloszlás

A gammaeloszlás egy exponenciális család, két paraméterrel, és . A valószínűségi függvény az ${\displaystyle \alpha }$${\displaystyle \beta }$

${\displaystyle {\mathcal {L}}(\alpha ,\beta \mid x)={\frac {\beta ^{\alpha }}{\Gamma (\alpha )}}x^{\alpha -1}e^{-\beta x}.}$

Az egyetlen megfigyelt értékre vonatkozó maximális valószínűségi becslés megállapítása meglehetősen ijesztőnek tűnik. A logaritmusa sokkal egyszerűbben használható: ${\displaystyle \beta }$${\displaystyle x}$

${\displaystyle \log {\mathcal {L}}(\alpha ,\beta \mid x)=\alpha \log \beta -\log \Gamma (\alpha )+(\alpha -1)\log x-\beta x.\,}$

A log-valószínűség maximalizálása érdekében először a részleges deriváltot vesszük figyelembe a következők tekintetében : ${\displaystyle \beta }$

${\displaystyle {\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x)}{\partial \beta }}={\frac {\alpha }{\beta }}-x.}$

Ha számos független megfigyelés létezik , akkor a közös log-valószínűség az egyes log-valószínűségek összege lesz, és ennek az összegnek a származtatott értéke az egyes log-valószínűségek származékainak összege: ${\displaystyle x_{1},\ldots ,x_{n}}$

${\displaystyle {\begin{aligned}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1},\ldots ,x_{n})}{\partial \beta }}\\={}&{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{1})}{\partial \beta }}+\cdots +{\frac {\partial \log {\mathcal {L}}(\alpha ,\beta \mid x_{n})}{\partial \beta }}={\frac {n\alpha }{\beta }}-\sum _{i=1}^{n}x_{i}.\end{aligned}}}$

A közös naplózási valószínűség maximalizálási folyamatának befejezéséhez az egyenletet nullára állítjuk, és megoldjuk : ${\displaystyle \beta }$

${\displaystyle {\widehat {\beta }}={\frac {\alpha }{\bar {x}}}.}$

Itt a maximális valószínűség becslését jelölik, és ez a megfigyelések mintaátlaga . ${\displaystyle {\widehat {\beta }}}$${\displaystyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$

Háttér és értelmezés

Történelmi megjegyzések

A "valószínűség" kifejezést angolul legalább a közép -angol késő óta használják . Hivatalos használatát a matematikai statisztikák egy meghatározott funkciójára való hivatkozásra Ronald Fisher javasolta két, 1921 -ben és 1922 -ben megjelent kutatási cikkében. Az 1921 -es tanulmány bevezette a ma "valószínűségi intervallum" -ot; az 1922 -es dokumentum bevezette a " legnagyobb valószínűség módszer " kifejezést. Fisher -t idézve:

1922 -ben javasoltam a „valószínűség” kifejezést, tekintettel arra a tényre, hogy [a paraméter] tekintetében ez nem valószínűség, és nem engedelmeskedik a valószínűségi törvényeknek, ugyanakkor a [paraméter] lehetséges értékei közül a racionális választás problémájához hasonló viszonyt hordoz, mint amit a valószínűség visel a szerencsejátékok eseményeinek előrejelzésének problémájához. . . . Míg azonban a pszichológiai megítélés tekintetében a valószínűség némileg hasonlít a valószínűséghez, a két fogalom teljesen elkülönül egymástól. . . . "

A valószínűség fogalmát nem szabad összetéveszteni a valószínűséggel, amint azt Sir Ronald Fisher említette

Ezt azért hangsúlyozom, mert annak ellenére, hogy mindig hangsúlyoztam a valószínűség és a valószínűség közötti különbséget, továbbra is fennáll a tendencia, hogy a valószínűséget úgy kezeljük, mintha ez egyfajta valószínűség lenne. Az első eredmény tehát az, hogy a racionális meggyőződésnek két különböző mérőszáma létezik, amelyek megfelelnek a különböző eseteknek. A populáció ismeretében a mintával kapcsolatos hiányos ismereteinket vagy elvárásainkat valószínűség szerint fejezhetjük ki; a minta ismeretében ki tudjuk fejezni hiányossági ismereteinket a valószínűség szempontjából.

Fisher kitalálta a statisztikai valószínűséget, és ellentmondott egy korábbi érvelési formának, az inverz valószínűségnek . A "valószínűség" kifejezés használata rögzítette a kifejezés jelentését a matematikai statisztikában.

AWF Edwards (1972) létrehozta az axiomatikus alapot a log-likelihood ratio használatához, amely az egyik hipotézis relatív alátámasztására szolgál. A támogató függvény ekkor a valószínűségi függvény természetes logaritmusa. Mindkét kifejezést használják a filogenetikában , de nem fogadták el a statisztikai bizonyítékok témájának általános kezelésében.

Értelmezések különböző alapokon

A statisztikusok körében nincs egyetértés abban, hogy mi legyen a statisztika alapja . Négy fő paradigmát javasoltak az alapítvány számára: frekvencia , bayesianizmus , likelihoodizmus és AIC-alapú . A javasolt alapok mindegyikénél a valószínűség értelmezése eltérő. A négy értelmezést az alábbi alfejezetek ismertetik.

Gyakori értelmezés

Bayesi értelmezés

A Bayes -féle következtetésben , bár beszélhetünk bármely állítás vagy véletlen változó valószínűségéről egy másik véletlen változó mellett: például egy paraméterérték vagy egy statisztikai modell valószínűsége (lásd a marginális valószínűséget ), adott adatok vagy egyéb bizonyítékok alapján, a valószínűség függvény ugyanaz az entitás marad, további értelmezésekkel: (i) a paraméterben megadott adatok feltételes sűrűsége (mivel a paraméter ekkor egy véletlen változó), és (ii) a paraméterre vonatkozó adatok által hozott mérték vagy információmennyiség érték vagy akár a modell. A valószínűségi struktúra bevezetése miatt a paramétertérben vagy a modellek gyűjteményében lehetséges, hogy egy paraméterértéknek vagy egy statisztikai modellnek nagy valószínűségi értéke van az adott adatokra, és mégis alacsony a valószínűsége , vagy fordítva. Gyakran előfordul ez orvosi környezetben. A Bayes -szabályt követve a valószínűséget feltételes sűrűségnek tekintve megszorozhatjuk a paraméter korábbi valószínűségi sűrűségével, majd normalizálhatjuk, így utólagos valószínűségi sűrűséget kapunk. Általánosságban elmondható, hogy egy ismeretlen mennyiség valószínűsége egy másik ismeretlen mennyiséggel arányos az adott valószínűséggel . ${\displaystyle X}$${\displaystyle Y}$${\displaystyle Y}$${\displaystyle X}$

Valószínűség -értelmezés

A frequentist statisztikák, a likelihood függvény maga is egy statisztika , amely összegzi egy mintát a lakossága, akiknek számított érték függ a választás számos paraméter θ ₁ ... θ _p , ahol p a száma paraméterek néhány már kiválasztott statisztikai modell . A valószínűség értéke érdemben szolgál a paraméterekhez használt választásnál, és a rendelkezésre álló adatok ismeretében a legnagyobb valószínűségű paraméterkészlet a legjobb választás.

A konkrét számítási valószínűségének a valószínűsége, hogy a megfigyelt mintát lenne rendelve, feltételezve, hogy a modell kiválasztott és az értékeket a több paraméter θ adnak pontos közelítése a gyakorisági eloszlását a lakosság, hogy a megfigyelt mintát vettünk. Heurisztikusan, akkor van értelme, hogy egy jó választás a paraméterek azok, amelyek miatt a minta ténylegesen megfigyelt maximális lehetséges post-hoc valószínűsége van, megtörtént. Wilks-tétel számszerűsíti a heurisztikus szabály azt mutatja, hogy a különbség a logaritmusát a valószínűsége által generált becsült paramétereinek értékeit és logaritmusát a valószínűsége által generált lakosság »igazi« (de ismeretlen) paraméterértékek aszimptotikusan χ ² elosztva .

Minden független minta maximális valószínűségi becslése a becsült populációt leíró "igaz" paraméterkészlet külön becslése. Számos független minta egymást követő becslései csoportosulnak a populáció "valódi" paraméterérték -készletével, amelyek valahol a közepükben vannak elrejtve. A maximális valószínűség és a szomszédos paraméterhalmazok valószínűségeinek logaritmusainak különbsége felhasználható egy megbízhatósági régió rajzolására egy olyan parcellán, amelynek koordinátái a paraméterek θ ₁ ... θ _p . A régió körülveszi a maximális valószínűség becslést, és az adott régión belüli összes pont (paraméterkészlet) legfeljebb log-valószínűségben különbözik valamilyen fix értékkel. A χ ² eloszlás által adott Wilks-tétel alakítja a térség log-likelihood különbségek a »bizalom«, hogy a lakosság »igazi« paraméter készlet hazugság benne. A rögzített napló-valószínűségi különbség megválasztásának művészete az, hogy a bizalmat elfogadhatóan magasra kell hozni, miközben a régiót elfogadhatóan kicsiben kell tartani (szűk becslési tartomány).

Ahogy egyre több adat figyelhető meg, ahelyett, hogy független becslésekhez használnák őket, a korábbi mintákkal kombinálhatók egyetlen kombinált minta létrehozásához, és ez a nagy minta felhasználható egy új maximális valószínűségi becsléshez. A kombinált minta méretének növekedésével az azonos bizalommal járó valószínűségi régió mérete csökken. Végül vagy a bizalmi régió mérete nagyon közel egy pont, vagy a teljes populációt mintavették; mindkét esetben a becsült paraméterkészlet lényegében megegyezik a populáció paraméterkészlettel.

AIC-alapú értelmezés

Az AIC paradigma szerint a valószínűséget az információelmélet keretében értelmezik .

Lásd még

Megjegyzések

Hivatkozások

További irodalom

• Azzalini, Adelchi (1996). "Valószínűség". Statisztikai beavatkozás a valószínűség alapján . Chapman és Hall. 17–50. ISBN 0-412-60650-X.
• Boos, Dennis D .; Stefanski, LA (2013). "Valószínűség építése és becslése". Alapvető statisztikai következtetések: elmélet és módszerek . New York: Springer. 27–124. doi : 10.1007/978-1-4614-4818-1_2 . ISBN 978-1-4614-4817-4.
• Edwards, AWF (1992) [1972]. Valószínűség (kibővített szerk.). Johns Hopkins Egyetemi Kiadó . ISBN 0-8018-4443-6.
• King, Gary (1989). "A valószínűség modellje" . Egységesítő politikai módszertan: a statisztikai beavatkozás valószínűségi elmélete . Cambridge University Press. 59–94. ISBN 0-521-36697-6.
• Lindsey, JK (1996). "Valószínűség" . Paraméteres statisztikai következtetések . Oxford University Press. 69–139. ISBN 0-19-852359-9.
• Rohde, Charles A. (2014). Bevezető statisztikai következtetések a valószínűségi függvénnyel . Berlin: Springer. ISBN 978-3-319-10460-7.
• Royall, Richard (1997). Statisztikai bizonyítékok: valószínűségi paradigma . London: Chapman & Hall. ISBN 0-412-04411-0.
• Ward, Michael D .; Ahlquist, John S. (2018). "A valószínűségi funkció: mélyebb merülés" . Maximum Likelihood for Social Science: Stratégiák az elemzéshez . Cambridge University Press . 21–28. ISBN 978-1-316-63682-4.

Külső linkek

• Likelihood függvény a Planetmath -nál
• "Log-valószínűség" . Statlect .