Pontszám (statisztika) - Score (statistics)

A statisztikákban a pontszám (vagy informátor ) a log-likelihood függvény gradiense a paramétervektor vonatkozásában . A paramétervektor egy adott pontján kiértékelve a pontszám a log-likelihood függvény meredekségét és ezáltal a paraméterértékek végtelen kicsi változásai iránti érzékenységet jelzi . Ha a log-likelihood függvény folyamatos a paraméterterületen , akkor a pontszám helyi maximumon vagy minimumon eltűnik ; ezt a tényt használják a maximális valószínűség becslésében, hogy megtalálják azokat a paraméterértékeket, amelyek maximalizálják a valószínűségi függvényt.

Mivel a pontszám függvénye a megfigyelések , hogy vannak kitéve mintavételi hiba , alkalmas arra, hogy egy vizsgálati statisztika ismert pontszám teszt , amelyben a paraméter tartott egy adott értéket. Ezenkívül két valószínűségi függvény két különböző paraméterértéken értékelt aránya a pontszámfüggvény határozott integráljának tekinthető.

Meghatározás

A pontszám a valószínűségfüggvény természetes logaritmusának gradiense ( részleges deriváltvektora ) , egy m -dimenziós paramétervektor vonatkozásában . ${\ displaystyle \ log {\ mathcal {L}} (\ theta)}$${\ displaystyle \ theta}$

${\ displaystyle s (\ theta) \ equiv {\ frac {\ részleges \ napló {\ matematikai {L}} (\ téta)} {\ részleges \ téta}}}$

Így a differenciálás egy sorvektorot eredményez , és jelzi a valószínűség érzékenységét (származéka az értékével normalizálva). ${\ displaystyle (1 \ m -szer)}$

A régebbi szakirodalomban a "lineáris pontszám" utalhat a pontszámra az adott sűrűség végtelen kis fordítása tekintetében. Ez a konvenció abból az időből származik, amikor az elsődleges érdeklődési paraméter az eloszlás átlaga vagy mediánja volt. Ebben az esetben a megfigyelés valószínűségét a forma sűrűsége adja . A "lineáris pontszám" ekkor a következőképpen van definiálva ${\ displaystyle {\ mathcal {L}} (\ theta; X) = f (X+\ theta)}$

${\ displaystyle s _ {\ rm {linear}} = {\ frac {\ partial} {\ részleges X}} \ log f (X)}$

Tulajdonságok

Átlagos

Bár az eredmény függvénye , ez attól is függ a megfigyelések , amelynél a likelihood függvény értékelik, és figyelembe véve a véletlen jellegű mintavétel egyik hozhat annak várható értéke felett minta helyet . Bizonyos szabályszerűségi feltételek mellett a véletlenszerű változók sűrűségfüggvényeinél a pontszám várható értéke a valódi paraméterértékkel értékelve nulla. Hogy ez átírni a likelihood függvény , mint egy valószínűségi sűrűségfüggvény , és jelöli a minta teret . Azután: ${\ displaystyle \ theta}$${\ displaystyle \ mathbf {x} = (x_ {1}, x_ {2}, \ ldots x_ {T})}$${\ displaystyle \ theta}$${\ displaystyle {\ mathcal {L}}}$ ${\ displaystyle {\ mathcal {L}} (\ theta; x) = f (x; \ theta)}$ ${\ displaystyle {\ mathcal {X}}}$

${\ displaystyle {\ begin {aligned} \ operatornév {E} (s \ mid \ theta) & = \ int _ {\ mathcal {X}} f (x; \ theta) {\ frac {\ partial} {\ részleges \ theta}} \ log {\ mathcal {L}} (\ theta; x) \, dx \\ [6pt] & = \ int _ {\ mathcal {X}} f (x; \ theta) {\ frac { 1} {f (x; \ theta)}} {\ frac {\ részleges f (x; \ theta)} {\ részleges \ teta}} \, dx = \ int _ {\ mathcal {X}} {\ frac {\ részleges f (x; \ téta)} {\ részleges \ téta}} \, dx \ vége {igazított}}}$

A feltételezett szabályszerűségi feltételek lehetővé teszik a derivált és az integrál felcserélését (lásd Leibniz integrálszabályát ), ezért a fenti kifejezés átírható

${\ displaystyle {\ frac {\ partial} {\ részleges \ theta}} \ int _ {\ mathcal {X}} f (x; \ theta) \, dx = {\ frac {\ partial} {\ részleges \ téta }} 1 = 0.}$

Érdemes szavakkal megismételni a fenti eredményt: a pontszám várható értéke nulla. Így, ha valaki ismételten mintát vesz valamilyen eloszlásból, és többször kiszámítja a pontszámot, akkor a pontszámok átlagértéke aszimptotikusan nullára csökken .

Variancia

A pontszám szórása ,, a fenti kifejezésből származtatható a várható értékre. ${\ displaystyle \ operatornév {Var} (s (\ theta)) = \ operatorname {E} (s (\ theta) s (\ theta)^{\ mathsf {T}})}$

${\ displaystyle {\ begin {aligned} 0 & = {\ frac {\ partial} {\ részleges \ theta ^{\ mathsf {T}}}} \ operatorname {E} (s \ theta mid) \\ [6pt] & = {\ frac {\ részleges {{részleges \ theta ^{\ mathsf {T}}}} \ int _ {\ mathcal {X}} {\ frac {\ részleges \ napló {\ mathcal {L}} ( \ théta; X)} {\ részleges \ téta}} f (x; \ téta) \, dx \\ [6pt] & = \ int _ {\ mathcal {X}} {\ frac {\ részleges {{részleges \ theta ^{\ mathsf {T}}}} \ bal \ {{\ frac {\ részleges \ napló {\ matematikai {L}} (\ theta; X)} {\ részleges \ téta}} f (x; \ theta) \ right \} \, dx \\ [6pt] & = \ int _ {\ mathcal {X}} \ left \ {{\ frac {\ partial ^{2} \ log {\ mathcal {L}} ( \ theta; X)} {\ részleges \ theta \ részleges \ theta ^{\ mathsf {T}}}} f (x; \ theta)+{\ frac {\ részleges \ log {\ mathcal {L}} (\ théta; X)} {\ részleges \ téta}} {\ frac {\ részleges f (x; \ téta)} {\ részleges \ téta ^{\ mathszf {T}}}} \ jobb \} \, dx \\ [6pt] & = \ int _ {\ mathcal {X}} {\ frac {\ partial ^{2} \ log {\ mathcal {L}} (\ theta; X)} {\ részleges \ theta \ részleges \ téta ^{\ mathsf {T}}}} f (x; \ theta) \, dx+\ int _ {\ mathcal {X}} {\ frac {\ részleges \ napló {\ mathcal {L}} (\ theta; X )} {\ részleges \ téta}} {\ frac {\ partia l {\ mathcal {L}} (\ theta; X)} {\ részleges \ theta ^{\ mathsf {T}}}} \, dx \\ [6pt] & = \ int _ {\ mathcal {X}} {\ frac {\ részleges ^{2} \ napló {\ matematikai {L}} (\ téta; X)} {\ részleges \ téta \ részleges \ téta ^{\ mathszf {T}}}} f (x; \ théta) \, dx+\ int _ {\ mathcal {X}} {\ frac {\ részleges \ napló {\ matematikai {L}} (\ téta; X)} {\ részleges \ téta}} {\ frac {\ részleges \ log {\ mathcal {L}} (\ theta; X)} {\ részleges \ theta ^{\ mathsf {T}}}} f (x; \ theta) \, dx \\ [6pt] & = \ operatorname {E} \ bal ({\ frac {\ részleges ^{2} \ napló {\ matematikai {L}} (\ téta; X)} {\ részleges \ téta \ részleges \ téta ^{\ matematikai {T}}} } \ jobb)+\ operatornév {E} \ bal ({\ frac {\ részleges \ napló {\ matematikai {L}} (\ téta; X)} {\ részleges \ téta}} \ bal [{\ frac {\ részleges \ log {\ mathcal {L}} (\ theta; X)} {\ részleges \ theta}} \ right]^{\ ​​mathsf {T}} \ right) \ end {aligned}}}$

Ezért a pontszám szórása megegyezik a log-valószínűség hesseni mátrixának negatív várható értékével .

${\ displaystyle \ operatornév {E} (s (\ theta) s (\ theta) ^{\ mathsf {T}}) =-\ operatorname {E} \ left ({\ frac {\ partial ^{2} \ log {\ mathcal {L}}} {\ részleges \ theta \ részleges \ theta ^{\ mathsf {T}}}} \ jobb)}$

Ez utóbbit Fisher -információ néven ismerik és írják . Ne feledje, hogy a Fisher -információ nem egy konkrét megfigyelés függvénye, mivel a véletlen változót átlagolták. Ez az információfogalom hasznos, ha összehasonlítjuk egy véletlenszerű folyamat két megfigyelési módszerét . ${\ displaystyle {\ mathcal {I}} (\ theta)}$${\ displaystyle X}$

Példák

Bernoulli folyamat

Fontolja meg egy Bernoulli -folyamat első n kísérletének megfigyelését , és látja, hogy A közülük sikerek, a többi B kudarc, ahol a siker valószínűsége  θ .

Akkor a valószínűsége az ${\ displaystyle {\ mathcal {L}}}$

${\ displaystyle {\ mathcal {L}} (\ theta; A, B) = {\ frac {(A+B)!} {A! B!}} \ theta ^{A} (1- \ theta) ^ {B},}$

tehát a pontszám s az

${\ displaystyle s = {\ frac {1} {\ mathcal {L}}} {\ frac {\ részleges {\ matematikai {L}}} {\ részleges \ téta}} = {\ frac {A} {\ theta }}-{\ frac {B} {1- \ téta}}.}$

Most ellenőrizhetjük, hogy a pontszámra vonatkozó elvárás nulla. Figyelembe véve, hogy a várható A jelentése nθ és a várakozás B jelentése N (1 -  θ ) [visszahívás, hogy A és B jelentése valószínűségi változók], azt látjuk, hogy a várható s jelentése

${\ displaystyle E (s) = {\ frac {n \ theta} {\ theta}}-{\ frac {n (1- \ theta)} {1- \ theta}} = nn = 0.}$

Ellenőrizhetjük a szórását is . Tudjuk, hogy A + B = n (így B =  N  -  A ), és varianciája A jelentése nθ (1 -  θ ), így a varianciája s jelentése ${\ displaystyle s}$

${\ displaystyle {\ begin {aligned} \ operatornév {var} (s) & = \ operatorname {var} \ left ({\ frac {A} {\ theta}}-{\ frac {nA} {1- \ theta }} \ jobb) = \ operatornév {var} \ bal (A \ bal ({\ frac {1} {\ theta}}+{\ frac {1} {1- \ theta}} \ jobb) \ jobb) \ \ & = \ bal ({\ frac {1} {\ theta}}+{\ frac {1} {1- \ theta}} \ jobb)^{2} \ operatornév {var} (A) = {\ frac {n} {\ theta (1- \ theta)}}. \ end {igazítva}}}$

Bináris eredménymodell

A bináris kimenetű modelleknél ( Y = 1 vagy 0) a modell pontozható a jóslatok logaritmusával

${\ displaystyle S = Y \ log (p)+(1-Y) (\ log (1-p))}$

ahol p a becsült modell valószínűsége és S a pontszám.

Alkalmazások

Pontozási algoritmus

A pontozási algoritmus egy iteratív módszer a maximális valószínűség becslő számszerű meghatározására .

Pontszám teszt

Vegye figyelembe, hogy ez a megfigyelés és a függvény függvénye , így általában nem statisztika . Azonban bizonyos alkalmazásokban, például a pontozási tesztben , a pontszámot meghatározott értéken értékelik (például nullhipotézis érték), ebben az esetben az eredmény statisztika. Intuitív módon, ha a korlátozott becslő közel van a valószínűségi függvény maximumához, a pontszám nem térhet el nullától több mint mintavételi hibánál . 1948 -ban CR Rao először bebizonyította, hogy a pontszám négyzete osztva az információs mátrixszal aszimptotikus χ ² -eloszlást követ a nullhipotézis alapján. ${\ displaystyle s}$${\ displaystyle \ theta}$${\ displaystyle \ mathbf {x} = (x_ {1}, x_ {2}, \ ldots x_ {T})}$${\ displaystyle \ theta}$

Továbbá vegye figyelembe, hogy a valószínűségi arány vizsgálatát a

${\ displaystyle -2 \ left [\ log {\ mathcal {L}} (\ theta _ {0}) -\ log {\ mathcal {L}} ({\ hat {\ theta}}) \ right] = 2 \ int _ {\ theta _ {0}}^{\ kalap {\ theta}} {\ frac {d \, \ log {\ mathcal {L}} (\ theta)} {d \ theta}} \, d \ theta = 2 \ int _ {\ theta _ {0}}^{\ hat {\ theta}} s (\ theta) \, d \ theta}$

ami azt jelenti, hogy a likelihood-ratio teszt az és közötti pontszámfüggvény alatti területként értelmezhető . ${\ displaystyle \ theta _ {0}}$${\ displaystyle {\ hat {\ theta}}}$

Lásd még

• Fisher információ
• Információelmélet
• Pontszám teszt
• Pontozási algoritmus
• Standard pontszám
• Támogatási görbe

Megjegyzések

Hivatkozások

• Chentsov, NN (2001) [1994], "Informátor" , Encyclopedia of Mathematics , EMS Press
• Cox, DR; Hinkley, DV (1974). Elméleti statisztika . Chapman & Hall. ISBN 0-412-12420-3.
• Schervish, Mark J. (1995). A statisztika elmélete . New York: Springer. 2.3.1. Szakasz ISBN 0-387-94546-6.