2017/07/07
2020/04/14
尤度関数、スコア関数、フィッシャー情報量とは？
このページでは、尤度関数、対数尤度関数、スコア関数、フィッシャー情報量について解説します。それぞれ繋がりがありますので、一つの記事にまとめました。
尤度関数、対数尤度関数、スコア関数とは？
尤度関数、対数尤度関数、スコア関数の定義は次のようになります。
パラメータが\(\theta\)である母集団の従う分布の確率密度関数を\(f(x;\theta)\)としたとき、
・尤度関数
$$L(\theta)=f(x;\theta)$$
・対数尤度関数
$$l(\theta)=logL(\theta)$$
・スコア関数
$$V(\theta)=\frac{\partial}{\partial\theta}l(\theta)=\frac{\partial}{\partial\theta}logL(\theta)$$
となる。
尤度関数は密度関数と形は同じですが、密度関数は\(\theta\)を固定した上でのxの関数であるのに対し、尤度関数はxを固定した上での\(\theta\)の関数として見ています。
対数尤度関数は尤度関数に対数をとったもの、スコア関数は対数尤度関数を微分したものです。
スコア関数の性質
スコア関数は、期待値をとると
\(E[V(X,\theta)]=\int f(x;\theta)\frac{\partial}{\partial\theta}logf(x;\theta)dx\)
\(=\int f(x;\theta)\frac{\frac{\partial}{\partial\theta}f(x;\theta)}{f(x;\theta)}dx\)
\(=\int\frac{\partial}{\partial\theta}f(x;\theta)dx\)
\(=\frac{\partial}{\partial\theta}\int f(x;\theta)dx\)
\(=0\)
が得られます。つまり、スコア関数の期待値は0になります。
フィッシャー情報量とは？
フィッシャー情報量の定義は以下のようになります。
スコア関数を\(V(\theta)\)とすると、
$$J_n(\theta)=Var[V(\theta)]$$
となる\(J_n(\theta)\)をフィッシャー情報量という
つまりフィッシャー情報量はスコア関数の分散です。
また、スコア関数の期待値が0になるという性質から、
\(J_n(\theta)=Var[V(\theta)]=E[V(\theta)^2]-E[V(\theta)]^2=E[V(\theta)^2]\)
となります。こちらもよく使われるのでまとめておきます。
フィッシャー情報量\(J_n(\theta)\)は
$$J_n(\theta)=E[V(\theta)^2]=E[(\frac{\partial}{\partial\theta}logf(x;\theta))^2]$$
となる
Recommended