2017/07/07
2020/04/14
クラメール-ラオの下限とは？解説と証明
このページではクラメール-ラオの下限の解説と証明をしていきます。クラメール-ラオの下限は、推定の有効性に関して重要です（参考：有効推定量とは？わかりやすく解説）。
クラメール-ラオの下限とは？
クラメール-ラオの下限は次のようになります。
不偏推定量\(\hat{\theta}\)に対して、以下を満たす。
$$V[\hat{\theta}]\geq J_n(\theta)^{-1}$$
ただし、\(J_n(\theta)\)はフィッシャー情報量である。
（フィッシャー情報量に関してはこちら）
クラメール-ラオの下限の証明
\(\hat{\theta}\)を不偏推定量とすると
\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)
\(=Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]\)
ここで、相関係数の性質より
\((-1\leq)\frac{Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]}{\sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}}\leq 1\)
である
\(\leq \sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)
\(=\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)
となります。ここで左辺は
\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)
\(=E[\hat{\theta}\frac{\partial}{\partial\theta}logf(X;\theta)]-\theta E[\frac{\partial}{\partial\theta}logf(X;\theta)]\)
スコア関数の期待値は0である（参考：尤度関数、スコア関数、フィッシャー情報量とは？）
\(=\frac{\partial}{\partial\theta}E[\hat\theta]\)
\(=\frac{\partial}{\partial\theta}\theta\)
\(=1\)
となります。よって両辺を比較すると
\(1\leq\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)
両辺2乗
\(\Leftrightarrow 1\leq V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]\)
\(\Leftrightarrow \frac{1}{V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\leq V[\hat{\theta}]\)
\(V[\frac{\partial}{\partial\theta}logf(X;\theta)]=J_n(\theta)\)である（参考：尤度関数、スコア関数、フィッシャー情報量とは？）
\(\Leftrightarrow J_n(\theta)^{-1}\leq V[\hat{\theta}]\)
より証明されました。
Recommended