2017/07/07

2020/04/14

クラメール-ラオの下限とは?解説と証明

統計的推定

ライター:

このページではクラメール-ラオの下限の解説と証明をしていきます。クラメール-ラオの下限は、推定の有効性に関して重要です(参考:有効推定量とは?わかりやすく解説)。

クラメール-ラオの下限とは?

クラメール-ラオの下限は次のようになります。

クラメール-ラオの下限

  不偏推定量\(\hat{\theta}\)に対して、以下を満たす。

$$V[\hat{\theta}]\geq J_n(\theta)^{-1}$$

ただし、\(J_n(\theta)\)はフィッシャー情報量である。

(フィッシャー情報量に関してはこちら

クラメール-ラオの下限の証明

\(\hat{\theta}\)を不偏推定量とすると

\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(=Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]\)

info

ここで、相関係数の性質より

\((-1\leq)\frac{Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]}{\sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}}\leq 1\)

である

\(\leq \sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

\(=\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

となります。ここで左辺は

\(E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(=E[\hat{\theta}\frac{\partial}{\partial\theta}logf(X;\theta)]-\theta E[\frac{\partial}{\partial\theta}logf(X;\theta)]\)

info

スコア関数の期待値は0である(参考:尤度関数、スコア関数、フィッシャー情報量とは?

\(=\frac{\partial}{\partial\theta}E[\hat\theta]\)

\(=\frac{\partial}{\partial\theta}\theta\)

\(=1\)

となります。よって両辺を比較すると

\(1\leq\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\)

info

両辺2乗

\(\Leftrightarrow 1\leq V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]\)

\(\Leftrightarrow \frac{1}{V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\leq V[\hat{\theta}]\)

info

\(V[\frac{\partial}{\partial\theta}logf(X;\theta)]=J_n(\theta)\)である(参考:尤度関数、スコア関数、フィッシャー情報量とは?

\(\Leftrightarrow J_n(\theta)^{-1}\leq V[\hat{\theta}]\)

より証明されました。

(totalcount 14,436 回, dailycount 53回 , overallcount 15,133,807 回)

ライター:

統計的推定

single-banner

COMMENT

コメントを残す

メールアドレスが公開されることはありません。
*は必須項目です。




CAPTCHA