クラメール・ラオの下限の解説と証明

更新日

クラメール・ラオの下限とは

クラメール・ラオの下限とは、以下のような説明されます。

不偏推定量θ^\hat{\theta}に対して、以下を満たす。

V[θ^]Jn(θ)1V[\hat{\theta}]\geq J_n(\theta)^{-1}

ただし、Jn(θ)J_n(\theta)フィッシャー情報量である。

クラメール-ラオの下限の証明

θ^\hat{\theta}を不偏推定量とすると

E[(θ^θ)θlogf(X;θ)]E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]

=Cov[(θ^θ),θlogf(X;θ)]=Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]

 ここで、相関係数の性質より

(1)Cov[(θ^θ),θlogf(X;θ)]V[θ^θ]V[θlogf(X;θ)]1(-1\leq)\frac{Cov[(\hat{\theta}-\theta),\frac{\partial}{\partial\theta}logf(X;\theta)]}{\sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}}\leq 1

である。よって、

V[θ^θ]V[θlogf(X;θ)]\leq \sqrt{V[\hat{\theta}-\theta]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}

=V[θ^]V[θlogf(X;θ)]=\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}

となる。

ここで左辺は、

E[(θ^θ)θlogf(X;θ)]E[(\hat{\theta}-\theta)\frac{\partial}{\partial\theta}logf(X;\theta)]

=E[θ^θlogf(X;θ)]θE[θlogf(X;θ)]=E[\hat{\theta}\frac{\partial}{\partial\theta}logf(X;\theta)]-\theta E[\frac{\partial}{\partial\theta}logf(X;\theta)]

スコア関数の期待値は0であることを利用(詳細はこちら

=θE[θ^]=\frac{\partial}{\partial\theta}E[\hat\theta]

=θθ=\frac{\partial}{\partial\theta}\theta

=1=1

となる。両辺を比較すると、

1V[θ^]V[θlogf(X;θ)]1\leq\sqrt{V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]}

両辺を2乗して、

1 V[θ^]V[θlogf(X;θ)]\Leftrightarrow 1\leq V[\hat{\theta}]V[\frac{\partial}{\partial\theta}logf(X;\theta)]

1V[θlogf(X;θ)]V[θ^]\Leftrightarrow \frac{1}{V[\frac{\partial}{\partial\theta}logf(X;\theta)]}\leq V[\hat{\theta}]

V[θlogf(X;θ)]=Jn(θ)V[\frac{\partial}{\partial\theta}logf(X;\theta)]=J_n(\theta)であることを利用(詳細はこちら

Jn(θ)1V[θ^]\Leftrightarrow J_n(\theta)^{-1}\leq V[\hat{\theta}]

関連記事

尤度関数、スコア関数、フィッシャー情報量とは?

カテゴリ: 統計的推定

関連サービス

講座一覧ページ

記事一覧はこちら

無料で統計学を学ぶ