不偏推定量とは？平均と分散を例に分かりやすく解説

統計的推定

推定量には普遍性があるのか？その推定量は不偏推定量と言えるか？というような問題をしばしば見かけます。今回は、普遍性、そして不偏推定量とは何なのか、ということについて解説していきます。

不偏推定量とは何か？

統計的推定には様々な手法がありますが、中でもよく用いられるのが、普遍性という基準に基づいた推定です。普遍性とは、推定量の期待値が母数と等しくなる性質であり、母数\(θ\)の推定量を\(\hat{θ}\)と表すと、

$$E(\hat{θ}) = θ$$

を満たすようなものです。また、この時の推定量\(\hat{θ}\)を不偏推定量と言います。これは点推定の一種です。

 

では例として、無作為標本\(x_1,x_2,…,x_n\)から推定できる、母集団の平均\(μ\)と分散\(σ^2\)の不偏推定量を考えてみます。

平均の不偏推定量

標本平均を\(\bar{x}\)とすると、

\(E(\bar{x}) = E(\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } x_i) = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } E(x_i) = \frac{1}{n}×nμ = μ\)

より、\(E(\bar{x}) = μ\)となるので、母平均の不偏推定量\(\hat{μ}\)は標本平均の\(\bar{x}\)です。

$$\hat{μ} = \bar{x} $$

また、

\(V(\bar{x}) =\displaystyle(\frac{1}{n})^2 \sum_{ i = 1 }^{ n } V(x_i) = \frac{σ^2}{n}\)

という性質も成り立ちます。

分散の不偏推定量（標本不偏分散）

平均の不偏推定量が標本平均だったので、分散の不偏推定量も標本平均から求めた分散\(s^2 = \frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2\)で表せそうですが、実際にはそうはなりません。

このことを確かめるために、\(E(s^2)\)を計算してみることにします。

\(\begin{eqnarray*} E(s^2) &=& E[\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2] \\ &=&  \frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2) \\ &=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } [(x_i-μ)-(\bar{x} – μ)]^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2\displaystyle \sum_{ i = 1 }^{ n }(x_i-μ)(\bar{x} – μ)+\displaystyle \sum_{ i = 1 }^{ n }(\bar{x} – μ)^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-2n(\bar{x} – μ)^2+n(\bar{x} – μ)^2)\\&=&\frac{1}{n}E(\displaystyle \sum_{ i = 1 }^{ n } (x_i-μ)^2-n(\bar{x} – μ)^2)\\ &=&\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }E[(x_i-μ)^2]-E[(\bar{x} – μ)^2]\\ &=&\frac{1}{n}\displaystyle \sum_{ i = 1 }^{ n }V(x_i)-V(\bar{x}) \\ &=& σ^2 – \frac{σ^2}{n} \\&=& \frac{n-1}{n}σ^2\end{eqnarray*} \)

つまり、\(E(s^2) ≠σ^2\)であるので、標本平均から求めた分散は、母分散\(σ^2\)の不偏推定量ではないということが分かります。

では、母分散の不偏推定量\(\hat{σ}^2\)とは、どうなるのでしょうか。それは以下の式になります。

$$\hat{σ}^2 = \frac{1}{n-1}\displaystyle \sum_{ i = 1 }^{ n } (x_i-\overline{x})^2 $$

そして、この式を満たす\(\hat{σ}^2\)を、標本不偏分散(または不偏分散)と言い、\(S^2\)で表します。母分散が未知の場合の解析に使われる母分散の推定値が、この標本不偏分散なので非常に重要な概念です。

統計的推定