ベイズ推定量の導出！例題と解説（最尤推定量と比較）

ライター：masa

ベイズ推定量は、事後分布の平均と一致するという重要な性質があります。当ページでは、このベイズ推定の性質と、二項分布（ベルヌーイ試行）におけるベイズ推定量の導出を、最尤推定量と比較しながら解説していきます（参考：『最尤推定とベイズ推定の違いを例題を用いて解説』）。

また、当ページでは、

・損失関数…$L(\theta,T)=(T-\theta)^2$

・リスク関数…$R(\theta,T)=E[L(\theta,T)]$

・平均リスク…$r(\pi,t)=E[R(\theta,T)]$ (ただし、$\pi(\theta)$は事前分布)

と表し、使用していきます。

（上記の用語の説明は『ベイズ推定の考え方とその定義をわかりやすく解説』を参考にしてください）

1 ベイズ推定量は、事後分布の平均と一致する
2 二項分布とベイス推定量
3 例題〜最尤推定量とベイズ推定量を比較して考察する〜
4 まとめ

ベイズ推定量は、事後分布の平均と一致する

ベイズ推定量は、事後分布の平均と一致するという重要な性質があります。これについて見ていくことにしましょう。

（事後分布とは？→『ベイズ統計学とは？初心者向けのやさしい解説』、『ベイズの定理の導出と考え方をわかりやすく解説』を参照してください。）

以下、連続型で考えます。
平均リスクを展開していきます。

$r(\pi,t)=\int_{\Theta}R(\theta,t)\pi(\theta)d\theta$

$=\int_{\Theta}\int_{X}(t-\theta)^2f(x|\theta)dx\pi(\theta)d\theta$

$=\int_{X}\int_{\Theta}(t-\theta)^2f(x|\theta)\pi(\theta)d\theta dx$

ここで、$A=\int_{\Theta}(t-\theta)^2f(x|\theta)\pi(\theta)d\theta$とおくと、$A$を最小にするような$T=t(x_1,x_2,…,x_n)$がベイズ推定量になります。

ここで、$A$は

$A=t^2\int_{\Theta}f(x|\theta)\pi(\theta)d\theta-2t\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta+\int_{\Theta}\theta^2f(x|\theta)\pi(\theta)d\theta$

info

平方完成する

$=\int_{\Theta}f(x|\theta)\pi(\theta)d\theta[t-\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}]^2-\frac{[\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta]^2}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}+\int_{\Theta}\theta^2f(x|\theta)\pi(\theta)d\theta$

となります。よって$A$は$t=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$のとき、最小値をとることがわかります。よってこれを$T$とおけば、$T$が事前分布$\pi(\theta)$に対するベイズ推定量となります。

ここで、

$T=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$

info

ベイズの定理より、$\pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$である

$=\int_{\Theta}\theta\pi(\theta|x)d\theta$

$=E[\theta|x]$

となるので、事前分布$\pi(\theta)$に対するベイズ推定量$T$は事後分布$\pi(\theta|x)$の平均に一致することがわかります。

二項分布とベイス推定量

ベルヌーイ試行をn回行ったとき、成功回数をx回とすると、xは二項分布に従います。このときのベイズ推定量を求めてみることにしましょう。（二項分布ついて詳しくは二項分布のわかりやすいまとめをご覧ください。）

まず、事前分布をベータ分布$Beta(\alpha,\beta)$と設定します。

（ベータ分布は二項分布の共役事前分布となります。共役事前分布については『共役事前分布とは？わかりやすく解説』を参照してください。また、このときの事後分布の導出『ベータ分布の事後分布の平均と分散』もぜひ参考にしてください）

$f(x|\theta)=_nC_x\theta^x(1-\theta)^{n-x}$

であり、

$\pi(\theta)=\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}$ $0\leq\theta\leq 1$

であるから、

$T=\frac{\int_{\Theta}\theta f(x|\theta)\pi(\theta)d\theta}{\int_{\Theta}f(x|\theta)\pi(\theta)d\theta}$

$=\frac{\int_0^1\theta{}_nC_x\theta^x(1-\theta)^{n-x}\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}{\int_0^1{}_nC_x\theta^x(1-\theta)^{n-x}\frac{1}{B(\alpha,\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}$

$=\frac{\int_0^1\theta×\theta^x(1-\theta)^{n-x}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}{\int_0^1\theta^x(1-\theta)^{n-x}\theta^{\alpha-1}(1-\theta)^{\beta-1}d\theta}$

$=\frac{\int_0^1\theta^{(x+\alpha+1)-1}(1-\theta)^{(n-x+\beta)-1}d\theta}{\int_0^1\theta^{(x+\alpha)-1}(1-\theta)^{(n-x+\beta)-1}d\theta}$

$=\frac{B(x+\alpha+1,n-x+\beta)}{B(x+\alpha,n-x+\beta)}$

info

ベータ関数の性質

$$B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$$

を利用する。ただし$\Gamma$はガンマ関数。

$=\frac{\Gamma(x+\alpha+1)\Gamma(n-x+\beta)}{\Gamma(n+\alpha+\beta+1)}×\frac{\Gamma(n+\alpha+\beta)}{\Gamma(x+\alpha)\Gamma(n-x+\beta)}$

$=\frac{\Gamma(x+\alpha+1)}{\Gamma(n+\alpha+\beta+1)}×\frac{\Gamma(n+\alpha+\beta)}{\Gamma(x+\alpha)}$

info

ガンマ関数の性質

$$\Gamma(\alpha)=(\alpha-1)\Gamma(\alpha-1)$$

を利用する。