ベータ分布の事後分布の平均と分散【ベイズ】

ベイズ統計

このページでは、ベルヌーイ分布に従う分布からデータを取ってきたときの事後分布の平均、分散の導出とその性質について述べていきます。ベルヌーイ分布からデータをとる場合、事前分布をベータ分布とすると、事後分布はベータ分布となります。（参考： 【ベイズ統計】共役事前分布とは？わかりやすく解説）

事後分布の平均、分散（ベルヌーイ分布）

ベルヌーイ分布からデータを取ってくる場合、共役事前分布はベータ分布となります（共役事前分布に関しては 【ベイズ統計】共役事前分布とは？わかりやすく解説で詳しく解説しています）。よって、事前分布をベータ分布としたとき、事後分布については以下のようなことが言えます。

事後分布の平均、分散の導出（ベルヌーイ分布）

上記を証明していきます。

事前分布の密度関数は

\(\pi(p)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}p^{\alpha-1}(1-p)^{\beta-1}\ \ \ \ \ 0\le p\le 1;\alpha>0,\beta>0\)

となります。次に、ベルヌーイ分布の確率関数は

\(f(x)=p^x(1-p)^{1-x}\)

であるので、データ\(x=\{x_1,x_2,…,x_n\}\)を得たとき、データがi.i.dである下では、尤度は

\(f(x|p)=f(x_1|p)f(x_2|p)…f(x_n|p)\)

\(=p^{x_1}(1-p)^{1-x_1}p^{x_2}(1-p)^{1-x_2}…p^{x_n}(1-p)^{1-x_n}\)

\(=\prod_{i=1}^{n}p^{x_i}(1-p)^{1-x_i}\)

\(=p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}\)

となります。よって、事後分布は比例の記号\(\propto\)を使って、

\(\pi(p|x)\propto\pi(p)f(x|p) \)

\(\propto p^{\alpha-1}(1-p)^{\beta-1}p^{\sum_{i=1}^{n}x_i}(1-p)^{n-\sum_{i=1}^{n}x_i}\)

\(\propto p^{\alpha+\sum_{i=1}^{n}x_i-1}(1-p)^{\beta+n-\sum_{i=1}^{n}x_i-1}\)

\(\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}\)

と表せられます。ただし、\(\gamma=\sum_{i=1}^{n}x_i\)、つまり成功回数とおいています（\(n-\gamma\)は失敗回数となります）。この式は、ベータ分布\(Beta(\alpha+\gamma,\beta+(n-\gamma))\)に従っていることがわかります。
ベータ分布\(Beta(\alpha,\beta)\)の平均、分散はそれぞれ\(\frac{\alpha}{\alpha+\beta}\)、\(\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}\)である（参考：ベータ分布の期待値、分散の導出）から、\(\alpha\)に\(\alpha+\gamma\)、\(\beta\)に\(\beta+(n-\gamma)\)をそれぞれ代入してあげれば、

\(平均：\frac{\alpha+\gamma}{\alpha+\beta+n}\)

\(分散：\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}\)

が得られます。

二項分布の場合の事後分布

ベルヌーイ分布に従う場合は上記に挙げましたが、二項分布の場合はどうなるのでしょうか。
二項分布\(Bi(n,p)\)に従う確率変数の確率分布は

\(f(x)={}_nC_xp^x(1-p)^{n-x}\)

であるから、データ\(x\)を得たとき、尤度は

\(f(x|p)={}_nC_{x}p^{x}(1-p)^{n-x}\)

となります。ここで、\({}_nC_{x}\)は\(p\)に対しては定数となります。さらに、\(x\)が成功回数であることを考えると、\(x\)は上記の\(\gamma\)と等しいので、事後分布は上記と同様な手順で、

\(\pi(p|x)\propto\pi(p)f(x|p) \)

\(\propto p^{\alpha+\gamma-1}(1-p)^{\beta+(n-\gamma)-1}\)

が得られます。よって、事前分布がベータ分布で、取ってくるデータの母集団分布が二項分布のとき、事後分布は、ベルヌーイ分布の時と同じになります。

（二項分布ついて詳しくは二項分布のわかりやすいまとめをご覧ください。）

事後分布の平均の性質（ベルヌーイ分布）

上記に記した事後分布の平均は

\(\frac{\alpha+\gamma}{\alpha+\beta+n}=\frac{\alpha}{\alpha+\beta+n}\frac{\gamma}{\alpha+\beta+n}=\frac{\alpha+\beta}{\alpha+\beta+n}\frac{\alpha}{\alpha+\beta}+\frac{n}{\alpha+\beta+n}\frac{\gamma}{n}\)

と表すことができます。ここで、事前分布の期待値は

\(E(p)=\frac{\alpha}{\alpha+\beta}\)

であり、観測値の平均（\(p\)の最尤推定量）は

\(\overline{x}=\frac{\gamma}{n}\)

であるので、

\(\frac{\alpha+\beta}{\alpha+\beta+n}E(p)+\frac{n}{\alpha+\beta+n}\overline{x}\)

と表せられます。ここで、\(\frac{\alpha+\beta}{\alpha+\beta+n}\)を\(w\)とおくと、\(\frac{n}{\alpha+\beta+n}\)は\(1-w\)となるので、この式は

$$wE(p)+(1-w)\overline{x}$$

と書き換えられます。これは事前平均と標本平均の重み付けをしています。これは、正規分布のときと同じですね（参考：正規分布の事後分布の平均、分散と性質【ベイズ統計】）。

例題〜実データで事後分布の平均分散を導出〜

具体的な例を挙げて、実際に計算をしてみましょう。

この試行の赤球を取り出す回数をxとすると、xは二項分布に従います。
事前分布が\(Beta(\alpha,\beta)\)に従うとき、事後分布は\(Beta(\alpha+\gamma,\beta+(n-\gamma))\)に従うから、\(\alpha\)と\(\beta\)に\(\frac{1}{2}\)、\(\gamma\)に4をそれぞれ代入してあげれば、

$$事後分布：Be(\frac{9}{2},\frac{3}{2})$$

となります。
事後分布の平均、分散はそれぞれ\(\frac{\alpha+\gamma}{\alpha+\beta+n}\)、\(\frac{(\alpha+\gamma)(\beta+n-\gamma)}{(\alpha+\beta+n)^2(\alpha+\beta+n+1)}\)であるから、同様に代入して、

$$平均：\frac{3}{4}$$

$$分散：0.006$$

が得られます。

ベイズ統計