2018/01/28

2020/04/14

ディリクレ分布の期待値・分散・共分散の導出

当ページではディリクレ分布の確率密度関数から、その期待値、分散と共分散の導出を行なっております。式だけではなく、丁寧に解説を加えることで、導出の過程を出来るだけ分かりやすくまとめました。ディレクリブンプとは簡単にいうと、ベータ分布を多変量に拡張した分布です。

目次 [非表示にする]

1 ディリクレ分布とはどのような分布か？
- 1.1 ベイズ統計におけるディリクレ分布
2 導出に便利なガンマ関数の性質と積分公式
3 期待値の導出
4 分散の導出
5 共分散の導出

ディリクレ分布とはどのような分布か？

はじめに、ディリクレ分布がどういった分布であるかを説明いたします。

確率変数 $X_{1}, X_{2}, …, X_{n-1}$ が以下のような確率密度関数 $f(x_{1}, x_{2}, …, x_{n-1})$ をもつ時、確率変数 $X_{1}, X_{2}, …, X_{n-1}$ はパラメータ $\alpha_{1}, \alpha_{2}, …, \alpha_{n}$ のディリクレ分布に従います。その確率密度関数は以下のように表されます。

ディリクレ分布の確率密度関数

$\begin{eqnarray*} f(x_{1}, x_{2}, …, x_{n-1}) &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})…\Gamma(\alpha_{n})} x_{1}^{\alpha_{1} – 1} x_{2}^{\alpha_{2} – 1} … x_{n}^{\alpha_{n} – 1} \\ \end{eqnarray*}$

ただし、 $\begin{eqnarray*} \sum_{i=1}^{n} x_{i} = 1\end{eqnarray*}$ とし、 $\begin{eqnarray*} x_{1}, …, x_{n} \geq 0 \end{eqnarray*}$ とする。

ここで、上記の確率密度関数について $n = 2$ の場合を考えてみましょう。

$n = 2$ の時、ディリクレ分布の確率密度関数は次のように表せます。

$\begin{eqnarray*} f(x_{1}, x_{2}) &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{2} \alpha_{i} )}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} – 1} x_{2}^{\alpha_{2} – 1} \\ &=& \displaystyle \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} – 1} x_{2}^{\alpha_{2} – 1} \\ \end{eqnarray*}$

現段階では2変量の確率密度関数ですが、先程の条件より $\begin{eqnarray*} \sum_{i=1}^{2} x_{i} = x_{1} + x_{2} = 1\end{eqnarray*}$ を満たしています。つまり、 $x_{2} = 1 – x_{1}$ と表すことができます。この変形により、2変量である確率密度関数を1変量のモノとして書くことが可能となるのです。

つまり、以下の形に書き換えることができます。

$\begin{eqnarray*} f(x_{1}) &=& \displaystyle \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})} x_{1}^{\alpha_{1} – 1} (1 – x_{1})^{\alpha_{2} – 1} \\ \end{eqnarray*}$

この時点でお気づきの方もいらっしゃるかと思いますが、ここでさらに定数部分であるガンマ関数について、ベータ関数 $B(\alpha_{1}, \alpha_{2})$ を用いて $\frac{1}{B(\alpha_{1}, \alpha_{2})} = \frac{\Gamma(\alpha_{1} + \alpha_{2})}{\Gamma(\alpha_{1})\Gamma(\alpha_{2})}$ と表せることを利用すると、以下の形にまとまります。

$\begin{eqnarray*} f(x_{1}) &=& \displaystyle \frac{1}{B(\alpha_{1}, \alpha_{2})} x_{1}^{\alpha_{1} – 1} (1 – x_{1})^{\alpha_{2} – 1} \\ \end{eqnarray*}$

これはベータ分布の確率密度関数の形ですね。つまり、1変量の場合のディリクレ分布の確率密度関数は、ベータ分布の確率密度関数と一致します。

このことから、ディリクレ分布はベータ分布を多変量に拡張した分布と考えることが出来ます。

ベイズ統計におけるディリクレ分布

ディリクリ分布の使用例の一つとして、ベイズ統計学における多項分布の共役事前分布が挙げられます。

ベイズ統計学がどういった学問なのかは、『ベイズ統計学とは？初心者向けのやさしい解説』を御覧ください。

このベイズ統計において共役事前分布と呼ばれる考え方があるのですが、ディリクレ分布は多項分布の共役事前分布であることが知られているのです。共役事前分布については『ベイズ統計】共役事前分布とは？わかりやすく解説』を御覧ください。

導出に便利なガンマ関数の性質と積分公式

ディリクレ分布の期待値、分散と共分散を導出するにあたって、ガンマ関数の非常に便利な性質と積分公式を紹介します。

ガンマ関数の性質

$\Gamma(\alpha + 1) = \alpha \Gamma(\alpha)$

上記の性質は本来であれば証明を必要としますが、今回は省略することと致します。

また、この性質により、 $\Gamma(\alpha + 2) = \alpha (\alpha + 1)\Gamma(\alpha)$ と変形することも出来ます。

ガンマ関数の積分公式

$\begin{eqnarray*} \int_0^\infty x_{1}^{\alpha_{1} – 1} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} &=& \displaystyle \frac{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} )} \\ \end{eqnarray*}$

ただし、 $x_{i} \geq 0 (1 \leq i \leq n-1) , \sum_{i=1}^{n-1} x_{i} \leq 1$

上記の積分公式についても本来ならば証明を必要としますが、今回は省略することにします。

期待値の導出

では、ディリクレ分布に従う確率変数の期待値を導出していきましょう。

はじめに、確率変数 $X_{1}$ の期待値 $E(X_{1})$ を求めることを考えます。

ディリクレ分布は連続型分布なので、期待値の定義（連続型確率変数の場合）より、以下のように求められます。

$\begin{eqnarray*} E(X_{1}) &=& \displaystyle \int_0^\infty x_{1} f(x_{1}, …, x_{n-1}) dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1} x_{1}^{\alpha_{1} – 1} … x_{n}^{\alpha_{n} -1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ \end{eqnarray*}$

さて、ここで先ほど紹介したガンマ関数の積分公式（ $\begin{eqnarray*} \int_0^\infty x_{1}^{\alpha_{1} – 1} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} &=& \displaystyle \frac{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} )} \\ \end{eqnarray*}$ ）を利用します。

これにより、3行目の積分式は以下のように表すことができます。

point

$\begin{eqnarray*} \int_0^\infty x_{1}^{\alpha_{1}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} &=& \displaystyle \frac{\Gamma(\alpha_{1} + 1) … \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + … + \alpha_{n} + 1)} \\ &=& \displaystyle \frac{\Gamma(\alpha_{1} + 1) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 1)} \\ \end{eqnarray*}$

ここでさらに、ガンマ関数の性質（ $\Gamma(\alpha + 1) = \alpha \Gamma(\alpha)$ ）を用いることで次のように表せます。

point

$\begin{eqnarray*} \frac{\Gamma(\alpha_{1} + 1) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 1)} &=& \displaystyle \frac{\alpha_{1} \Gamma(\alpha_{1}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{eqnarray*}$

よって

$\begin{eqnarray*} E(X_{1}) &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \frac{\alpha_{1} \Gamma(\alpha_{1}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &=& \displaystyle \frac{\alpha_{1}}{\sum_{i=1}^{n} \alpha_{i}} \\ \end{eqnarray*}$

となります。従って、ディリクレ分布に従う確率変数 $X_{i} (i = 1, …, n-1)$ の期待値は以下のようになります。

ディリクレ分布の期待値

$\begin{eqnarray*} E(X_{i}) &=& \displaystyle \frac{\alpha_{i}}{\sum_{i=1}^{n} \alpha_{i}} (i = 1, …, n-1) \\ \end{eqnarray*}$

ここに、 $n = 2$ （つまり、1変量である）時、ディリクレ分布の期待値は

$\begin{eqnarray*} E(X_{1}) &=& \displaystyle \frac{\alpha_{1}}{\alpha_{1} + \alpha_{2}} \\ \end{eqnarray*}$

と表せます。これは ベータ分布の期待値と一致します。

つまり、ディリクレ分布の期待値は1変量の時、ベータ分布の期待値となるのです。

ここで、当サイトではベータ分布の期待値を導出するページがございます。そちらも是非、参考としてご活用ください。⇨『ベータ分布の期待値・分散の導出』

分散の導出

次にディリクレ分布に従う確率変数の分散を導出します。

こちらも同様に $X_{1}$ の分散 $Var(X_{1})$ を求めることとしましょう。ここに、分散の性質より

$\begin{eqnarray*} Var(X_{1}) &=& \displaystyle E(X_{1}^2) – E(X_{1})^2 \\ \end{eqnarray*}$

となります。まだ求めていない $E(X_{1}^2)$ を先に導出します。こちらも同様に期待値の定義から

$\begin{eqnarray*} E(X_{1}^2) &=& \displaystyle \int_0^\infty x_{1}^2 f(x_{1}, …, x_{n-1}) dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^2 x_{1}^{\alpha_{1} – 1} … x_{n}^{\alpha_{n} -1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1} + 1} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ \end{eqnarray*}$

となります。

さて、ここでもガンマ関数の積分公式を利用します。

そうすると、3行目の積分式は次のように表せます。

point

$\begin{eqnarray*} \int_0^\infty x_{1}^{\alpha_{1} + 1} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} &=& \displaystyle \frac{\Gamma(\alpha_{1} + 2) … \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + … + \alpha_{n} + 2)} \\ &=& \displaystyle \frac{\Gamma(\alpha_{1} + 2) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 2)} \\ \end{eqnarray*}$

さらに、ガンマ関数の性質を適用させることで、次のように表せられます。

point

$\begin{eqnarray*} \frac{\Gamma(\alpha_{1} + 2) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 2)} &=& \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1) \Gamma(\alpha_{1}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{eqnarray*}$

以上より、 $E(X_{1}^2)$ は以下の値となります。

$\begin{eqnarray*} E(X_{1}^2) &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \frac{\alpha_{1} (\alpha_{1} + 1) \Gamma(\alpha_{1}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &=& \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1)}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{eqnarray*}$

従って、先ほどの分散の公式に代入することで、 $Var(X_{1})$ は以下のように求まります。

$\begin{eqnarray*} Var(X_{1}) &=& \displaystyle E(X_{1}^2) – E(X_{1})^2 \\ &=& \displaystyle \frac{\alpha_{1} (\alpha_{1} + 1)}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} – \frac{\alpha_{1}^2}{(\sum_{i=1}^{n} \alpha_{i})^2} \\ &=& \displaystyle \frac{\alpha_{1} (\sum_{i=1}^{n} \alpha_{i} – \alpha_{1})}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{eqnarray*}$

よって、ディリクレ分布に従う確率変数 $X_{i} (i = 1, …, n-1)$ の分散は以下のようになります。

ディリクレ分布の分散

$\begin{eqnarray*} Var(X_{i}) &=& \displaystyle \frac{\alpha_{i}(\sum_{i=1}^{n} \alpha_{i} – \alpha_{i})}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} (i = 1, …, n-1)\\ \end{eqnarray*}$

ここでも同様に $n=2$ の場合（つまり、1変量の場合）、以下のように変形できます。

$\begin{eqnarray*} Var(X_{1}) &=& \displaystyle \frac{\alpha_{1}(\sum_{i=1}^{2} \alpha_{i}) – \alpha_{1}}{(\sum_{i=1}^{2} \alpha_{i})^2 (\sum_{i=1}^{2} \alpha_{i} + 1)} \\ &=& \displaystyle \frac{\alpha_{1} \alpha_{2}}{(\alpha_{1} + \alpha_{2})^2 (\alpha_{1} + \alpha_{2} + 1)} \\\end{eqnarray*}$

期待値の時と同じように、1変量のディリクレ分布の分散も、ベータ分布の分散となります。

ここで、当サイトではベータ分布の分散を導出するページがございます。そちらも是非、参考としてご活用ください。⇨『ベータ分布の期待値・分散の導出』

共分散の導出

最後はディリクレ分布に従う確率変数の共分散を導出します。

例として確率変数 $X_{1}, X_{2}$ の共分散 $Cov(X_{1}, X_{2})$ を求める場合を考えます。この時、共分散の公式より次のようになります。

$\begin{eqnarray*} Cov(X_{1}, X_{2}) &=& \displaystyle E(X_{1}X_{2}) – E(X_{1})E(X_{2}) \\ \end{eqnarray*}$

ここで、まだ求めていない $E(X_{1}X_{2})$ を先に求めることにしましょう。

$\begin{eqnarray*} E(X_{1}X_{2}) &=& \displaystyle \int_0^\infty x_{1} x_{2} f(x_{1}, …, x_{n-1}) dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1} x_{2} x_{1}^{\alpha_{1} – 1} x_{2}^{\alpha_{2} – 1} … x_{n}^{\alpha_{n} -1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ \end{eqnarray*}$

ここで、ガンマ関数の積分公式を利用します。

そうすることで、3行目の積分式は次のようになります。

point

$\begin{eqnarray*} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}} … x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} &=& \displaystyle \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) … \Gamma(\alpha_{n})}{\Gamma(\alpha_{1} + \alpha_{2} + … + \alpha_{n} + 2)} \\ &=& \displaystyle \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i}+ 2)} \\ \end{eqnarray*}$

さらに、ガンマ関数の性質を用いることで、下記のように変形できます。

point

$\begin{eqnarray*} \frac{\Gamma(\alpha_{1} + 1) \Gamma(\alpha_{2} + 1) … \Gamma(\alpha_{n})}{\Gamma(\sum_{i=1}^{n} \alpha_{i} + 2)} &=& \displaystyle \frac{\alpha_{1} \alpha_{2} \Gamma(\alpha_{1}) \Gamma(\alpha_{2}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ \end{eqnarray*}$

以上より、 $E(X_{1}X_{2})$ は以下のように求まります。

$\begin{eqnarray*} E(X_{1}X_{2}) &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \int_0^\infty x_{1}^{\alpha_{1}} x_{2}^{\alpha_{2}}… x_{n}^{\alpha_{n} – 1} dx_{1} … dx_{n-1} \\ &=& \displaystyle \frac{\Gamma(\sum_{i=1}^{n} \alpha_{i} )}{\Gamma(\alpha_{1})… \Gamma(\alpha_{n})} \frac{\alpha_{1} \alpha_{2} \Gamma(\alpha_{1}) … \Gamma(\alpha_{n})}{(\sum_{i=1}^{n} \alpha_{i}) (\sum_{i=1}^{n} \alpha_{i} + 1) \Gamma(\sum_{i=1}^{n} \alpha_{i})} \\ &=& \displaystyle \frac{\alpha_{1} \alpha_{2})}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{eqnarray*}$

よって、共分散の公式に代入することで、 $Cov(X_{1}, X_{2})$ は次のように求まります。

$\begin{eqnarray*} Cov(X_{1}, X_{2}) &=& \displaystyle E(X_{1}X_{2}) – E(X_{1})E(X_{2}) \\ &=& \displaystyle \frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})(\sum_{i=1}^{n} \alpha_{i} + 1)} – \frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})^2} \\ &=& \displaystyle -\frac{\alpha_{1} \alpha_{2}}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} \\ \end{eqnarray*}$

従って、ディリクレ分布に従う確率変数 $X_{i}, X_{j}$ の共分散は以下のようになります。

ディリクレ分布の共分散

$\begin{eqnarray*} Cov(X_{i}, X_{j}) &=& \displaystyle -\frac{\alpha_{i} \alpha_{j}}{(\sum_{i=1}^{n} \alpha_{i})^2 (\sum_{i=1}^{n} \alpha_{i} + 1)} (i \neq j) \\ \end{eqnarray*}$