多項分布とは？期待値・分散・共分散の導出も！

多項分布

当ページでは多項分布に関する解説を行うと共に、多項分布の確率関数から期待値、分散と共分散の導出を行なっております。式だけではなく、丁寧に解説を加えることで、導出の過程を出来るだけ分かりやすくまとめました。多項分布とは、二項分布を一般化した確率分布です。

多項分布とはどのような分布か？

確率変数（ベクトル）\(\begin{eqnarray*} {\bf X} = (X_{1}, X_{2}, …, X_{k}) \end{eqnarray*}\)が以下の結合関数を持つ時に従う確率分布を、パラメータ\(\begin{eqnarray*} n, {\bf P} = (p_{1}, p_{2}, …, p_{k}) \end{eqnarray*} \)の多項分布(Multinomial Distribution)といいます。

ここに、\(k = 2\)の時、確率関数は以下のように表せます。

\(\begin{eqnarray*} f(x_{1}, x_{2}) &=& \displaystyle \frac{n!}{x_{1}! x_{2}!} p_{1}^{x_{1}} p_{2}^{x_{2}} \end{eqnarray*}\)

この時、\(p_{1} + p_{2} = 1\)を満たしますので、\(p_{2} = 1 – p_{1}\)と表せますね。また、\(x_{1} + x_{2} = n\)も満たすため、\(x_{2} = n – x_{1}\)と表せます。このことから\(k = 2\)の場合も1変量として扱うことが出来る訳ですね。

以上のことをふまえて書くと次の形になります。

\(\begin{eqnarray*} f(x_{1}) &=& \displaystyle \frac{n!}{x_{1}! (1 – x_{1})!} p_{1}^{x_{1}} (1 – p_{1})^{n – x_{1}}  \end{eqnarray*}\)

以上より分かる方もいらっしゃるとは思いますが、\(k = 2\)の時の多項分布の確率関数は二項分布と一致します。（\(\frac{n!}{x_{1}! (1 – x_{1})!}\)は\(_n C_{x_{1}}\)と同義です。）⇨『二項分布のわかりやすいまとめ』

また、\(k = 2\)かつ\(n = 1\)である時、ベルヌーイ分布の確率関数となります。

二項分布と多項分布

前節でも述べましたが、\(k = 2\)の時の多項分布は二項分布となります。先程は数式の展開を中心とした解説を行いましたが、ここでは計算作業はせずにその関係性を見ていきましょう。

二項分布とは、互いに独立したベルヌーイ試行をn回行ったときに、ある事象が何回起こるかの確率分布です。具体例としては、「コインを5回投げた時に表2回出る確率」「対戦ゲームで90%の確率で当たる技を10回中8回当てる確率」といった確率を表す分布です。ここでベルヌーイ試行というのは、「成功か失敗か」「表か裏か」といった2種類だけの結果しか得られないような試行・実験を意味しています。つまり二項分布というのは、結果が2つだけの試行において用いられる確率分布なんですね。（参考：『ベルヌーイ試行の定義を丁寧にわかりやすく解説』）

一方で多項分布とは、結果がたくさんある試行において用いられる確率分布です（つまりベルヌーイ試行とは異なる訳ですが、互いに独立した試行であるという前提に変化はありません）。そういった試行の具体例としてはサイコロ投げが挙げられます。特に「6面サイコロを10回投げた時にそれぞれの面が出る確率」とした場合は、パラメータ\(n = 10, ~ {\bf P} = (p_{1}, p_{2}, …, p_{6})\)の多項分布に従います。\(n\)は試行回数であり、\(p_{1}, p_{2}, …, p_{6}\)はサイコロのそれぞれの目が出る確率を指します（例えばサイコロの1の目が出る確率を\(p_{1}\)として、2の目が出る数を\(p_{2}\)と設定したり、等々）。

期待値の導出

ここからは多項分布に従う確率変数の期待値の導出を行います。

\(X_{1}\)の期待値を求めることを考えます。ここに、離散型変数の場合の期待値の定義より、\(\begin{eqnarray*} E(X_{1}) &=& \displaystyle \sum_{i=1}^k x_{1} f(x_{1}, x_{2}, …, x_{k}) \end{eqnarray*} \)と表せます。（参考：『期待値の定義・性質・計算例。平均との違いも！』）

さらに\(x_{1}, p_{1}\)について操作することで、一気に解を得ることができます。

\(\begin{eqnarray*} E(X_{1}) &=& \displaystyle \sum_{i=1}^k x_{1} \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\  &=& \displaystyle \sum_{i=1}^k  \frac{n(n – 1)!}{(x_{1} – 1)! x_{2}! … x_{k}!} p_{1} p_{1}^{(x_{1} – 1)} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\ &=& \displaystyle np_{1} \sum_{i=1}^k x_{1} \frac{(n – 1)!}{(x_{1} – 1)! x_{2}! … x_{k}!} p_{1}^{(x_{1} – 1)} p_{2}^{x_{2}} … p_{k}^{x_{k}} \\ &=& \displaystyle np_{1} \cdot 1 = np_{1} \\ \end{eqnarray*}\)

ここに、3行目から4行目の変形につきましては、総和の中の式がパラメータが異なる多項分布の確率関数であること、また多項分布のみならず離散型確率分布の確率関数について、確率変数のとりうる値の総和をとると1となることを利用しています。これは、ある事象における全ての確率を足すと１になることと同じ意味を持っています。

以上より、多項分布に従う確率変数\(X_{i} ~~ (i = 1, 2, …, k)\)の期待値は以下の形となります。

このように、多項分布の期待値は二項分布の期待値の形と一致していることがわかります。

また、\(n = 1\)の時はベルヌーイ分布の期待値の形と一致します。

分散の導出

次に多項分布に従う確率変数の分散を導出します。

ここでも\(X_{1}\)の分散を考えることにしますが、先に\(E(X_{1}(X_{1} – 1)) \)を求めましょう。

\( \begin{eqnarray*} E(X_{1}(X_{1} – 1)) &=& \displaystyle \sum_{i=1}^k x_{1} (x_{1} – 1) \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\  &=& \displaystyle \sum_{i=1}^k \frac{n(n – 1)(n – 2)!}{(x_{1} – 2)! x_{2}! … x_{k}!} p_{1}^2 p_{1}^{x_{1} – 2} p_{2}^{x_{2}} … p_{k}^{x_{k}} \\ &=& \displaystyle n(n – 1)p_{1}^2 \sum_{i=1}^k \frac{(n – 2)!}{(x_{1} – 2)! x_{2}! … x_{k}!} p_{1}^{x_{1} – 2} p_{2}^{x_{2}} … p_{k}^{x_{k}} \\ &=& \displaystyle np_{1}(1 – p_{1}) \end{eqnarray*} \)

ここまでの導出過程は期待値の導出と同様のことを行っていますので、解説は省略しましょう。

さて、ここで分散の定義より、\(Var(X_{1})\)は以下のように表せることにより、解を得ることができます。（参考：『統計学における分散と不偏分散 例題でわかりやすく解説』）

\(\begin{eqnarray*} Var(X_{1}) &=& \displaystyle E(X_{1}^2) – (E(X_{1})^2 \\ &=& \displaystyle E(X_{1}(X_{1} – 1)) + E(X_{1}) – (E(X_{1}))^2 \\ &=& \displaystyle n(n – 1)p_{1}^2 + np_{1} – n^2p_{1}^2 \\ &=& \displaystyle np_{1}(1 – p_{1}) \\ \end{eqnarray*}\)

以上より、多項分布に従う確率変数\(X_{i} ~~ (i = 1, 2, …, k)\)の分散は以下の形となります。

このように、多項分布の分散も二項分布の分散の形と一致していることがわかりますね。

また、\(n = 1\)の時はベルヌーイ分布の分散の形と一致します。

共分散の導出

最後は多項分布に従う確率変数の共分散を導出します。

\(X_{1}\)と\(X_{2}\)の共分散を求める場合を考えます。ここでは先に\(E(X_{1}X_{2})\)を導出します。

\(\begin{eqnarray*} E(X_{1}X_{2}) &=& \displaystyle \sum_{i=1}^k x_{1} x_{2} \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}}  \\  &=& \displaystyle \sum_{i=1}^k \frac{n(n – 1)(n – 2)!}{(x_{1} – 1)! (x_{2} – 1)! … x_{k}!} p_{1} p_{2} p_{1}^{x_{1} – 1} p_{2}^{x_{2} – 1} … p_{k}^{x_{k}} \\ &=& \displaystyle n(n – 1)p_{1} p_{2} \sum_{i=1}^k \frac{(n – 2)!}{(x_{1} – 1)! (x_{2} – 1)! … x_{k}!} p_{1}^{x_{1} – 1} p_{2}^{x_{2} – 1} … p_{k}^{x_{k}} \\ &=& \displaystyle n(n – 1)p_{1} p_{2} \end{eqnarray*}\)

こちらも導出過程に行った式変形は、期待値の導出時に行ったものと一緒です。

ここで、共分散も分散の定義と同様に、\(Cov(X_{1}, X_{2}) = E(X_{1}X_{2}) – E(X_{1})E(X_{2})\)と表せますから、上記の計算結果と期待値を代入することで求まります。

\(\begin{eqnarray*} Cov(X_{1}, X_{2}) &=& \displaystyle E(X_{1}X_{2}) – E(X_{1})E(X_{2}) \\ &=& \displaystyle n(n – 1)p_{1}p_{2} – n^2 p_{1} p_{2} = -np_{1} p_{2} \end{eqnarray*}\)

よって、多項分布に従う確率変数\(X_{i}, X_{j} ~~ (i < j) \)の共分散は以下の形となります。

つまり、多項分布の共分散は負の値をとるのです。

多項分布