指数型分布族の性質を利用した期待値・分散の求め方

指数型分布族

当ページでは指数型分布族に属する確率分布の期待値と分散の求め方について、指数型分布族の性質を利用した導出方法を解説しております。この導出方法は指数型分布族に属する分布であれば適用することが可能であり、特に正準形であった場合、すぐに導出することが出来ます。指数型分布族については、指数型分布族とは？定義と性質をわかりやすく解説をご覧ください。

指数型分布族の定義

まずは簡単に指数型分布族の定義に触れておきます。

確率変数\(X\)が1つの未知パラメータ\( \theta \)を持つ確率分布に従うとし、\(X\)の確率分布が確率（密度）関数\(f(x; \theta)\)を持つとしましょう。この時、確率（密度）関数が以下の式によって表記できる場合、その分布は指数型分布族(exponential family of distribution)に属するといいます。

ここで、\(a(.),b(.),c(.)\)や\(d(.)\)は既知である関数とします。更に、\(a(x) = x\)を満たす場合、その分布は正準形(canoncial form)であると言います。また、未知パラメータ以外に他のパラメータが存在した場合、そのパラメータを局外パラメータ(nuisance parameter)と見なして扱うものとします。

さらに詳しくはこちら⇨『指数型分布族とは？定義と性質をわかりやすく解説』

指数型分布族の性質を利用した期待値・分散の求め方

いよいよ本題に入ります。この求め方は、微分と積分の順序が入れ替えられるという条件の下で、任意の確率密度関数に対して以下の結果が成り立つことを用います。

\(\begin{eqnarray*} \int f(x; \theta)dx &=& \displaystyle 1 \\ \end{eqnarray*}\)

ただし、上式の積分範囲は\(x\)のとりうる値の全体です。

ここまで確率変数\(X\)が連続型変数であるという前提で議論を行なっていますが、もし離散型変数である場合、上式の積分は和に置き換わります。（これ以降も連続型変数という前提で議論を進めていきます。）さて、上式について\(\theta\)に関して両辺に対して微分を行うと、以下の式となります。

\(\begin{eqnarray*} \frac{d}{d\theta} \int f(x; \theta)dx = \frac{d}{d\theta}1 = 0 \end{eqnarray*}\)

さらに上式について左辺の積分と微分の順序を入れ替えると、以下のように表せます。

\(\begin{eqnarray*} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{eqnarray*} \)

上式は指数型分布族の性質を利用した期待値を求める際に重要となるポイントです。

同様に、\(\begin{eqnarray*} \int f(x; \theta)dx &=& \displaystyle 1 \\ \end{eqnarray*}\)を\(\theta\)に関して2回微分し、積分と微分の順序を入れ替えると、次の結果が得られます。

\(\begin{eqnarray*} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{eqnarray*} \)

上式は指数型分布族の性質を利用した分散の導出の際に重要となるポイントです。

期待値の求め方

では指数型分布族を適用して考えてみましょう。冒頭のとおり、指数型分布族に属する分布に従う確率変数\(X\)の確率密度関数は\(\begin{eqnarray*} f(x; \theta) &=& \displaystyle \exp[a(x)b(\theta) + c(\theta) + d(x)] \\ \end{eqnarray*}\)と表すことが出来ます。ここからは\(a(X)\)の期待値を求めることを考えます。

さて、上式のように表せられる\( f(x; \theta) \)に対して\(\theta\)について微分を行うと以下のようになります。

\(\begin{eqnarray*} \frac{d f(x; \theta)}{d\theta} = [a(x)b'(\theta) + c'(\theta)]f(x; \theta) \end{eqnarray*}\)

ここで、\(\begin{eqnarray*} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{eqnarray*} \)となることを利用すると、次の結果が得られます。

\(\begin{eqnarray*} \int [a(x)b'(\theta) + c'(\theta)]f(x; \theta)dx = 0 \end{eqnarray*}\)

ここで、期待値の定義より、\(\begin{eqnarray*} \int a(x)f(x; \theta)dx = E[a(X)] \end{eqnarray*}\)であり、\(\begin{eqnarray*} \int c'(\theta)f(x; \theta)dx = E[c'(\theta)] = c'(\theta) \end{eqnarray*}\)と表せます。さらに、期待値の線形性を利用することで次のように式をまとめることが出来ます。

\(\begin{eqnarray*} b'(\theta)E[a(X)] + c'(\theta) = 0 \end{eqnarray*}\)

上記の結果を整理すると以下のように表せます。

ここに、\(X\)の従う確率分布が指数型分布族であると同時に正準形であった場合、\(a(X) = X\)であることから、\(a(X)\)の期待値\(E[a(X)]\)を求めることは、\(X\)の期待値\(E(X)\)を求めることと等しいのです。

\(\begin{eqnarray*} E(X) = E[a(X)] = -\frac{c'(\theta)}{b'(\theta)}\end{eqnarray*}\)

式途中で利用した期待値の定義ならびに性質に関する解説は以下のページをご参照ください。

⇨『期待値の定義・性質・計算例。平均との違いも！』

分散の求め方

同様にして、\(a(X)\)の分散\(Var[a(X)]\)を求めてみましょう。指数型分布族に属する密度関数\( f(x; \theta) \)に対して\(\theta\)について2回微分を行うと次の結果を得ることができます。

\(\begin{eqnarray*} \frac{d^2 f(x; \theta)}{d\theta^2} = [a(x)b”(\theta) + c”(\theta)]f(x; \theta) + [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) \end{eqnarray*}\)

ここで、上式の右辺の第2項は、\(E[a(X)]\)を用いて以下のように変形できます。

\(\begin{eqnarray*} [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) = [b'(\theta)]^2 \{a(x) – E[a(X)]\}^2 f(x; \theta) \end{eqnarray*}\)

また、\(Var[a(X)]\)は分散の定義より、以下のように表せます。

\(\begin{eqnarray*} Var[a(X)] = E[{a(X)}^2] – {E[a(X)]}^2 = \int \{a(x) – E[a(X)]\}^2 f(x; \theta)dx \end{eqnarray*}\)

これまでの結果を\(\begin{eqnarray*} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{eqnarray*} \)に代入すると、以下の式となります。

\(\begin{eqnarray*} \int \frac{d^2 f(x; \theta)}{d \theta^2} = b”(\theta)E[a(X)] + c”(\theta) + [b”(\theta)]^2 Var[a(X)] = 0\end{eqnarray*}\)

上式を整理し、さらに\(E[a(X)]\)を代入すること、次の解が得られます。

ここで、\(X\)の従う確率分布が指数型分布族であると同時に正準形であった場合、\(a(X) = X\)であることから、\(a(X)\)の分散\(Var[a(X)]\)を求めることは、\(X\)の分散\(Var(X)\)を求めることと等しいのです。

\(\begin{eqnarray*} Var(X) = Var[a(X)] = \frac{b”(\theta)c'(\theta) – c”(\theta)b'(\theta)}{[b'(\theta)]^3} \end{eqnarray*}\)

式途中で利用した分散の定義ならびに性質に関する解説は以下のページをご参照ください。

⇨『統計学における分散と不偏分散 例題でわかりやすく解説』

指数型分布族の性質を利用した期待値・分散の求め方の具体例

それでは実際に、ここまで説明してきた導出方法によって指数型分布族に属する確率分布の期待値・分散を求めてみましょう。この導出方法は指数型分布族に属する分布であれば利用することができますが、特に正準形である場合はすぐに証明することが出来ます。よって、ページの都合上のため、ここでは指数型分布族であり正準形である分布のみを取り上げることとします。

正規分布

確率変数\(X\)がパラメータ\(\mu , σ^2\)の正規分布に従う時、確率密度関数\(f(x)\)は以下の式となります。

この時、確率密度関数は次のように変形することが出来ます。

\(\begin{eqnarray*} f(x) = \exp[-\frac{x^2}{2σ^2} + \frac{x\mu}{σ^2} – \frac{\mu^2}{2σ^2} – \frac{1}{2}\log(2πσ^2) ] \end{eqnarray*}\)

ここで\(\mu\)が未知、\(σ^2\)が既知である場合を考えます。\(\theta = \mu\)とすると

\(\begin{eqnarray*} a(x) = x, \, b(\mu) = \frac{\mu}{σ^2}, \, c(\mu) = -\frac{\mu^2}{2σ^2} – \frac{1}{2}\log 2πσ^2, \, d(x) = -\frac{x^2}{2σ^2} \end{eqnarray*} \)

と書けるため、この場合は1パラメータの指数型分布族に属することがわかります。

また、\(a(x) = x\)と表せることから正準形であることもわかりますね。

さて、\(b(\mu), ~ c(\mu)\)に対して\(\mu\)について1回微分を行うと以下の値を得られます。

\(\begin{eqnarray*} b'(\mu) = \frac{1}{σ^2}, ~ c'(\mu) = -\frac{\mu}{σ^2} \end{eqnarray*}\)

さらにもう1回微分するとこうなります。

\(\begin{eqnarray*} b”(\mu) = 0, ~ c”(\mu) = -\frac{1}{σ^2} \end{eqnarray*}\)

この時、正規分布は正準形であることから、\(a(X) = X\)が成り立つことを利用します。よって、\(X\)の期待値は以下の値となります。

同様に、分散はこうなります。

こちらも正規分布の分散と一致していることが確認できました。

当サイトでは正規分布の確率密度関数・積率母関数を用いた導出方法も解説していますので、そちらもご活用ください。

⇨『正規分布の期待値・分散・標準偏差の導出（証明）』

⇨『積率母関数を用いた正規分布の平均・分散の導出』

二項分布

確率変数\(X\)がパラメータ\(n, p\)の二項分布に従う時、確率関数\(F(x=k)\)は以下の式となります。

この時、確率関数は次のように変形することが出来ます。

\(\begin{eqnarray*} F(x=k) &=& \displaystyle \exp[k \log p – k \log (1-p) + n \log (1-p) + \log \begin{pmatrix}n \\ k\end{pmatrix} ] \end{eqnarray*} \)

ここで\(n\)は既知であり、\(p\)が未知である場合を考えます。\(\theta = p\)とします。この時、

\(\begin{eqnarray*} a(k) = k, \, b(p) = \log \frac{p}{1 – p}, \, c(p) = n \log (1 – p), \, d(k) = \log  \begin{pmatrix}n \\ k\end{pmatrix}  \end{eqnarray*} \)

となるので、1パラメータの指数型分布族に属することがわかります。

また、\(a(k) = k\)となるので、正準形であることも示されています。

さて、\(b(p), ~ c(p)\)に対して\(p\)について1回微分を行うと以下の結果を得られます。

\(\begin{eqnarray*} b'(p) = \frac{1}{p(1 – p)}, ~ c'(p) = -\frac{n}{1 – p} \end{eqnarray*}\)

さらにもう1回微分をすると次のようになります。

\(\begin{eqnarray*} b”(p) = \frac{2p – 1}{[p(1 – p)]^2}, ~ c”(p) = -\frac{n}{(1 – p)^2} \end{eqnarray*}\)

この時、二項分布は正準形であることから、\(a(X) = X\)が成り立つことを利用します。よって、\(X\)の期待値は以下の値となります。

同様に、分散は以下のようになります。

当サイトでは二項分布の確率関数・積率母関数を用いた導出方法も解説していますので、そちらもご活用ください。

⇨『二項分布の期待値・分散の導出（証明）』

⇨『積率母関数を用いた二項分布の平均・分散の導出』

ポアソン分布

確率変数\(X\)がパラメータ\(λ\)のポアソン分布に従う時、確率関数\(F(x)\)は以下の式となります。

この時、確率関数は次のように変形することが出来ます。

\(\begin{eqnarray*} F(x) &=& \displaystyle \exp(x \log λ – λ – \log x!) \\ \end{eqnarray*} \)

\(\theta = λ\)とし、\(λ\)は未知であるとします。この時

\(a(x) = x, \, b(λ) = \log λ, \, c(λ)=-λ, \, d(x) = -\log(x!)\)

と書けるため、ポアソン分布は1パラメータの指数型分布族に属することがわかります。

また、\(a(x) = x\)となることから、正準形であることも言えます。

さて、\(b(λ), c(λ)\)に対して\(λ\)について1回微分を行うと以下のようになります。

\(\begin{eqnarray*} b'(λ) = \frac{1}{λ}, ~ c'(λ) = -1\end{eqnarray*}\)

再び微分を行うと以下の値となります。

\(\begin{eqnarray*} b”(λ) = -\frac{1}{λ^2}, ~ c”(λ) = 0 \end{eqnarray*}\)

ここでポアソン分布は正準形であることから、\(a(X)\)の期待値を求めることと\(X\)の期待値を求めることは同値であります。よって、次のようにまとまります。

同様に、分散についても同じことが言えます。

当サイトではポアソン分布の確率関数・積率母関数を用いた導出方法も解説していますので、そちらもご活用ください。

⇨『ポアソン分布の期待値・分散の導出（証明）』

⇨『積率母関数を用いたポアソン分布の期待値と分散の導出』

ガンマ分布

確率変数\(X\)がパラメータ\(\alpha, \beta\)のガンマ分布に従う時、確率密度関数\(f(x)\)は以下の式となります。

この確率密度関数は次のように変形することが出来ます。

\(\begin{eqnarray*} f(x) = \exp[\alpha \log \beta ー \log \Gamma(\alpha) + \alpha \log x – \log x – \beta x ] \end{eqnarray*} \)

ここで\(\alpha \)を既知とし、\(\beta \)が未知であると考えます。

\(\theta = \beta\)とすると、この時

\(\begin{eqnarray*} a(x) = x, \, b(\beta) = -\beta, \, c(\beta) = \alpha \log \beta – \log \Gamma(\alpha), \, d(x) = \alpha \log x – \log x \end{eqnarray*} \)

となるので、1パラメータの指数型分布族に属することがわかります。

また、\(a(x) = x\)となるので、正準形であることも示されています。

さて、\(b(\beta), ~ c(\beta)\)に対して\(\beta\)について1回微分を行うと以下の値となります。

\(\begin{eqnarray*} b'(\beta) = -1, ~ c'(\beta) = \frac{\alpha}{\beta} \end{eqnarray*}\)

さらにもう1回微分を行うと以下のようになりますね。

\(\begin{eqnarray*} b”(\beta) = 0, ~ c”(\beta) = -\frac{\alpha}{\beta^2} \end{eqnarray*}\)

この時、ガンマ分布は正準形であることから、\(a(X) = X\)が成り立つことを利用します。よって、\(X\)の期待値は以下の値となります。

同様に、分散は以下のように求まります。

当サイトではガンマ分布の確率密度関数・積率母関数を用いた導出方法も解説していますので、そちらもご活用ください。

⇨『ガンマ分布の期待値と分散を密度関数から導出する』

⇨『積率母関数を用いたガンマ分布の期待値・分散の導出』

 

指数型分布族