指数型分布族の性質を利用した期待値と分散の求め方

更新日

指数型分布族の定義

まずは簡単に指数型分布族の定義を確認します。

確率変数XXが1つの未知パラメータθ \theta を持つ確率分布に従うとし、XXの確率分布が確率(密度)関数f(x;θ)f(x; \theta)を持つとしましょう。

この時、確率密度関数が以下の式によって表記できる場合、その分布は指数型分布族に属するといいます。

f(x;θ)=exp[a(x)b(θ)+c(θ)+d(x)]\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[a(x)b(\theta) + c(\theta) + d(x)] \\ \end{split}\end{equation*}

a(.),b(.),c(.)a(.),b(.),c(.)d(.)d(.)は既知である関数とする。

さらに、a(x)=xa(x) = xを満たす場合、その分布は正準形(canoncial form)であると言います。また、未知パラメータ以外に他のパラメータが存在した場合、そのパラメータを局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族の性質を利用した期待値と分散の求め方

この求め方は、微分と積分の順序が入れ替えられるという条件の下で、任意の確率密度関数に対して以下の結果が成り立つことを用います。

f(x;θ)dx=1\begin{equation*}\begin{split} \int f(x; \theta)dx &= \displaystyle 1 \\ \end{split}\end{equation*}

ただし、上式の積分範囲はxxのとりうる値の全体である。

確率変数XXが連続型確率変数であるという前提で議論を進めますが、もし離散型確率変数である場合、上式の積分は和に置き換わります。

さて、上式についてθ\thetaに関して両辺に対して微分を行うと、以下の式となります。

ddθf(x;θ)dx=ddθ1=0\begin{equation*}\begin{split} \frac{d}{d\theta} \int f(x; \theta)dx = \frac{d}{d\theta}1 = 0 \end{split}\end{equation*}

さらに上式について左辺の積分と微分の順序を入れ替えると、以下のように表せます。

df(x;θ)dθdx=0\begin{equation*}\begin{split} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{split}\end{equation*}

上式は指数型分布族の性質を利用した期待値の導出の際に重要となるポイントです。

同様に、f(x;θ)dx=1\begin{equation*}\begin{split} \int f(x; \theta)dx &= \displaystyle 1 \\ \end{split}\end{equation*}θ\thetaに関して2回微分し、積分と微分の順序を入れ替えると、次の結果が得られます。

d2f(x;θ)dθ2dx=0\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{split}\end{equation*}

上式は指数型分布族の性質を利用した分散の導出の際に重要となるポイントです。

期待値の求め方

冒頭のとおり、指数型分布族に属する分布に従う確率変数XXの確率密度関数はf(x;θ)=exp[a(x)b(θ)+c(θ)+d(x)]\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[a(x)b(\theta) + c(\theta) + d(x)] \\ \end{split}\end{equation*}と表すことが出来ます。

ここからはa(X)a(X)の期待値を求めることを考えます。

上式のように表せられる f(x;θ) f(x; \theta) に対してθ\thetaについて微分を行うと以下のようになります。

df(x;θ)dθ=[a(x)b(θ)+c(θ)]f(x;θ)\begin{equation*}\begin{split} \frac{d f(x; \theta)}{d\theta} = [a(x)b'(\theta) + c'(\theta)]f(x; \theta) \end{split}\end{equation*}

ここで、df(x;θ)dθdx=0\begin{equation*}\begin{split} \int \frac{d f(x; \theta)}{d\theta} dx = 0 \end{split}\end{equation*} となることを利用すると、次の結果が得られます。

[a(x)b(θ)+c(θ)]f(x;θ)dx=0\begin{equation*}\begin{split} \int [a(x)b'(\theta) + c'(\theta)]f(x; \theta)dx = 0 \end{split}\end{equation*}

ここで、期待値の定義より、a(x)f(x;θ)dx=E[a(X)]\begin{equation*}\begin{split} \int a(x)f(x; \theta)dx = E[a(X)] \end{split}\end{equation*}であり、

c(θ)f(x;θ)dx=E[c(θ)]=c(θ)\begin{equation*}\begin{split} \int c'(\theta)f(x; \theta)dx = E[c'(\theta)] = c'(\theta) \end{split}\end{equation*}と表せます。

さらに、期待値の線形性を利用することで次のように式をまとめることができます。

b(θ)E[a(X)]+c(θ)=0\begin{equation*}\begin{split} b'(\theta)E[a(X)] + c'(\theta) = 0 \end{split}\end{equation*}

ここまでの結果を整理すると以下のように表せます。

a(X)a(X)の期待値

E[a(X)]=c(θ)b(θ)\begin{equation*}\begin{split} E[a(X)] = -\frac{c'(\theta)}{b'(\theta)}\end{split}\end{equation*}

ここに、XXの従う確率分布が指数型分布族であると同時に正準形であった場合、a(X)=Xa(X) = Xであることから、a(X)a(X)の期待値E[a(X)]E[a(X)]を求めることは、XXの期待値E(X)E(X)を求めることと等しいです。

E(X)=E[a(X)]=c(θ)b(θ)\begin{equation*}\begin{split} E(X) = E[a(X)] = -\frac{c'(\theta)}{b'(\theta)}\end{split}\end{equation*}

分散の求め方

指数型分布族に属する確率密度関数 f(x;θ) f(x; \theta) に対してθ\thetaについて2回微分を行うと次の結果を得ることができます。

d2f(x;θ)dθ2=[a(x)b(θ)+c(θ)]f(x;θ)+[a(x)b(θ)+c(θ)]2f(x;θ)\begin{equation*}\begin{split} \frac{d^2 f(x; \theta)}{d\theta^2} = [a(x)b''(\theta) + c''(\theta)]f(x; \theta) + [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) \end{split}\end{equation*}

ここで、上式の右辺の第2項は、E[a(X)]E[a(X)]を用いて以下のように変形できます。

[a(x)b(θ)+c(θ)]2f(x;θ)=[b(θ)]2{a(x)E[a(X)]}2f(x;θ)\begin{equation*}\begin{split} [a(x)b'(\theta) + c'(\theta)]^2 f(x; \theta) = [b'(\theta)]^2 \{a(x) - E[a(X)]\}^2 f(x; \theta) \end{split}\end{equation*}

また、Var[a(X)]Var[a(X)]分散の定義より、以下のように表せます。

Var[a(X)]=E[a(X)2]E[a(X)]2={a(x)E[a(X)]}2f(x;θ)dx\begin{equation*}\begin{split} Var[a(X)] = E[{a(X)}^2] - {E[a(X)]}^2 = \int \{a(x) - E[a(X)]\}^2 f(x; \theta)dx \end{split}\end{equation*}

これまでの結果をd2f(x;θ)dθ2dx=0\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d\theta^2} dx = 0 \end{split}\end{equation*} に代入すると、以下の式となります。

d2f(x;θ)dθ2=b(θ)E[a(X)]+c(θ)+[b(θ)]2Var[a(X)]=0\begin{equation*}\begin{split} \int \frac{d^2 f(x; \theta)}{d \theta^2} = b''(\theta)E[a(X)] + c''(\theta) + [b''(\theta)]^2 Var[a(X)] = 0\end{split}\end{equation*}

上式を整理し、さらにE[a(X)]E[a(X)]を代入すること、次の解が得られます。

a(X)a(X)の分散

Var[a(X)]=b(θ)c(θ)c(θ)b(θ)[b(θ)]3\begin{equation*}\begin{split} Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} \end{split}\end{equation*}

ここで、XXの従う確率分布が指数型分布族であると同時に正準形であった場合、a(X)=Xa(X) = Xであることから、a(X)a(X)の分散Var[a(X)]Var[a(X)]を求めることは、XXの分散Var(X)Var(X)を求めることと等しいです。

Var(X)=Var[a(X)]=b(θ)c(θ)c(θ)b(θ)[b(θ)]3\begin{equation*}\begin{split} Var(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} \end{split}\end{equation*}

様々な確率分布の期待値・分散

ここまで説明してきた導出方法によって指数型分布族に属する確率分布の期待値・分散を記載します。

この導出方法は指数型分布族に属する分布であれば利用することができますが、特に正準形である場合はすぐに証明することができます。

正規分布

確率変数XXがパラメータμ,σ2\mu , σ^2正規分布に従う時、確率密度関数f(x)f(x)は以下の式となります。

パラメータμ,σ2\mu , σ^2の正規分布の確率密度関数

f(x)=12πσ2exp[(xμ)22σ2]\begin{equation*}\begin{split} f(x) = \frac{1}{\sqrt{2πσ^2}}\exp{[-\frac{(x-μ)^2}{2σ^2}]} \end{split}\end{equation*}

確率密度関数は次のように変形することが出来ます。

f(x)=exp[x22σ2+xμσ2μ22σ212log(2πσ2)]\begin{equation*}\begin{split} f(x) = \exp[-\frac{x^2}{2σ^2} + \frac{x\mu}{σ^2} - \frac{\mu^2}{2σ^2} - \frac{1}{2}\log(2πσ^2) ] \end{split}\end{equation*}

ここでμ\muが未知、σ2σ^2が既知である場合を考えます。

θ=μ\theta = \muとすると、

a(x)=x,b(μ)=μσ2,c(μ)=μ22σ212log2πσ2,d(x)=x22σ2\begin{equation*}\begin{split} a(x) = x, \, b(\mu) = \frac{\mu}{σ^2}, \, c(\mu) = -\frac{\mu^2}{2σ^2} - \frac{1}{2}\log 2πσ^2, \, d(x) = -\frac{x^2}{2σ^2} \end{split}\end{equation*}

と書けるため、この場合は1パラメータの指数型分布族に属することがわかります。

さて、b(μ), c(μ)b(\mu), ~ c(\mu)に対してμ\muについて1回微分を行うと以下の値を得られます。

b(μ)=1σ2, c(μ)=μσ2\begin{equation*}\begin{split} b'(\mu) = \frac{1}{σ^2}, ~ c'(\mu) = -\frac{\mu}{σ^2} \end{split}\end{equation*}

さらにもう1回微分するとこうなります。

b(μ)=0, c(μ)=1σ2\begin{equation*}\begin{split} b''(\mu) = 0, ~ c''(\mu) = -\frac{1}{σ^2} \end{split}\end{equation*}

この時、正規分布は正準形であることから、a(X)=Xa(X) = Xが成り立つことを利用します。

よって、XXの期待値と分散は以下の値となります。

正規分布の期待値

E(X)=E[a(X)]=c(μ)b(μ)=1σ2(μσ2)=μE(X) = E[a(X)] = -\frac{c'(\mu)}{b'(\mu)} = -\frac{\frac{1}{\sigma^2}}{\left(\frac{\mu}{\sigma^2}\right)} = \mu

正規分布の分散

Var(X)=Var[a(X)]=b(θ)c(θ)c(θ)b(θ)[b(θ)]3=0(1σ2)(1σ2)(1σ2)[1σ2]3=σ2Var(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{0 \cdot \left(-\frac{1}{\sigma^2}\right) - \left(-\frac{1}{\sigma^2}\right) \cdot \left(\frac{1}{\sigma^2}\right)}{\left[ \frac{1}{\sigma^2} \right]^3} =\sigma^2

正規分布の確率密度関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

積率母関数を用いた正規分布の期待値(平均)と分散の導出

確率密度関数を用いた正規分布の期待値(平均)と分散の導出

二項分布

確率変数XXがパラメータn,pn, p二項分布に従う時、確率密度関数F(x=k)F(x=k)は以下の式となります。

F(x=k)= (nk)pk(1p)nk  (k=0,1,2,...)\begin{equation*}\begin{split} F(x=k) &= \displaystyle  \begin{pmatrix}n \\ k\end{pmatrix} p^{k}{(1-p)}^{n-k} ~~ (k = 0, 1, 2, ...) \\ \end{split}\end{equation*}

この時、確率関数は次のように変形することが出来ます。

F(x=k)=exp[klogpklog(1p)+nlog(1p)+log(nk)]\begin{equation*}\begin{split} F(x=k) &= \displaystyle \exp[k \log p - k \log (1-p) + n \log (1-p) + \log \begin{pmatrix}n \\ k\end{pmatrix} ] \end{split}\end{equation*}

ここでnnは既知であり、ppが未知である場合を考えます。θ=p\theta = pとします。この時、

a(k)=k,b(p)=logp1p,c(p)=nlog(1p),d(k)=log (nk) \begin{equation*}\begin{split} a(k) = k, \, b(p) = \log \frac{p}{1 - p}, \, c(p) = n \log (1 - p), \, d(k) = \log  \begin{pmatrix}n \\ k\end{pmatrix}  \end{split}\end{equation*}

となるので、1パラメータの指数型分布族に属することがわかります。

また、a(k)=ka(k) = kとなるので、正準形であることも示されています。

b(p), c(p)b(p), ~ c(p)に対してppについて1回微分を行うと以下の結果を得られます。

b(p)=1p(1p), c(p)=n1p\begin{equation*}\begin{split} b'(p) = \frac{1}{p(1 - p)}, ~ c'(p) = -\frac{n}{1 - p} \end{split}\end{equation*}

さらにもう1回微分をすると次のようになります。

b(p)=2p1[p(1p)]2, c(p)=n(1p)2\begin{equation*}\begin{split} b''(p) = \frac{2p - 1}{[p(1 - p)]^2}, ~ c''(p) = -\frac{n}{(1 - p)^2} \end{split}\end{equation*}

この時、二項分布は正準形であることから、a(X)=Xa(X) = Xが成り立つことを利用します。XXの期待値と分散は以下の値となります。

二項分布の期待値

E(X)=E[a(X)]=c(p)b(p)=n1p2p1[p(1p)]2=npE(X) = E[a(X)] = -\frac{c'(p)}{b'(p)} = -\frac{-\frac{n}{1 - p}}{\frac{2p - 1}{[p(1 - p)]^2}} = np

二項分布の分散

V(X)=V[a(X)]= b(θ)c(θ)c(θ)b(θ)[b(θ)]3=n(2p1)p2(1p)3+np(1p)3[1p(1p)]3=np(1p)V(X) = V[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{-\frac{n(2p - 1)}{p^2 (1 - p)^3} + \frac{n}{p(1 - p)^3}}{\left[ \frac{1}{p(1 - p)} \right]^3} = np(1 - p)

二項分布の確率質量関数・積率母関数を用いた導出方法については、以下の記事をご確認ください。

確率質量関数を用いた二項分布の期待値・分散の導出

積率母関数を用いた二項分布の期待値・分散の導出

ポアソン分布

確率変数XXがパラメータλλポアソン分布に従う時、確率密度関数F(x)F(x)は以下の式となります。

F(x)=  λxeλx!  (x=0,1,2,...) \begin{equation*}\begin{split} F(x) &= \displaystyle  \frac{λ^x \mathrm{e}^{-λ}}{x!} ~~ (x = 0, 1, 2, ...)  \end{split}\end{equation*}

この時、確率関数は次のように変形することが出来ます。

F(x)=exp(xlogλλlogx!) \begin{equation*}\begin{split} F(x) &= \displaystyle \exp(x \log λ - λ - \log x!) \\ \end{split}\end{equation*} 

θ=λ\theta = λとし、λλは未知であるとします。この時

a(x)=x,b(λ)=logλ,c(λ)=λ,d(x)=log(x!)a(x) = x, \, b(λ) = \log λ, \, c(λ)=-λ, \, d(x) = -\log(x!)

と書けるため、ポアソン分布は1パラメータの指数型分布族に属することがわかります。

また、a(x)=xa(x) = xとなることから、正準形であることも言えます。

b(λ),c(λ)b(λ), c(λ)に対してλλについて1回微分を行うと以下のようになります。

b(λ)=1λ, c(λ)=1\begin{equation*}\begin{split} b'(λ) = \frac{1}{λ}, ~ c'(λ) = -1\end{split}\end{equation*}

再び微分を行うと以下の値となります。

b(λ)=1λ2, c(λ)=0\begin{equation*}\begin{split} b''(λ) = -\frac{1}{λ^2}, ~ c''(λ) = 0 \end{split}\end{equation*}

ここでポアソン分布は正準形であることから、a(X)a(X)の期待値を求めることとXXの期待値を求めることは同値です。よって、XXの期待値と分散は以下の値となります。

ポアソン分布の期待値

E(X)=E[a(X)]=c(λ)b(λ)=11λ=λE(X) = E[a(X)] = -\frac{c'(λ)}{b'(λ)} = -\frac{-1}{\frac{1}{λ}} = λ

ポアソン分布の分散

Var(X)=Var[a(X)]= b(θ)c(θ)c(θ)b(θ)[b(θ)]3=1λ2(1)01λ[1λ]3=λVar(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{-\frac{1}{λ^2} \cdot (-1) - 0 \cdot \frac{1}{λ} }{\left[ \frac{1}{λ} \right]^3} = λ

ガンマ分布

確率変数XXがパラメータα,β\alpha, \betaのガンマ分布に従う時、確率密度関数f(x)f(x)は以下の式となります。

f(x)=βαΓ(α)xα1eβx   (x>0)f(x) = \frac{\beta^{\alpha}}{\Gamma(\alpha)} x^{\alpha - 1} \mathrm{e}^{-\beta x} ~~~ (x \gt 0)

ただし、α>0,β>0\alpha \gt 0, \beta \gt 0であり、Γ(α)\Gamma(\alpha)はガンマ関数

この確率密度関数は次のように変形することが出来ます。

f(x)=exp[αlogβlogΓ(α)+αlogxlogxβx]\begin{equation*}\begin{split} f(x) = \exp[\alpha \log \beta ー \log \Gamma(\alpha) + \alpha \log x - \log x - \beta x ] \end{split}\end{equation*}

ここでα\alpha を既知とし、β\beta が未知であると考えます。

θ=β\theta = \betaとすると、この時

a(x)=x,b(β)=β,c(β)=αlogβlogΓ(α),d(x)=αlogxlogx\begin{equation*}\begin{split} a(x) = x, \, b(\beta) = -\beta, \, c(\beta) = \alpha \log \beta - \log \Gamma(\alpha), \, d(x) = \alpha \log x - \log x \end{split}\end{equation*}

となるので、1パラメータの指数型分布族に属することがわかります。

また、a(x)=xa(x) = xとなるので、正準形であることも示されています。

さて、b(β), c(β)b(\beta), ~ c(\beta)に対してβ\betaについて1回微分を行うと以下の値となります。

b(β)=1, c(β)=αβ\begin{equation*}\begin{split} b'(\beta) = -1, ~ c'(\beta) = \frac{\alpha}{\beta} \end{split}\end{equation*}

さらにもう1回微分を行うと以下のようになります。

b(β)=0, c(β)=αβ2\begin{equation*}\begin{split} b''(\beta) = 0, ~ c''(\beta) = -\frac{\alpha}{\beta^2} \end{split}\end{equation*}

この時、ガンマ分布は正準形であることから、a(X)=Xa(X) = Xが成り立つことを利用します。よって、XXの期待値と分散は以下の値となります。

ガンマ分布の期待値

E(X)=E[a(X)]=c(λ)b(λ)=11λ=λE(X) = E[a(X)] = -\frac{c'(λ)}{b'(λ)} = -\frac{-1}{\frac{1}{λ}} = λ

ガンマ分布の分散

Var(X)=Var[a(X)]= b(θ)c(θ)c(θ)b(θ)[b(θ)]3=1λ2(1)01λ[1λ]3=λVar(X) = Var[a(X)] = \frac{b''(\theta)c'(\theta) - c''(\theta)b'(\theta)}{[b'(\theta)]^3} = \frac{-\frac{1}{λ^2} \cdot (-1) - 0 \cdot \frac{1}{λ} }{\left[ \frac{1}{λ} \right]^3} = λ

関連記事

指数型分布族とは?定義と性質をわかりやすく解説

期待値とは?定義や性質を解説

分散とは?2種類の公式と計算例を解説

カテゴリ: 指数型分布族