指数型分布族とは?定義と性質をわかりやすく解説

更新日

指数型分布族とは

指数型分布族とは、ある特徴をもつ確率分布が属する分布集まりを意味しています。主な特徴として、ベイズ統計において、これらの分布は共役事前分布をもつことが上げられます。

指数分布族の定義

指数分布族の定義は以下です。

【定義①】

確率変数XXが1つの未知パラメータθ \theta を持つ確率分布に従とし、その確率密度関数f(x;θ)f(x; \theta)であるとする。このとき、確率密度関数が以下の式によって表記できる場合、その分布は指数型分布族(exponential family of distribution)に属する。

f(x;θ)=s(x)t(θ)ea(x)b(θ)f(x; \theta) = s(x)t(\theta) \mathrm{e}^{a(x)b(\theta)}

ただし、a(.),b(.),s(.)a(.),b(.),s(.)t(.)t(.)は既知である関数とする。

【定義②】

上記の式についてs(x)=exp[d(x)],t(θ)=exp[c(θ)]s(x) = \exp[d(x)], t(\theta) = \exp[c(\theta)]とした場合、以下のように書き直すこともできる。

f(x;θ)=exp[a(x)b(θ)+c(θ)+d(x)]f(x; \theta) = \exp[a(x)b(\theta) + c(\theta) + d(x)]

さらに、a(x)=xa(x) = xを満たす場合、その分布は正準形(canoncial form)であると言います。また、θ\thetaは分布の自然パラメータ(natural parameter)と呼ばれます。

もし関数に興味のある未知パラメータθ\theta以外に他のパラメータが存在した場合、関数a(.),b(.),s(.)a(.),b(.),s(.)t(.)t(.)を構成する局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族の性質

指数型分布族が持つ性質の中で特によく使われるものを2つ紹介します。

指数型分布族の性質を利用した期待値・分散の求め方

期待値・分散を求める方法は確率密度関数や積率母関数を用いて計算を行うことが一般的です。

指数型分布族に分類される分布は、指数型分布族であることを用いた導出方法があります。この導出方法は特に正準形である場合、指数型分布族に属する分布に従う確率変数の期待値・分散を求めることと同値となります。

指数型分布族の性質を利用した導出方法、実際に指数型分布族であり正準形である分布に対して導出を行った具体例については、「指数型分布族の性質を利用した期待値と分散の求め方」をご確認ください。

指数型分布族である分布は共役事前分布をもつ

指数型分布族はベイズ統計とも関連が深い分布族です。ベイズ統計学の事前分布の設定を考え方に共役事前分布という考え方がありますが、指数型分布族は共役事前分布を持ちます。

共役事前分布がどのような形の分布になるかは、データを取ってくる母集団の確率分布によって決定されます。例えば、母数の規定する確率分布が二項分布の場合、事前分布をベータ分布に設定すれば、事後分布もベータ分布になります。

このように、母数が規定する確率分布に対して、適切な事前分布を持ってくれば、事後分布は事前分布と同じ形の分布になる訳ですが、一般に、母数が規定する確率分布が指数型分布族である場合、その分布には共役事前分布が存在することが知られています。

そのため、指数型分布族に属する分布について未知のパラメータを推定したい時は、共役事前分布を事前分布と設定することで事後分布の計算が容易となるのです。

k個のパラメータを持つ場合の指数型分布族

確率変数XXkk個のパラメータθ=(θ1,θ2,...,θk)\theta = (\theta_{1}, \theta_{2}, ..., \theta_{k}) を持つとします。

その確率密度関数f(x;θ)=f(x;θ1,θ2,...,θk)f(x; \theta) = f(x; \theta_{1}, \theta_{2}, ..., \theta_{k})が次の式で表せる場合、その分布はkkパラメータの指数型分布族に属するといいます。

kkパラメータの指数型分布族

f(x;θ)=f(x;θ1,θ2,....θk)=s(x)t(θ)exp[i=1kai(x)bi(θ)]\begin{equation*}\begin{split} f(x; \theta) &= \displaystyle f(x; \theta_{1}, \theta_{2}, .... \theta_{k}) \\ &= \displaystyle s(x)t(\theta)\exp[\sum_{i=1}^k a_{i}(x) b_{i}(\theta) ] \\ \end{split}\end{equation*}

また、c(θ)=log[t(θ)],d(x)=log[s(x)]\begin{equation*}\begin{split} c(\theta) = \log[t(\theta)], d(x) = \log[s(x)] \end{split}\end{equation*}とおくことで、次のように書き表すことができます。

f(x;θ)=exp[i=1kai(x)bi(θ)+c(θ)+d(x)] \begin{equation*}\begin{split} f(x; \theta) &= \displaystyle \exp[\sum_{i=1}^k a_{i}(x) b_{i}(\theta) + c(\theta) + d(x) ]  \\ \end{split}\end{equation*}

指数型分布族に分類される代表的な分布

一般に、確率分布の多くが指数型分布族に分類されるといわれています。

ただし、複数のパラメータをもつ確率分布は、どのパラメータが未知であるかによって、場合によっては指数型分布族には属さないというケースがあります。

例えば、正規分布はμ,σ2\mu, σ^2はどちらが未知(または両方とも未知)でも指数型分布族に分類されますが、二項分布の場合、ppが未知である場合のみ指数型分布族に属することが示されます。

以下、代表的な指数型分布族に属する確率分布です。指数型分布族に属することの証明を確認したい場合は、各確率分布のリンクをご確認ください。

正規分布
・二項分布
・多項分布
・負の二項分布
・幾何分布
・ポアソン分布
・ガンマ分布
・指数分布
・パレート分布
・ベータ分布
・ラプラス分布
・ワイブル分布

関連記事

共役事前分布を分かりやすく解説

指数型分布族の性質を利用した期待値と分散の求め方

カテゴリ: 指数型分布族