指数型分布族とは？定義と性質をわかりやすく解説

指数型分布族

指数型分布族とは、ある特徴をもつ確率分布が属する分布集まりを意味しています。主な特徴として、ベイズ統計において、これらの分布は共役事前分布をもつことが上げられます。

紛らわしいのは、指数分布とは意味が異なること。指数分布は特定の一つの分布を表すのに対して、指数型分布族は、いくつもの分布の総称です。（ただし、後述のとおり指数分布も指数型分布族に含まれます。）

当ページでは指数型分布族の定義を解説するとともに、これらの分布を一族にまとめてどのような性質があるのかということに触れていきたいと思います。

指数型分布族とは?定義を解説

では、まずはどのような条件を満たした分布が指数型分布族といえるのでしょうか？以下にその定義を示します。

 

ただし、\(a(.),b(.),s(.)\)や\(t(.)\)は既知である関数とします。また、上記の式について\(\begin{eqnarray*} s(x) = \exp[d(x)], t(\theta) = \exp[c(\theta)] \end{eqnarray*}\)とした場合、以下のように書き直すこともできます。

さらに、\(a(x) = x\)を満たす場合、その分布は正準形(canoncial form)であると言います。また、\(\theta\)は分布の自然パラメータ(natural parameter)と呼ばれます。もし関数に興味のある未知パラメータ\(\theta\)以外に他のパラメータが存在した場合、関数\(a(.),b(.),s(.)\)や\(t(.)\)を構成する局外パラメータ(nuisance parameter)と見なして扱うものとします。

指数型分布族の性質

指数型分布族が持つ性質の中で特によく使われるものを二つご紹介いたします。

指数型分布族の性質を利用した期待値・分散の求め方

期待値・分散を求める方法は確率密度関数や積率母関数を用いて計算を行うことが一般的です。

ですが、指数型分布族に分類される分布は、指数型分布族であることを用いた導出方法があります。この導出方法は特に正準形である場合、指数型分布族に属する分布に従う確率変数の期待値・分散を求めることと同値となります。

指数型分布族の性質を利用した導出方法にくわえ、実際に指数型分布族であり正準形である分布に対して導出を行った具体例につきましては、以下のページをご参照ください。

⇨『指数型分布族の性質を利用した期待値・分散の求め方』

指数型分布族である分布は共役事前分布をもつ

指数型分布族はベイズ統計とも関連が深い分布族です。ベイズ統計学の事前分布の設定を考える上で共役事前分布という考え方がありますが、指数型分布族は共役事前分布を持ちます。（共役事前分布とは、尤度をかけて事後分布を求めると、その関数形が同じになるような事前分布を意味しています。詳しくは『【ベイズ統計】共役事前分布とは？わかりやすく解説』をご覧ください。）

共役事前分布がどのような形の分布になるかは、データを取ってくる母集団の確率分布（以下より『母数が規定する確率分布』と表現します）によって決定されます。例えば、母数の規定する確率分布が二項分布の場合、事前分布をベータ分布に設定すれば、事後分布もベータ分布になります。（参考：『 ベータ分布の事後分布の平均と分散【ベイズ】』）

このように、母数が規定する確率分布に対して、適切な事前分布を持ってくれば、事後分布は事前分布と同じ形の分布になる訳ですが、一般に、母数が規定する確率分布が指数型分布族である場合、その分布には共役事前分布が存在することが知られています。そのため、指数型分布族に属する分布について未知のパラメータを推定したい時は、共役事前分布を事前分布と設定することで事後分布の計算が容易となるのです。

当サイトでは共役事前分布についてもっと掘り下げた解説を行うページがございます。共役事前分布のことをよく知りたい方は以下のリンク先も是非ご活用ください。

→『【ベイズ統計】共役事前分布とは？わかりやすく解説』

k個のパラメータを持つ場合の指数型分布族は存在するのか？

先程の説明においては、確率変数が単一の未知パラメータ\(\theta\)を持っている場合のみを考えてきました。

では、確率変数の持つ未知パラメータが1つだけでなく、例えば\(\theta_{1}, \theta_{2}, …, \theta_{k}\)といったように、\(k\)個の未知パラメータを持っている場合の指数型分布族は存在するのでしょうか？

結論から言うと、存在します。単一パラメータの場合と同じように、\(k\)個のパラメータを持っている場合にも指数型分布族は適用できます。（ただし、式は異なります。）

確率変数\(X\)が\(k\)個のパラメータ\(\theta = (\theta_{1}, \theta_{2}, …, \theta_{k}) \)を持つとしましょう。その確率（密度）関数\(f(x; \theta) = f(x; \theta_{1}, \theta_{2}, …, \theta_{k})\)が次の式で表せる場合、その分布は\(k\)パラメータの指数型分布族に属するといいます。

 

こちらについても、\(\begin{eqnarray*} c(\theta) = \log[t(\theta)], d(x) = \log[s(x)] \end{eqnarray*}\)とおくことで、次のように書き表すことができます。

 

指数型分布族に分類される代表的な分布

一般に、確率分布の多くが指数型分布族に分類されるといわれています。ただし、複数のパラメータをもつ確率分布に関しましては、どのパラメータが未知であるかによって、場合によっては指数型分布族には属さないというケースがございます。（例えば、正規分布は\(\mu, σ^2\)はどちらが未知（または両方とも未知）でも指数型分布族に分類されますが、二項分布の場合、\(p\)が未知である場合のみ指数型分布族に属することが示されます。）

以下が指数型分布族に属する確率分布一覧（代表的なもののみ）になります。

・正規分布
・二項分布
・多項分布
・負の二項分布
・幾何分布
・ポアソン分布
・ガンマ分布
・指数分布
・パレート分布
・ベータ分布
・ラプラス分布
・ワイブル分布

『指数型分布族に分類される確率分布の一覧』にこれらの分布について詳細にまとめました。また、複数パラメータをもつ確率分布につきましては、どのパラメータが未知・既知であるかを設定した下で指数型分布族に属するかを数式を利用した証明も行っております。そちらも是非、ご活用ください。

⇨『指数型分布族に分類される確率分布の一覧』

指数型分布族