無情報事前分布とは？一様分布を詳しく解説【ベイズ】

ベイズ統計

ベイズ統計の事前分布の一つに、無情報事前分布というものがあります。この分布はその名の通り、事前に情報がない場合に使用される事前分布です。この無情報事前分布に関して詳しく解説していきます。

事前に情報がない場合、無情報事前分布を使う！

ベイズ統計では、自分で事前分布を設定する必要があります（参考→『ベイズの定理』）。事前分布とは、データを得る前に、事前の情報から与えられる分布です。

以下の例で事前分布を設定してみましょう。

さて、文章の中には事前の情報がありません。コインの表が出る回数が二項分布に従うことから、事前分布をベータ分布に設定するのもいいですが（参考→『ベータ分布の事後分布の平均と分散』）、\(Beta(1/2,1/2)\)なのか、\(Beta(1,1)\)なのか、\(Beta(1,2)\)なのか、・・・選択肢がたくさんあります。そして仮に\(Beta(1,2)\)に設定したとしても、その根拠がなければ、信用性に欠けます。（二項分布ついて詳しくは二項分布のわかりやすいまとめをご覧ください。）

そこで考えられたのが無情報事前分布です。無情報事前分布は、事前に情報がない場合や、事前分布を設定するにあたる根拠がない場合、よく使用される分布です。無情報事前分布は主に以下の二つが広く知れ渡っています。

・一様分布
・非正則な分布

これらを使用することにより、（事前分布としての設定が正確かどうかはともかく）「事前に情報がないから事前分布を無情報事前分布に設定した」という根拠が得られます。

無情報事前分布のひとつ、一様分布を解説

一様分布の密度関数は以下のように与えられます。

\(f(x)=\frac{1}{b-a}\ \ \ \ \ (a\leq x\leq b)\)

これを事前分布\(\pi(\theta)\)に割り当てると、次のように書き換えることができます。

\(\pi(\theta)=\frac{1}{b-a}\ \ \ \ \ (a\leq \theta\leq b)\)

これをグラフにすると以下のようになります。

これは閉区間[a,b]の間ではどんな値をとっても全て同じ確率であることを意味しています。こういった意味で、一様分布は無情報分布であるということが言えます。

一様分布を事前分布とする際の問題点

一様分布を上記の例題で当てはめると、真の確率pは0から1を取るので、一様分布の事前分布は

\(\pi(p)=1\ \ \ \ \ (0\leq p\leq 1)\)

とかけます。これはつまり、表が出る確率が0から1の間でどれも等しいということを意味しています。

さて、これは本当に正しいと言えるでしょうか？明らかに見た目が普通のコインならば、表が出る確率が0である確率よりも、\(\frac{1}{2}\)である確率の方が大きいはずです。それなのに、全てが同じ確率であるとして設定してしまっているのです。

もちろん、確かな無情報分布ですから、「情報がなければこう設定する」と言われれば仕方のないことかもしれませんが、やはり腑に落ちません。実際に、事前分布に一様分布を採用することについては今でもよく議論になっているそうです。

非正則事前分布とは？

非正則な分布を事前分布に設定したとき、その事前分布を非正則事前分布と言います。これは、ざっくりいうと一様分布を無限に広げたような形をとります。↓

非正則な分布も、一様分布と同様に無情報分布のひとつです。しかし、非正則事前分布は非常に特殊な分布であるため、別ページにその性質をまとめています。ぜひそちらをご参照ください。

（非正則事前分布の詳しい解説→『非正則事前分布とは？』）

ベイズ統計