2017/10/06
2020/04/14
非正則事前分布とは？〜完全なる無情報事前分布〜
このページではベイズ統計における非正則事前分布について説明していきます。
ベイズ統計における事前分布を非正則な分布に設定したとき、そのような事前分布を非正則事前分布と言います。非正則事前分布とは、ベイズ統計における無情報事前分布のひとつです。
（無情報事前分布とは？→『無情報事前分布とは？一様分布を詳しく解説』）
非正則な分布は非常に特殊な分布で、様々な性質を持っています。これらについて詳しく解説していきます。
非正則な分布とは？一様分布との比較
非正則な分布は一様分布と非常に似ています。では、一様分布とどのように似ていて、どこが違うのでしょうか？
まず、一様分布の密度関数は以下のように与えられています。
\(f(x)=\frac{1}{b-a}\ \ \ \ \ (a\leq x\leq b)\)
これをパラメータ\(\theta\)の事前分布に設定すると、
\(\pi(\theta)=\frac{1}{b-a}\ \ \ \ \ (a\leq\theta\leq b)\)
と表せられます。この一様分布の密度関数のグラフは下図です。
（一様分布を事前分布にした場合の説明はこちら→『無情報事前分布とは？一様分布と非正則な分布』）
これに対し、非正則な分布の密度関数は例えば（*1） 以下 のように与えられます。
\(f(x)=C\ \ \ \ \ (-\infty\leq x\leq\infty)\)
これをパラメータ\(\theta\)の事前分布に設定すると、
\(\pi(\theta)=C\ \ \ \ \ (-\infty\leq\theta\leq\infty)\)
と表せられます。この非正則な分布の密度関数のグラフは下図です。
違いがお分かりいただけたでしょうか。つまり、非正則な分布とは、一様分布の範囲を無限に広げた分布のことです。
（*1ここで「例えば」と挙げたのは、密度関数のCは定数なので、他の形に書き換えることができるためです。\(\frac{1}{\sigma}\) などを使う場合もあり、定数ならばなんでもOKです）
非正則分布は確率分布ではない！？
上で説明した非正則な分布ですが、よく見てみてください。確率の和が1ではありませんよね。
これを数式で表現してみましょう。事前分布をパラメータの取りうる区間で積分すると、
\(\int_{\theta\in\Theta}f(x)dx=\int_{-\infty}^{\infty}Cdx=\infty\)
となり、積分値が無限大に発散してしまいます。これは、全事象の確率は1であるというコルモゴロフの確率の公理に反しています。
よって、厳密には、非正則な分布は確率密度関数ではありません。なぜなら、確率の公理を満たしていないからです。それでもこの分布が使われる理由は、この分布には特有の特徴があり、それが事前分布として機能する上でとても有用だからです。ではどのように有用なのでしょうか？（正確には、積分値が無限大に発散してしまうような分布が非正則な分布の定義です。）
非正則事前分布は完全なる無情報事前分布
非正則事前分布は確率の理論としては破綻しているのに、なぜ事前分布として採用されうるのか、その理由を考えるために、正規分布を例に事後分布を計算してみます。
平均\(\mu\)、分散\(\sigma^2\)（既知）の正規母集団からデータをn個取ってきた。このときの事後分布とその平均、分散を求めよ。ただし、事前に情報がないため、事前分布を\(\pi(\mu)=C\ \ \ \ \ (-\infty\leq\mu\leq\infty)\) と設定する。
標本平均を\(\bar{x}\)とすると、ベイズの定理より、
\(\pi(\mu|x)\propto\pi(\mu)f(x|\mu)\)
ここの式変形は『正規分布の事後分布の平均、分散』を参考のこと
\(\propto C\cdot(\frac{1}{\sqrt{2\pi}\sigma})^nexp[-\frac{1}{2\sigma^2}\{n(\mu-\overline{x})^2+nS^2)\}]\)
\( C\cdot(\frac{1}{\sqrt{2\pi}\sigma})^n\)と\(exp[-\frac{nS^2}{2\sigma^2}]\)は定数とみなせる
\(\propto exp[-\frac{n(\mu-\overline{x})^2)}{2\sigma^2}]\)
となります。ここに基格化定数（全区間の積分値を1にするための定数）をかけると、
\(\pi(\mu|x)=\frac{1}{\sqrt{2\pi\sigma^2/n}}exp[-\frac{n(\mu-\overline{x})^2)}{2\sigma^2}]\)
という事後分布が得られます。また、この分布の形から、
$$平均:\bar{x}$$
$$分散:\frac{\sigma^2}{n}$$
であることがわかります。
この平均と分散は、サンプルサイズがnのときの標本平均と標本分散に一致しています。つまり、事前分布を非正則事前分布に設定すると、事前の情報が一切加味されず、データの情報だけで事後分布が構成されるというわけです。このことから、非正則事前分布は完全なる無情報事前分布として考えられるのです。
まとめ
いかがでしたでしょうか。これらの話をまとめると、
・非正則事前分布は無情報事前分布のひとつである
・非正則事前分布の積分値は無限大に発散する
・それゆえに非正則事前分布は厳密には確率分布ではない
・非正則事前分布は完全なる無情報事前分布である
ということになります。
非正則な分布はこのような特殊な分布ですので、仮説検定など、様々な問題が生じます。また、数学的には誤った分布（そもそもベイズの定理ですら確率分布であることを想定しているため、非正則分布は適用できない）であるので、指摘も多いです。それでも議論され、使用されるのは、「完全なる無情報」としての有用性が認められているからでしょう。
関連記事
無情報事前分布とは？→『無情報事前分布とは？一様分布を詳しく解説』
共役事前分布とは？→『【ベイズ統計】共役事前分布とは？わかりやすく解説』
Recommended