ベイズ推定と最尤推定の違いを例題を用いて解説

ベイズ統計

このページでは、最尤推定とベイズ推定の違い着目して、その考え方を解説していきます。具体的な計算については、『ベイズ推定量の導出！例題と解説（最尤推定量と比較）』の例題をご覧ください。

・ベイズ統計学のトップページはこちら⇨ベイズ統計学のわかりやすいまとめ
・最尤推定量に関する詳しい解説→『最尤推定量とは？初めての人にもわかる解説』
・ベイズ推定に関する詳しい解説→『ベイズ推定の考え方とその定義をわかりやすく解説』、『ベイズ推定量の導出！例題と解説（最尤推定量と比較）』

最尤推定とベイズ推定はよく比較されることがあります。最尤推定量は頻度論の考え方に基づいた推定であるのに対し、ベイズ推定はベイズ論に基づいた推定です（頻度論とベイズ論の考え方の違いはこちら→『ベイズ統計学の考え方～ベイズ論と頻度論の違い～』）。

ベイズ論と頻度論は、一見全く違う考え方のように思えますが、非常に重要な関連があります。これは最尤推定の考え方とベイズ統計の考え方の基礎部分が同じであるからです。今回は、こういった部分を詳しく見ていくことにしましょう。

最尤推定とベイズ論の考え方

最尤推定量の定義について見ていきましょう。

（尤度関数についてはこちら→『尤度関数、スコア関数、フィッシャー情報量とは？』）

ここでは細かい式の意味ついて理解する必要はありません。大切なのは、\(L(\theta;x)=f(x;\theta)\)というのが、同じ式だが違う意味であるということです。

例えば、次のような関数を考えます。

\(f(x;a)=ax^2\)

ここで\(f(x;a)\)というのは、\(a\)を固定したときの\(x\) の関数であるということです。つまりこの関数は放物線（二次関数）になります。
次に、このような関数を考えます。

\(g(a;x)=ax^2\)

上の\(f(x;a)\)と同じ式ですが、これは\(x\)を固定したときの\(a\) の関数になっています。よってこの関数は直線（一次関数）になります。

この考え方を利用したのが最尤推定量になります。これを統計用語で置き換えると、通常パラメータを固定してデータを動かすことを考えますが、最尤推定はデータを固定してパラメータを動かす、ということを考えているということになります。

（参考→『最尤推定量とは？初めての人にもわかる解説』）

実はこれがベイズ統計の考え方と一致しているのです。ベイズ統計も同様に、データを固定してパラメータを動かす、という考えに基づいて発展した理論なのです。

（参考→『ベイズ統計学の考え方～ベイズ論と頻度論の違い～』）

最尤推定とベイズ推定の違い【例題】

最尤推定やベイズ推定の考え方がわかったかと思います。しかし同じ考え方であるならば、どこに違いがあるのでしょうか？

それは、最尤推定量は事前情報を使わないのに対し、ベイズ推定は事前情報を使うという点にあります。

では、事前情報とはなんなのでしょうか。具体的に見ていくことにしましょう。

この例の場合、最尤推定量は\(\frac{8}{10}=\frac{4}{5}\)となります。つまり、このコインの表が出る確率は\(\frac{4}{5}\)である、と言っているのです。

これは今回この試行から得られた結果のみを利用していることに注意してください。これがつまり、事前情報を使わないという意味です。

ではベイズ推定量はどうなるのでしょうか。この例題に少し書き加えて見ましょう。

事前情報の意味がわかったでしょうか。つまり、今回の試行より前の情報や試行結果を事前情報と呼ぶのです。

この事前情報を推定に加味したのがベイズ推定量です。具体的な計算は今回の場合できませんが、\(\frac{4}{5}\)よりは低くなると考えられますよね。

（ベイズ推定量の具体的な計算→『ベイズ推定量の導出！例題と解説（最尤推定量と比較）』）

最尤推定とベイズ推定の長所・短所

最尤推定とベイズ推定にはそれぞれ良いところ、悪いところがあります。

	最尤推定量	ベイズ推定量
長所	・データをその場で取るので、信頼性がある	・少ない試行回数でもある程度適切な推定できる ・随時確率を更新できる（今回得られた確率を次回の事前情報として活用できる）
短所	・少ない試行回数だと、極端な値をとることがある ・とはいえ、ここで100回200回と試行するのは時間がかかるし面倒	・事前情報が信頼できないかもしれない（上の例でいうと、1週間の間にコインに細工をしているかもしれない）

我々は、これらのことを踏まえた上で、シチュエーションごとに適切な推定法を選択していくべきですね。

 

参考記事

ベイズ統計学のトップページはこちら⇨ベイズ統計学のわかりやすいまとめ

最尤推定量に関する詳しい解説→『最尤推定量とは？初めての人にもわかる解説』

ベイズ推定に関する詳しい解説→『ベイズ推定の考え方とその定義をわかりやすく解説』、『ベイズ推定量の導出！例題と解説（最尤推定量と比較）』

頻度論とベイズ論の考え方の違い→『ベイズ統計学の考え方～ベイズ論と頻度論の違い～』

ベイズ統計