2017/07/17
2020/04/14
ベイズ推定と最尤推定の違いを例題を用いて解説
このページでは、最尤推定とベイズ推定の違い着目して、その考え方を解説していきます。具体的な計算については、『ベイズ推定量の導出!例題と解説(最尤推定量と比較)』の例題をご覧ください。
・ベイズ統計学のトップページはこちら⇨ベイズ統計学のわかりやすいまとめ
・最尤推定量に関する詳しい解説→『最尤推定量とは?初めての人にもわかる解説』
・ベイズ推定に関する詳しい解説→『ベイズ推定の考え方とその定義をわかりやすく解説』、『ベイズ推定量の導出!例題と解説(最尤推定量と比較)』
最尤推定とベイズ推定はよく比較されることがあります。最尤推定量は頻度論の考え方に基づいた推定であるのに対し、ベイズ推定はベイズ論に基づいた推定です(頻度論とベイズ論の考え方の違いはこちら→『ベイズ統計学の考え方~ベイズ論と頻度論の違い~』)。
ベイズ論と頻度論は、一見全く違う考え方のように思えますが、非常に重要な関連があります。これは最尤推定の考え方とベイズ統計の考え方の基礎部分が同じであるからです。今回は、こういった部分を詳しく見ていくことにしましょう。
最尤推定とベイズ論の考え方
最尤推定量の定義について見ていきましょう。
パラメータ\(\theta\)に従う分布の密度関数を\(f(x;\theta)\)とする。尤度関数を\(L(\theta;x)=f(x;\theta)\)とすると、\(L(\theta;x)\)を最大にするような推定量\(\theta=\hat{\theta}\)を\(\theta\)の最尤推定量という。
(尤度関数についてはこちら→『尤度関数、スコア関数、フィッシャー情報量とは?』)
ここでは細かい式の意味ついて理解する必要はありません。大切なのは、\(L(\theta;x)=f(x;\theta)\)というのが、同じ式だが違う意味であるということです。
例えば、次のような関数を考えます。
\(f(x;a)=ax^2\)
ここで\(f(x;a)\)というのは、\(a\)を固定したときの\(x\) の関数であるということです。つまりこの関数は放物線(二次関数)になります。
次に、このような関数を考えます。
\(g(a;x)=ax^2\)
上の\(f(x;a)\)と同じ式ですが、これは\(x\)を固定したときの\(a\) の関数になっています。よってこの関数は直線(一次関数)になります。
この考え方を利用したのが最尤推定量になります。これを統計用語で置き換えると、通常パラメータを固定してデータを動かすことを考えますが、最尤推定はデータを固定してパラメータを動かす、ということを考えているということになります。
(参考→『最尤推定量とは?初めての人にもわかる解説』)
実はこれがベイズ統計の考え方と一致しているのです。ベイズ統計も同様に、データを固定してパラメータを動かす、という考えに基づいて発展した理論なのです。
(参考→『ベイズ統計学の考え方~ベイズ論と頻度論の違い~』)
最尤推定とベイズ推定の違い【例題】
最尤推定やベイズ推定の考え方がわかったかと思います。しかし同じ考え方であるならば、どこに違いがあるのでしょうか?
それは、最尤推定量は事前情報を使わないのに対し、ベイズ推定は事前情報を使うという点にあります。
では、事前情報とはなんなのでしょうか。具体的に見ていくことにしましょう。
コインが1枚ある。このコインはどうもイカサマコインらしく、表の出る確率が\(\frac{1}{2}\)ではないらしい。ここで表の出る確率を調べるために、このコインを10回投げたところ、8回表が出た。さて、このコインの表が出る確率はいくつだろうか?
この例の場合、最尤推定量は\(\frac{8}{10}=\frac{4}{5}\)となります。つまり、このコインの表が出る確率は\(\frac{4}{5}\)である、と言っているのです。
これは今回この試行から得られた結果のみを利用していることに注意してください。これがつまり、事前情報を使わないという意味です。
ではベイズ推定量はどうなるのでしょうか。この例題に少し書き加えて見ましょう。
コインが1枚ある。このコインはどうもイカサマコインらしく、表の出る確率が\(\frac{1}{2}\)ではないらしい。ここで表の出る確率を調べるために、このコインを10回投げたところ、8回表が出た。さて、このコインの表が出る確率はいくつだろうか?
ただし、1週間前に同じコインを投げていたことがわかっていて、そのときは10回中4回表が出ていたとする。
事前情報の意味がわかったでしょうか。つまり、今回の試行より前の情報や試行結果を事前情報と呼ぶのです。
この事前情報を推定に加味したのがベイズ推定量です。具体的な計算は今回の場合できませんが、\(\frac{4}{5}\)よりは低くなると考えられますよね。
(ベイズ推定量の具体的な計算→『ベイズ推定量の導出!例題と解説(最尤推定量と比較)』)
最尤推定とベイズ推定の長所・短所
最尤推定とベイズ推定にはそれぞれ良いところ、悪いところがあります。
最尤推定量 | ベイズ推定量 | |
---|---|---|
長所 | ・データをその場で取るので、信頼性がある | ・少ない試行回数でもある程度適切な推定できる ・随時確率を更新できる(今回得られた確率を次回の事前情報として活用できる) |
短所 | ・少ない試行回数だと、極端な値をとることがある ・とはいえ、ここで100回200回と試行するのは時間がかかるし面倒 | ・事前情報が信頼できないかもしれない(上の例でいうと、1週間の間にコインに細工をしているかもしれない) |
我々は、これらのことを踏まえた上で、シチュエーションごとに適切な推定法を選択していくべきですね。
参考記事
ベイズ統計学のトップページはこちら⇨ベイズ統計学のわかりやすいまとめ
最尤推定量に関する詳しい解説→『最尤推定量とは?初めての人にもわかる解説』
ベイズ推定に関する詳しい解説→『ベイズ推定の考え方とその定義をわかりやすく解説』、『ベイズ推定量の導出!例題と解説(最尤推定量と比較)』
頻度論とベイズ論の考え方の違い→『ベイズ統計学の考え方~ベイズ論と頻度論の違い~』
最新投稿記事
-
AIプロジェクトの企画と失敗しない進め方を解説 2021年1月19日
-
AVILEN人材育成コース受講体験談:山田裕之さん「E資格の”その先”を目指して」 2021年1月8日
-
AI導入とは?RPAとの関係、プロセス、事例、メリット、費用を詳細に解説 2020年12月7日
-
注目のAI開発企業11社!支援領域や提供方法など検証! 2020年10月28日
-
AI人材を育成できる研修プログラムを一挙紹介! 2020年10月20日
-
【2021年版】期待のAI資格11選!就職・転職にも使える! 2020年10月18日
-
JDLAとは?G検定、E資格の認定プログラム、合格者の会など紹介! 2020年10月14日
-
G検定(2020#3)受験申し込み開始、11月7日(土)実施-JDLA 2020年10月1日
-
【独占】コロナ禍で人材登録急増、アノテーション単月売上高は4倍超-パソナJOB HUB 2020年10月1日
-
E資格を転職に活用!評判とデータを徹底調査! 2020年9月29日
週間ランキング
【2021年版】コスパ重視のG検定対策!おすすめの本・講座・教材を一挙紹介! 2020年6月6日
G検定に短期間・独学で合格した勉強法を解説! 2020年8月3日
【2021年版】期待のAI資格11選!就職・転職にも使える! 2020年10月18日
G検定は難しい?難易度・合格ライン・問題を徹底解説! 2020年6月19日
注目のAI開発企業11社!支援領域や提供方法など検証! 2020年10月28日
G検定に落ちた人、合格した人。勉強法の違いはどこにある? 2020年6月25日
最弱オセロを初めて攻略した天才オセロ高校生。負け方を解説! 2020年7月31日
E資格の難易度を、合格率と問題から徹底分析! 2020年8月11日
【2021年版】E資格とは?大注目のディープラーニングの資格を解説! 2020年9月29日
E資格を転職に活用!評判とデータを徹底調査! 2020年9月29日
