2017/10/10
2020/04/24
ベイズ統計の仮説検定〜点帰無仮説の場合〜 【第5回】
ベイズ統計の仮説検定は全6回にわたって説明しています。他のページもぜひご覧ください。
【第1回】ベイズ統計の仮説検定〜頻度論との違い〜
【第2回】ベイズ統計の仮説検定〜基本的な検定〜
【第3回】ベイズ統計の仮説検定〜頻度論の考え方に基づく検定〜
【第4回】ベイズ統計の仮説検定〜ベイズファクター〜
【第5回】ベイズ統計の仮説検定〜点帰無仮説の場合〜 ←イマココ!
【第6回】ベイズ統計の仮説検定〜問題点とまとめ〜
目次
点帰無仮説におけるベイズ流仮説検定の問題点
前回まで、検定の仮説は全て
\(H_0:\theta_0\leq\theta\)
\(H_1:\theta_0>\theta\)
のように幅のある帰無仮説(不等号を用いた)を扱ってきました。今回は等号を用いた、
\(H_0:\theta=\theta_0\)
\(H_1:\theta\neq\theta_0\)
という点帰無仮説の場合について説明していきます。
この検定には大きな問題があります。連続型の事前分布を\(\pi(\theta)\)とすると、仮説を満たす事前確率は以下のようになります。
お気づきでしょうか。点帰無仮説は幅がないため、帰無仮説を満たす確率\(\pi_0\)が0になってしまうのです。もちろん事後分布における事後確率も0になるので、検定ができなくなってしまいます(言ってしまえば帰無仮説を満たす確率が0になってしまうので、必ず帰無仮説は棄却されてしまいます)。
点帰無仮説の検定は事前確率を自分で割り当てる!
上記の問題点から、前回までの方法で検定することはできません。
そこで、帰無仮説を満たす事前確率\(\pi_0\)を自分で割り当てて検定を行います。例えば、日本人の成人男性の平均身長において、
\(H_0:\mu=170\)
\(H_1:\mu\neq 170\)
という検定を考えたとき、理論上は\(\mu=170\)を満たす確率は0ですが、これを例えば50%と割り当てるのです。つまり、\(\mu=170\)である確率が50%、\(\mu\neq 170\)である確率が50%と決めつけて検定を行なっていきます。
点帰無仮説の場合の事後オッズ比とベイズファクターの理論計算
点帰無仮説の場合、前回扱った事前分布
\(\pi(\theta)=\pi_0g_0(\theta)I(\theta\in\Theta_0)+(1-\pi_0)g_1(\theta)I(\theta\in\Theta_1)\)
は
\(\pi(\theta)=\pi_0(\theta)I(\theta=\theta_0)+(1-\pi_0)g_1(\theta)I(\theta\neq\theta_0)\)
と書き換えられます。前回と同様のアプローチで、周辺尤度を
\(m(x)=\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)\)
\(m_1(x)=\int_{\theta\neq\theta_0}f(x|\theta)g_1(\theta)d\theta\)
と計算できます。よって事後確率は
\(\pi(\theta_0|x)=\frac{f(x|\theta_0)\pi_0}{m(x)}\)
\(=\frac{\pi_0f(x|\theta_0)}{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}\)
\(=[\frac{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}{\pi_0f(x|\theta_0)}]^{-1}\)
\(=[1+\frac{1-\pi_0}{\pi_0}\frac{m_1(x)}{f(x|\theta_0)}]^{-1}\)
\(1-\pi(\theta_0|x)=1-\frac{f(x|\theta_0)\pi_0}{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}\)
\(\frac{(1-\pi_0)m_1(x)}{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}\)
となります。従って事後分布は、以下のようになります。
\(\frac{\pi(\theta_0|x)}{1-\pi(\theta_0|x)}=\frac{\frac{\pi_0f(x|\theta_0)}{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}}{\frac{(1-\pi_0)m_1(x)}{\pi_0f(x|\theta_0)+(1-\pi_0)m_1(x)}}\)
\(=\frac{\pi_0}{1-\pi_0}\frac{f(x|\theta_0)}{m_1(x)}\)
ここで\(\pi_0\)によらない部分
\(BF_{01}=\frac{f(x|\theta_0)}{m_1(x)}\)
をベイズファクターとして定義するので、事後確率\(\pi(\theta_0|x)\)は次のようになります。
\(\pi(\theta_0|x)=[1+\frac{1-\pi_0}{\pi_0}BF_{01}^{-1}]^{-1}\)
二項分布の場合におけるベイズファクター
例として、二項分布の場合のベイズファクターを計算してみましょう。(二項分布の詳しい説明は二項分布のわかりやすいまとめをご覧ください。)
\(H_0:p=p_0\)
\(H_1:p\neq p_0\)
という検定を考える。データは\(X〜B(n,p)\)であるとする。このとき、事前分布は\(p〜Beta(\alpha,\beta)\)に従うとする。
上記の理論における\(m_1(x)\)は
\(m_1(x)= _nC_x\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\frac{\Gamma(\alpha+x)\Gamma(\beta+n-x)}{\Gamma(\alpha+\beta+n)}\)
であるから、ベイズファクターは
\(BF_{01}=\frac{ _nC_x\theta_0^x(1-\theta_0)^{n-x}}{_nC_x\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\frac{\Gamma(\alpha+x)\Gamma(\beta+n-x)}{\Gamma(\alpha+\beta+n)}}\)
\(=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+x)\Gamma(\beta+n-x)}\theta_0^x(1-\theta_0)^{n-x}\)
と計算できます。よって、事後確率は
\(\pi(\theta_0|x)=[1+\frac{1-\pi_0}{\pi_0}BF_{01}^{-1}]^{-1}\)
\(=[1+\frac{1-\pi_0}{\pi_0}\frac{\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\frac{\Gamma(\alpha+x)\Gamma(\beta+n-x)}{\Gamma(\alpha+\beta+n)}}{\theta_0^x(1-\theta_0)^{n-x}}]^{-1}\)
となります。
例題を用いて解説〜点帰無仮説の場合〜
具体的な例を用いて、検定してみましょう。
コインを5回投げたところ4回表が出た。これはイカサマコインと言えるか。ただし表の出る確率の分布は事前に\(Beta(1,1)\)に従っているとし、しきい値を\(\frac{1}{19}\)とする。
pを表の出る確率とし、
\(H_0:p=\frac{1}{2}\)
\(H_1:p\neq \frac{1}{2}\)
を考えます。先ほどの式に代入すると、ベイズファクターは
\(BF_{01}=\frac{\Gamma(1)\Gamma(1)}{\Gamma(1+1)}\frac{\Gamma(1+1+5)}{\Gamma(1+4)\Gamma(1+5-4)}(\frac{1}{2})^4(1-\frac{1}{2})^{5-4}\)
\(=\frac{6!}{4!1!}(\frac{1}{2})^{5}\)
\(=\frac{15}{16}=0.9375\)
となります。よって\(\pi_0=\frac{1}{2}\)と割り当てると、事後オッズ比は
\(\frac{P(H_0|X)}{P(H_1|X)}=\frac{\pi_0}{1-\pi_0}BF_{01}=\frac{\frac{1}{2}}{1-\frac{1}{2}}×0.9375=0.9375<\frac{1}{19}\)
となります。
よって、帰無仮説を受容し、イカサマコインではないと判断します。また、ベイズファクターの値から、帰無仮説に反対する根拠があまりない、という結果が得られます。
(事後オッズ比の値から、\(\theta_0\)を満たす確率は\(\frac{0.9375}{1+0.9375}=0.484=48.4\%\)となっています。これはつまり、はじめ表の出る確率を50%と設定したが、「5回中4回表が出た」というデータから、表の出る確率が48.4%に落ちた、と解釈することができます。)
まとめ
今回の内容をまとめると、帰無仮説が点の場合、帰無仮説を満たす事前確率\(\pi_0\)を自分で割り当てて検定を行う必要があります。
ちなみに、もっと客観的な確率は、割り当てる確率が50%のときであることが知られています。逆に50%未満にすると、帰無仮説が棄却されやすくなり、前回説明した問題につながってしまいます。
点帰無仮説のパターンも終わり、ベイズ統計における仮説検定で大体の検定ができるようになったと思います。
次回最終回は、ベイズ流仮説検定の全体的な問題点とまとめになります。
【第1回】ベイズ統計の仮説検定〜頻度論との違い〜
【第2回】ベイズ統計の仮説検定〜基本的な検定〜
【第3回】ベイズ統計の仮説検定〜頻度論の考え方に基づく検定〜
【第4回】ベイズ統計の仮説検定〜ベイズファクター〜
【第5回】ベイズ統計の仮説検定〜点帰無仮説の場合〜 ←イマココ!
【第6回】ベイズ統計の仮説検定〜問題点とまとめ〜
最新投稿記事
-
AIプロジェクトの企画と失敗しない進め方を解説 2021年1月19日
-
AVILEN人材育成コース受講体験談:山田裕之さん「E資格の”その先”を目指して」 2021年1月8日
-
AI導入とは?RPAとの関係、プロセス、事例、メリット、費用を詳細に解説 2020年12月7日
-
注目のAI開発企業11社!支援領域や提供方法など検証! 2020年10月28日
-
AI人材を育成できる研修プログラムを一挙紹介! 2020年10月20日
-
【2021年版】期待のAI資格11選!就職・転職にも使える! 2020年10月18日
-
JDLAとは?G検定、E資格の認定プログラム、合格者の会など紹介! 2020年10月14日
-
G検定(2020#3)受験申し込み開始、11月7日(土)実施-JDLA 2020年10月1日
-
【独占】コロナ禍で人材登録急増、アノテーション単月売上高は4倍超-パソナJOB HUB 2020年10月1日
-
E資格を転職に活用!評判とデータを徹底調査! 2020年9月29日
週間ランキング
【2021年版】コスパ重視のG検定対策!おすすめの本・講座・教材を一挙紹介! 2020年6月6日
G検定に短期間・独学で合格した勉強法を解説! 2020年8月3日
【2021年版】期待のAI資格11選!就職・転職にも使える! 2020年10月18日
G検定は難しい?難易度・合格ライン・問題を徹底解説! 2020年6月19日
注目のAI開発企業11社!支援領域や提供方法など検証! 2020年10月28日
G検定に落ちた人、合格した人。勉強法の違いはどこにある? 2020年6月25日
最弱オセロを初めて攻略した天才オセロ高校生。負け方を解説! 2020年7月31日
E資格の難易度を、合格率と問題から徹底分析! 2020年8月11日
【2021年版】E資格とは?大注目のディープラーニングの資格を解説! 2020年9月29日
E資格を転職に活用!評判とデータを徹底調査! 2020年9月29日
