損失関数、危険関数（リスク関数）とは？【例題あり】

ベイズ統計

¨

危険関数とは、ある行動\(δ\)とったときに起こる損失について評価した関数です。具体的には、損失関数の期待値によって表されます。

危険関数（リスク関数）

説明のために、まず、変数を次のように定義します。

・ランダム変数:\(X 〜P_θ\)
・行動（決定）:\(d\)
・決定の関数:\(δ(x)\)
・決定\(d\)による損失:\(L(θ,d)\)

ここで、決定\(δ\)による損失の期待値\(R(θ,δ)\)は、

$$R(θ,δ) = ε_θL[(θ,δ(x))]$$

です。この\(R\)を危険関数といいます。ここで、損失\(L\)の評価方法は色々あり、一種類ではりません。例えば、一変量の場合であれば、二乗誤差や差の絶対値の形で、次のように表すことがあります。

$$ L(θ,d) = (θ-d)^2 \\ L(θ,d) = |θ-d|$$

危険関数の使い所

では、実際にどのような場合に使えるのか例を見てみましょう。

Aさんの決定をd枚とし、損失を絶対値で評価する形式を取ります。

この場合、損失の期待値はそれぞれの\(d\)において次のような計算になります。

$$d=5 \longrightarrow ε_θL[(θ,d)] = \frac{1}{5}(4+3+2+1+0) = 2$$

$$d=4 \longrightarrow ε_θL[(θ,d)] = \frac{1}{5}(3+2+1+0+1) = 1.4$$

$$d=3 \longrightarrow ε_θL[(θ,d)] = \frac{1}{5}(2+1+0+1+2) = 1.2$$

$$d=2 \longrightarrow ε_θL[(θ,d)] = \frac{1}{5}(1+0+1+2+3) = 1.4$$

$$d=1 \longrightarrow ε_θL[(θ,d)] = \frac{1}{5}(0+1+2+3+4) = 2$$

以上の結果から、\(d = 3\)のときに損失の期待値が最小になるので、今回のゲームでは3枚と答えるのがもっとも安全だと言えます。

このように、行動を決定するとき、危険関数\(R(θ,δ)\)が小さくなるような行動\(δ\)を最善とする決定理論があります。

危険関数と事前分布

ここで、危険関数に対して\(ρ(θ)\)という事前分布を与えると、危険関数の期待値を取ることによって、行動による平均損失\(r(ρ,δ)\)を求めることができます。それが次の式です。

$$　r(ρ,δ) = ε_ρR(θ,δ) = ε_ρε_θL[(θ,δ(x))] $$

このように、事前分布\(ρ(θ)\)を与えて、rが最小化された行動（手順）をベイズ手順といい、その時のrをベイズリスクという言い方をします。

この事前分布を考えて行動を決定するという考え方なわけです。この危険関数の期待値の形は、積分記号を用いて、もっと一般的には以下のように表記されることが多いです。

$$ r(ρ,δ) = \int_Θ\int_X L[(θ,δ(x))]f(x|θ)ρ(θ) dxdθ$$

上式は、xとθの同時密度関数gについて、\(g(x,y) = f(x|θ)ρ(θ)\)が成り立つことを利用しています。

ここで、\(x\)の周辺密度関数\(f(x)\)と、\(x\)を与えた時の\(θ)の\分布が

$$ f(x) = \int f(x|θ)ρ(θ) dθ \\ g(θ|x) = \frac{f(x|θ)ρ(θ)}{f(x)}$$

となることを使うと、

$$ r(ρ,δ) = \int_X \left[ \int_Θ L[(θ,δ(x))]g(θ|x)dθ\right] f(x) dx $$

となります。

ベイズ統計