条件付き確率とベイズの定理

こんにちは。 たーせるです。

最近、なんとなく数学と仲直りしたいなーと思い、『スバラシク実力がつくと評判の大学基礎数学キャンパス・ゼミ―大学の数学がこんなに分かる!単位なんて楽に取れる!』を読んでいます。 副題が長い!

ぼくが特に苦手意識を抱いている「確率分布」の章を重点的に攻略。 条件付き確率、確率とぜん式、確率分布・二項分布という流れで、最終的にはモーメント母関数でしめる流れです。

昔、パターン認識を少し齧った際、条件付き確率を十分に理解できず、ベイズ理論で挫折してしまいました。

そんなわけで今日は「条件付き確率とベイズの定理」と仲直りしてみようと思います。

ベイズの定理

一般に、確率および条件付き確率に関して、{P(A) > 0} のとき、以下が成り立ちます。

{
P(B|A) = \dfrac{P(A|B)\! \cdot \! P(B)}{P(A)}
}

ここで条件付き確率 {P(B|A)} とは、事象 {A} が起きたという条件の下で、事象{B} が起こる確率を意味しています。

例題

参考書におもしろい例題があったので、引用してみます。

赤球 2 個と白球 3 個の入った袋 X と、赤球 3 個と白球 2 個の入った袋 Y がある。 まず、X、Y それぞれを {\frac{2}{3}}{\frac{1}{3}} の確率で選択し、選択した袋から無作為に 1 個の球を取り出した結果、その球は赤だった。 このとき、選択した袋が X であった確率を求めよ。

一見、問題文が直感に反するため、少し不思議な感覚を覚えるかも知れません。

この問題を解くには、

  • 事象{A}: X の袋を選択する
  • 事象{B}: 袋から取り出した球が赤である

とおいて、「事象{B}が起きたという条件の下で、事象{A}が起きる条件付き確率 {P(A|B)}」を求めます。

このように、観測事象から原因事象を確率的に推定する手法を、ベイズ推定と呼びます。

解いてみる

まずは、袋 X を選択する確率 {P(A)}を求めましょう。 というか問題文中に書いてありました。

{
P(A) = \dfrac{2}{3}
}

次に、袋 X から赤球を取り出す確率 {P(B|A)} を求めます。 袋 X には合計 5 個の球が入っていて、そのうち赤球は 2 個なので、以下のように求められます。

{
P(B|A) = \dfrac{2}{5}
}

最後に、{P(B)} を求めます。

{
\begin{align}
P(B) &= \underbrace{P(A)\! \cdot \! P(B|A)}_{\textrm{Xを選んで赤を取り出す確率}} + \underbrace{P(\overline{A}) \! \cdot \! P(B | \overline{A})}_{Yを選んで赤を取り出す確率} \\
&= \dfrac{4}{15} + \dfrac{3}{15} \\
&= \dfrac{7}{15}
\end{align}
}

ベイズの定理より、答えが求まります。

{
\begin{align}
P(A|B) &= \dfrac{P(B|A)\! \cdot \! P(A)}{P(B)} \\
&= \dfrac{ (2/5)\! \cdot \! (2/3) }{7/15} \\
&= \dfrac{4}{7}
\end{align}
}

ちなみに、上式の分母の { (2/5) \cdot (2/3) } は、事象 {A}{B}同時に起こる確率 {P (A,\, B)} となります。

何に使えるの?

ベイズの定理において、

  • {P(B)} は、事象 {A} が起きる前の、事象 {B} の確率(事前確率
  • {P(B|A)} は、事象 {A} が起きた後での、事象 {B} の確率(事後確率

をそれぞれ意味しています。

パターン認識では、観測データ {\boldsymbol{x}} と識別クラス {\omega_1,\, \omega_2, \, \cdots ,\, \omega_n} が与えられたとき、事後確率 {P(\omega_i | \boldsymbol{x})} (すなわち{\boldsymbol{x}} がクラス {\omega_i} に属する条件付き確率 {P(\boldsymbol{x} | \omega_i)})が最大となる {\omega_i} を出力する手法があり、ベイズ決定則と呼ばれています。

それでは今日はこのへんで(おわりかよ!)。