ベイズの定理とよく出てくる確率分布の復習

機械学習でよく用いられるベイズの定理。分かっているつもりでも、
あれこれはなんだったっけとなる事がしばしばあったので
今回、復習を兼ねてまとめることにします。

条件付き確率

サイコロを投げて何か目が出る、コインを投げて裏か表か決まる。
こういった何か試行を行った結果を事象と言います。

事象Aが起こる確率を $P(A)$ 、事象Bが起こる確率を $P(B)$ と書きます。

そして、ある事象Aが起こったという前提の元、事象Bが起こる確率を $P(B|A)$
という風に書きます。これをAのもとでBが起こる条件付き確率と言います。

条件付き確率は
$P(B|A)=\frac{P(A,B)}{P(A)}$

という風に表現でき、 $P(A,B)$ をAとBの同時確率（AもBも同時に起きる確率）と言います。ベン図で書くと分かりやすいのですが、AのもとでBが起こる条件付き確率というのは、（AかつBが起きる確率）÷（Aが起きる確率）で表せる事が分かると思います。

そして、上の条件付き確率の式を $P(A,B)$ について解いた

$P(A,B)={P(B|A)}{P(A)}$

を乗法定理と言います。

ベイズの定理

ベイズの定理は乗法定理を用いて簡単に導出できます。

$P(A,B)={P(B|A)}{P(A)}$ は
$P(A,B)={P(A|B)}{P(B)}$ とも表せます（AかつBとBかつAは同じ）
この二つの式より

${P(B|A)}{P(A)}={P(A|B)}{P(B)}$

${P(A|B)}=\frac{{P(B|A)}{P(A)}}{{P(B)}}$ という風に変形でき、この式をベイズの定理と言います。

ここで、機械学習などのパターン認識でよく出てくる言葉として、事後確率、尤度、事前確率といったものがあります。ベイズの定理のAを分類したいクラス、Bをデータとすると、データが得られた元での分類したいクラスに分けられる確率なので $P(A|B)$ を事後確率、あるクラスにおいて、データが得られる尤もらしさなので $P(B|A)$ を尤度、データが得られる前の確率なので $P(A)$ を事前確率と言います。