読者です 読者をやめる 読者になる 読者になる

画像処理とか機械学習とか

画像処理や機械学習関連の事について気まぐれで書いていきます。歩行者検出関係が多いと思います。ハリネズミもたまに出現します。

ベイズの定理とよく出てくる確率分布の復習

機械学習でよく用いられるベイズの定理。 分かっているつもりでも、
あれこれはなんだったっけとなる事がしばしばあったので
今回、復習を兼ねてまとめることにします。

  • 条件付き確率

サイコロを投げて何か目が出る、コインを投げて裏か表か決まる。
こういった何か試行を行った結果を事象と言います。

事象Aが起こる確率を{ \displaystyle P(A) }事象Bが起こる確率を{ \displaystyle P(B) }と書きます。

そして、ある事象Aが起こったという前提の元、事象Bが起こる確率を{ \displaystyle P(B|A) }
という風に書きます。これをAのもとでBが起こる条件付き確率と言います。

条件付き確率は
{ \displaystyle P(B|A)=\frac{P(A,B)}{P(A)} }

という風に表現でき、{ \displaystyle P(A,B) }をAとBの同時確率(AもBも同時に起きる確率)と言います。ベン図で書くと分かりやすいのですが、AのもとでBが起こる条件付き確率というのは、(AかつBが起きる確率)÷(Aが起きる確率)で表せる事が分かると思います。

そして、上の条件付き確率の式を{ \displaystyle P(A,B) }について解いた

{ \displaystyle P(A,B)={P(B|A)}{P(A)} }

を乗法定理と言います。

ベイズの定理は乗法定理を用いて簡単に導出できます。

{ \displaystyle P(A,B)={P(B|A)}{P(A)} }
{ \displaystyle P(A,B)={P(A|B)}{P(B)} }とも表せます(AかつBとBかつAは同じ)
この二つの式より

{ \displaystyle {P(B|A)}{P(A)}={P(A|B)}{P(B)} }

{ \displaystyle {P(A|B)}=\frac{{P(B|A)}{P(A)}}{{P(B)}} }という風に変形でき、この式をベイズの定理と言います。

ここで、機械学習などのパターン認識でよく出てくる言葉として、事後確率、尤度、事前確率といったものがあります。ベイズの定理のAを分類したいクラス、Bをデータとすると、データが得られた元での分類したいクラスに分けられる確率なので{ \displaystyle P(A|B) }を事後確率、あるクラスにおいて、データが得られる尤もらしさなので{ \displaystyle P(B|A) }を尤度、データが得られる前の確率なので{ \displaystyle P(A) }を事前確率と言います。

 

 ある文書を特定のクラスに分類したいときなどに用いられるナイーブベイズ識別器や、事後確率が一番大きい事が一番よく起こるという考えの元用いられるMAP推定や損失を考慮したベイズ識別則などがあります。今回この記事では紹介しませんが、非常に分かりやすい解説記事がありますので、紹介しておきます。

ナイーブベイズ

aidiary.hatenablog.com

最尤推定、MAP推定

aidiary.hatenablog.com

 

  • 確率分布

この記事で紹介しようと思ったのですが、この辺で疲れてきたので今日はここまで。