読者です 読者をやめる 読者になる 読者になる

画像処理とか機械学習とか

画像処理や機械学習関連の事について気まぐれで書いていきます。歩行者検出関係が多いと思います。ハリネズミもたまに出現します。

ベイズ推定法と最尤推定法の違い

機械学習

ベイズ推定法と最尤推定法の違いについて
勉強した結果を簡単にまとめておきます。

ベイズってなんだっけ?って方は以下の記事を参考にして下さい。

hiro2o2.hatenablog.jp

最尤推定の枠組みではモデルのパラメータθを決定的な変数として扱います。
ベイズ推定法の枠組みでは、パラメータθを確率変数として、ベイズ推定法でパラメータθの確率密度関数を推定します。

つまり、ベイズ推定法では、たくさんのパラメータを考え、そのパラメータを事後確率{ \displaystyle P(θ|X) }で平均することで確率密度関数を近似します。

最尤推定法では、パラメトリックモデル(正規分布など)の内、尤度を最大にする確率密度関数を選びますが、真の確率密度関数と選んだパラメトリックモデルが一致していることは、現実問題ほぼないので、真の確率密度関数との間に誤差が生まれてしまう可能性があります。

一方ベイズ推定法では無数のパラメータを事後確率{ \displaystyle P(θ|X) }で平均するため、結果として最尤推定法よりも良い推定結果になる事があります。

つまり、どういうことかと言うと、ある確率密度関数を近似したい時

最尤推定
あるパラメトリックモデルの中(二次関数など)から、尤度を最大にするパラメータ(二次関数の場合 { \displaystyle y=ax^2のa })を選び確率密度関数を近似する

ベイズ推定
事前分布(ここではパラメータに対する事前の情報)を用いて、尤度と事前分布を用いて事後確率(グラフの形)を求める事で近似する

 ベイズ推定を使うには事前分布(事前の情報が必要)で、事前の情報が無い場合は事前分布がどこも同じ確率になるので、最尤推定と同じ推定結果となる。
つまり、ベイズ推定は最尤推定の特殊な場合である。

 

最尤推定、MAP推定などは以下の記事が分かりやすいです。

数式なども丁寧に書かれていて分かりやすいのでぜひ参考にしてみてください。

machine-learning.hatenablog.com

 

2/11に最尤推定についての記事をUPしました。
こちらも参照してください。

http://hiro2o2.hatenablog.jp/entry/2016/02/11/134213