贝叶斯估计和最大后验概率,如何理解贝叶斯估计？？( 三 ) _生活百科

可惜的是，上面的后验概率通常是很难计算的，因为要对所有的参数进行积分，不能找到一个典型的闭合解（解析解）。在这种情况下，我们采用了一种近似的方法求后验概率，这就是最大后验概率。
最大后验概率和极大似然估计很像，只是多了一项先验分布，它体现了贝叶斯认为参数也是随机变量的观点，在实际运算中通常通过超参数给出先验分布。
从以上可以看出，一方面，极大似然估计和最大后验概率都是参数的点估计。在频率学派中，参数固定了，预测值也就固定了。最大后验概率是贝叶斯学派的一种近似手段，因为完全贝叶斯估计不一定可行。另一方面，最大后验概率可以看作是对先验和MLE的一种折衷，如果数据量足够大，最大后验概率和最大似然估计趋向于一致，如果数据为0,最大后验仅由先验决定。
本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。
先验概率和后验概率
教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。
假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。
堵车的概率就是先验概率。
那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率。也就是P(堵车|交通事故) 。这是有因求果。
如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大，
那这个就叫做后验概率（也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车) 。这是有果求因。
下面的定义摘自百度百科：
先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.
后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因".
那么这两个概念有什么用呢？
最大似然估计
我们来看一个例子。
有一天，有个病人到看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些回去吃。
有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。
关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。
怎么说呢？
大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。
那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。
咱们从概率的角度来研究一下这个问题。
其实医生的大脑是这么工作的，
他计算了一下
P(感冒|头痛)（头痛由感冒引起的概率，下面类似）
P(中风|头痛)
P(脑溢血|头痛)
然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE）。
咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？
没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。
事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。