贝叶斯估计和最大后验概率,如何理解贝叶斯估计？？( 四 ) _生活百科

那么先验概率有啥用呢？
我们来思考一下，P(脑残|头痛)是怎么算的。
P(脑残|头痛)=头痛的人中脑残的人数/头痛的人数
头痛的样本倒好找，但是头痛的人中脑残的人数就不好调查了吧。如果你去问一个头痛的人你是不是脑残了，我估计那人会把你拍飞吧。
接下来先验概率就派上用场了。
根据贝叶斯公式，
P(B|A)=P(A|B)P(B)/P(A)
我们可以知道
P(脑残|头痛)=P(头痛|脑残)P(脑残)/P(头痛)
注意，(头痛|脑残)是先验概率，那么利用贝叶斯公式我们就可以利用先验概率把后验概率算出来了。
P(头痛|脑残)=脑残的人中头痛的人数/脑残的人数
这样只需要我们去问脑残的人你头痛吗，明显很安全了。
（你说脑残的人数怎么来的啊，那我们就假设我们手上有一份传说中的脑残名单吧。那份同学不要吵，我没说你在名单上啊。
再说调查脑残人数的话咱就没必要抓着一个头痛的人问了。起码问一个心情好的人是否脑残比问一个头痛的人安全得多）
我承认上面的例子很牵强，不过主要是为了表达一个意思。后验概率在实际中一般是很难直接计算出来的，相反先验概率就容易多了。因此一般会利用先验概率来计算后验概率。
似然函数与最大似然估计
下面给出似然函数跟最大似然估计的定义。
我们假设f是一个概率密度函数，那么
是一个条件概率密度函数（θ 是固定的）
而反过来，
叫做似然函数（x是固定的）。
一般把似然函数写成
θ是因变量。
而最大似然估计就是求在θ的定义域中，当似然函数取得最大值时θ的大小。
意思就是呢，当后验概率最大时θ的大小。也就是说要求最有可能的原因。
由于对数函数不会改变大小关系，有时候会将似然函数求一下对数，方便计算。
例子：
我们假设有三种硬币，他们扔到正面的概率分别是1/3，1/2，2/3 。我们手上有一个硬币，但是我们并不知道这是哪一种。因此我们做了一下实验，我们扔了80次，有49次正面，31次背面。那么这个硬币最可能是哪种呢？我们动手来算一下。这里θ的定义域是{1/3，1/2，2/3}