如何快速理解马尔科夫链蒙特卡洛法？( 二 ) _概率分布

。

文章插图
在这个过程中，我们可以发现只有当建议分布 q(x) 和复杂分布 p(x) 重合的尽可能多的地方的样本更有可能被接受。那么相反的，如果他们重合部分非常少，那么就会导致拒绝的比例很高，抽样的效率就降低了。很多时候我们时候在高维空间进行采样，所以即使 p(x) 和 q(x) 很接近，两者的差异也可能很大。
我们可以发现接受-拒绝法需要我们提出一个建议分布和常量，而且采样的效率也不高，那么我们就需要一个更一般的方法，就是我们的马尔科夫蒙特卡洛法。不过 MCMC 依旧有个问题, 它的抽样样本不是独立的。到了 Gibbs的部分，我们可以看到它做了一些小 trick，来假装使得样本独立。
马尔科夫链
马尔科夫链的定义和概念相信大家都很熟悉了（不熟悉的请）。在这里，我们回顾一下几个重要的知识点：
平稳分布
设有马尔科夫链
, 其状态空间为 S，转移概率矩阵为
，如果存在状态空间 S 上的一个分布：

文章插图
使得 π=Pπ，则称 π 为马尔科夫链
的平稳分布。
我们可以理解为，当一个初始分布为该马尔科夫链的平稳分布的时候，接下来的任何转移操作之后的结果分布依然是这个平稳分布。注意，马尔科夫链可能存在唯一平稳分布，无穷多个平稳分布，或者不存在平稳分布。
其它定理：
1. 不可约且非周期的有限状态马尔科夫链，有唯一平稳分布存在。
2. 不可约、非周期且正常返的马尔科夫链，有唯一平稳分布存在。
其中，不可约和正常返大家请自行查阅相关定义。直观上可以理解为，任何两个状态都是连通的，即从任意一个状态跳转到其它任意状态的概率值大于零。
遍历定理
设有马尔科夫链
，其状态空间为 S，若马尔科夫链 X 是不可约、非周期且正常返的，则该马尔科夫链有唯一平稳分布

文章插图
，且转移概率的极限分布是马尔科夫链的平稳分布。
直观上，P 最后会收敛成这个样子：

文章插图
注意：这里的
表示的是第 j 个状态转移到第 i 个状态的概率。也就是说每一列表示这个状态转移到其它状态的概率。我们可以理解为，当时间趋于无穷时，马尔科夫链的状态分布趋近于平稳分布。另外，无论初始的分布 π′ 是什么，经过了 n 次转移后，即
，最后都会收敛到它的平稳分布 π（原理待补充）。结合这两点，我们就可以用马尔科夫链进行采样。
首先我们随机一个样本
，基于条件概率（转移概率）
采样
，因为我们需要转移一定次数后才会收敛到我们的平稳分布，所以比如我们设定了 m 次迭代后为平稳分布，那么
即为平稳分布对应的样本集。
但是，要怎么确定平稳分布 π（我们希望采样的复杂分布）的马尔科夫链状态转移矩阵或者转移核 P 呢？在开始 MCMC 采样之前我们还需要回顾两个知识点: 可逆马尔科夫链和平衡细致方程。
可逆马尔科夫链
设有马尔科夫链
，其状态空间为 S，转移概率矩阵为 P，如果有状态分布
，对于任意状态 i,j∈S，对于任意一个时刻 t 满足：
或简写为：
该式也被称之为细致平衡方程。
定理：满足细致平衡方程的状态分布 π 就是该马尔科夫链的平稳分布，即 Pπ=π 。