非常返状态( 二 )


文章插图
(2)状态i是非常返的(

非常返状态

文章插图
)充要条件为
非常返状态

文章插图
定理2齐次马氏链的状态空间S可唯一地分解为有限或可列无限多个互不相交的状态子集的并 。即
非常返状态

文章插图
其中D是所有非常返状态构成的状态子集 。
非常返状态

文章插图
均是由常返态构成的不可约闭集 。每个状态子集中的状态有着相同的状态类型:即 或者均为零常返,或者均为正常返非周期,或者均为正常返周期且周期相同 。定理3设X是状态有限的齐次马氏链,则(1) X的非常返状态集D不可能是闭集;(2) X不存在零常返状态;(3) 若X是不可约的,则X所有的状态都是正常返的 。举例设状态空间S={1, 2, 3, 4}的马尔可夫链,它的一步转移机率矩阵为
非常返状态

文章插图
试分析马氏链的状态的常返与否 。解:马氏链的状态转移图为
非常返状态

文章插图
因为
非常返状态

文章插图
所以
非常返状态

文章插图
,所以状态常返 。又
非常返状态

文章插图
,故状态1正常返 。
非常返状态

文章插图
因为
非常返状态

文章插图
所以
非常返状态

文章插图
,故状态3非常返 。类似可以讨论状态2和4 。因此可用下面的图来表示各状态的关係:
非常返状态

文章插图