马尔可夫链

各延边大学《随机过程》 延边大学《随机过程》课件

位 同 学 好1

书山有路勤为径 学海无涯网作舟

欢迎大家来学习

任课教师： 任课教师：文香丹 E-mail:xdwen@2

第四章 马尔可夫链

4 马尔可夫链 定义： 设 {X(t),t ∈T }为随机过程， 定义： 为随机过程， , 若对任意正整数n及 若对任意正整数 及t1< t2<…<tn, … P{X(t1)=x1,…, X(tn-1)=xn-1}>0,且条件分 … , 布P{X(tn)≤xn|X(t1)=x1,…, X(tn-1)=xn-1}= ≤ … P{X(tn)≤xn|X(tn-1)=xn-1},则称{X(t),t ≤ , - ,则称{ 马尔可夫过程。 ∈T }为马尔可夫过程。 表示过去， 表示现在， 若t1,t2,…,tn-2表示过去，tn-1表示现在，tn … 表示将来，马尔可夫过程表明： 表示将来，马尔可夫过程表明：在已知 现在状态的条件下， 现在状态的条件下，将来所处的状态与 过去状态无关。 过去状态无关。 4

4 马尔可夫链 马尔可夫过程通常分为三类： 马尔可夫过程通常分为三类： (1)时间 状态都是离散的，称为马尔可 时间、 (1)时间、状态都是离散的，称为马尔可 夫链 (2)时间连续、状态离散的，称为连续时间 时间连续、 时间连续 状态离散的， 马尔可夫链 (3)时间、状态都是连续的，称为马尔可夫 时间、 时间 状态都是连续的，称为马尔可夫 过程5

4.1 马尔可夫链与转移概率随机过程{ 随机过程{Xn,n∈T }, ∈ 参数T={0,1,2,…},状态空间 参数 … ,状态空间I={i0,i1,i2,…} … 定义 定义4.1 若随机过程{Xn,n∈T },对 若随机过程{ ∈ 任意n∈ 和 任意 ∈T和i0,i1,…,in+1 ∈I,条件概率 … , P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} … =P{Xn+1=in+1|Xn=in}, , 则称{ 则称{Xn,n∈T }为马尔可夫链，简称马 ∈ 为马尔可夫链， 氏链。 氏链。6

4.1 马尔可夫链与转移概率 定义 定义4.2 称条件概率 ij(n)= P{Xn+1=j|Xn=i} 称条件概率p 马尔可夫链{ 为马尔可夫链{Xn,n∈T }在时刻 的一步 ∈ 在时刻n的一步 转移概率，简称转移概率 其中i, ∈ 。 转移概率， 转移概率，简称转移概率，其中 ,j∈I。 定义 定义4.3 若对任意的 ,j∈I,马尔可夫链 若对任意的i, ∈ , 无关， {Xn,n∈T }的转移概率 ij(n)与n无关，则称 ∈ 的转移概率p 与 无关 马尔可夫链是齐次的，并记p 马尔可夫链是齐次的，并记 ij(n)为pij。 为 齐次马尔可夫链具有平稳转移概率， 齐次马尔可夫链具有平稳转移概率， 状态空间I={1,2,3,…},一步转移概率为 状态空间 … ,一步转移概率为7

4.1 马尔可夫链与转移概率 p00 p01 p0 n p10 p11 p1n P = pm 0 pm 1 pmn 转移概率性质 转移概率性质 (1) pij ≥ 0, i , j ∈ I (2)

∑ pij = 1, i ∈ IP称为一步转移概率矩阵 称为一步转移概率 称为一步转移概率矩阵j∈I8

4.1 马尔可夫链与转移概率二、基本性质 性质1 性质

设{ X n , n ≥ 0 }为马氏链，其状态空间为 I,则

P{ X 0 = i, X 1 = i1 , , X n = in } = P{X 0 = i} P{X1 = i1 | X 0 = i} × P{X2 = i2 | X1 = i1}…P{Xn = in | Xn 1 = in 1}说明：

X 0 , X 1 , , X n

的联合分布可由初始分布及转 移概率所决定，即有

P{X0 = i, X1 = i1, , Xn = in} = p 0 (i ) p ii1 p i1i 2 p in 1i n

4.1 马尔可夫链与转移概率性质2 性质 则

设{ X n , n ≥ 0 }为马氏链，其状态空间为 I,

P{Xn = in | Xn+1 = in+1, , Xn+m = in+m}= P{ X n = in | X n +1 = in +1}一个马氏链，如果按相反方向的时间排列， 所成的序列也是一个马氏链。

表明

4.1 马尔可夫链与转移概率性质3 性质

设{ X n , n ≥ 0 }为马氏链，其状态空间为 I,

若 0 ≤ s ≤ r < n ,则在 X r = ir 的条件下，有

= P{ X n = in | X r = ir } P{ X s = i s | X r = i r }

P{ X n = in , X s = is | X r = ir }表明 若已知现在，则过去与未来是独立的。

4.1 马尔可夫链与转移概率性质4 性质 则

设{ X n , n ≥ 0 }为马氏链，其状态空间为 I,

P{Xn+1 = in+1, , Xn+m = in+m | Xn = in , , X0 = i0}= P{X n+1 = in+1 , , X n+m = in+m | X n = in }

表明 特别

若已知现在，则过去同时对将来各时刻的状 态都不产生影响。

P{ X n + m = in + m | X n = in , , X 0 = i0 }= P{Xn+m = in+m | Xn = in}12

4.1 马尔可夫链与转移概率性质5 性质 则

设{ X n , n ≥ 0 }为马氏链，其状态空间为 I,

对任意给定的 n 个整数，0 ≤ k1 < k2 < < kn ,有

P{ X k n = ik n | X k n 1 = ikn 1 , , X k1 = ik1 }= P{ X k n = i k n | X k n 1 = i k n 1 }表明 马氏链的子链也是马氏链

4.1 马尔可夫链与转移概率 马尔可夫链的性质 P{X0=i0,X1=i1,…,Xn=in} … =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in-1} … P{X0=i0,X1=i1,…,Xn-1=in-1} … = P{Xn=in|Xn-1=in-1} P{Xn-1=in-1 |X0=i0,X1=i1,…,Xn-2=in-2} … P{X0=i0,X1=i1,…,Xn-2=in-2} … =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} P{X0=i0,X1=i1,…,Xn-2=in-2} … -

4.1 马尔可夫链与转移概率=… … =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2} … P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。 确定。 确定

4.1 马尔可夫链与转移概率 定义 定义4.4 称条件概率 p = P{Xm+n=j|Xm=i} 马尔可夫链{ 为马尔可夫链{Xn,n∈T }的n步转移概 ∈ 步转移概 率(i,j∈I,m≥0,n≥1)。 ,∈ ≥ ≥ 。 n n步转移矩阵 P ( n ) = pij 步转移矩阵n ij

( )

其中p ≥ 0 , ∑ p = 1, i , j ∈ In ij j∈ I n ij16

4.2切普曼 柯尔莫哥洛夫方程及状态分类 切普曼-柯尔莫哥洛夫方程及状态分类 切普曼 定理 定理4.1 设{Xn,n∈T }为马尔可夫链

, 马尔可夫链， ∈ …… 此处隐藏：2228字，全部文档内容请下载后查看。喜欢就下载吧 ……