信息论与编码习题与答案

4-1 设有一个二元等该率信源 X ∈ {0,1}, p 0 = p1 = 1 / 2 , 通过一个二进制对称信道 (BSC) 。 其失真函数 d ij 与信道转移概率 pij 分别定义为

1, i ≠ j ε, i ≠ j , pij = d ij = 0, i = j 1 ε , i = j试求失真矩阵 d 和平均失真 D 。 解：由题意得， 失真矩阵为 d=

0 1 1 ε ε ,信道转移概率矩阵为 P ( j i ) = 1 0 ε 1 ε 1 1 1 1 (1 ε ) × 0 + ε × 1 + ε × 1 + (1 ε ) × 0 2 2 2 2

平均失真为

D = ∑ p (i ) p ( j i )d (i, j ) =i, j

=ε4-3 设 输 入 符 号 与 输 出 符 号 X 和 Y 均 取 值 于 {0,1,2,3} , 且 输 入 符 号 的 概 率 分 布 为 P(X=i)=1/4,i=0,1,2,3,设失真矩阵为

0 1 d= 1 1

1 1 1 0 1 1 1 0 1 1 1 0

求 Dmin , Dmax , R ( Dmin ), R ( Dmax ) 以及相应的编码器转移概率矩阵。 解：由题意，得

Dmin = 0则 R ( Dmin ) = R (0) = H ( X ) = log 2 4 = 2bit / symbol

这时信源无失真，0→0,1→1,2→2,3→3,相应的编码器转移概率矩阵为

信息论与编码习题与答案

1 0 P( j i) = 0 03

0 0 0 1 0 0 0 1 0 0 0 1

Dmax = min ∑ p(i )d (i, j )j = 0 ,1, 2 ,3 i = 0

1 1 1 1 1 1 1 1 = min{ × 0 + × 1 + × 1 + × 1, × 1 + × 0 + × 1 + × 1, 4 4 4 4 4 4 4 4

1 1 1 1 1 1 1 1 × 1 + × 1 + × 0 + × 1, × 1 + × 1 + × 1 + × 0} 4 4 4 4 4 4 4 4 3 3 3 3 3 = min{ , , , } = 4 4 4 4 4则 R ( Dmax )

=0 0 0 0 0 0 0 0 0 0 0 0 0

此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0

1 1 则相应的编码器转移概率矩阵为 P ( j i ) = 1 1

信息论与编码习题与答案

4-5

具 有 符 号 集 U = {u 0 , u1 } 的 二 元 信 源 ， 信 源 发 生 概 率 为 ：

p (u 0 ) = p, p (u1 ) = 1 p,0 < p ≤ 1 / 2 。Z 信道如下图所示，接收符号集 V = {v0 , v1 } ,转移 概 率 为 ： q (v0 u 0 ) = 1, q (v1 u1 ) = 1 q 。 发 出 符 号 与 接 收 符 号 的 失 真 ：

d (u 0 , v0 ) = d (u1 , v1 ) = 0, d (u1 , v0 ) = d (u 0 , v1 ) = 1 。(1)计算平均失真 D ; (2) 率失真函数 R(D)的最大值是什么？当 q 为什么值时可达到该最大值？此时平均失真 D 是多大？ (3) 率失真函数 R(D)的最小值是什么？当 q 为什么值时可达到该最小值？此时平均失真 D 是多大？ (4)画出 R(D)-D 的曲线。

u0

1q

v0

u1解：由题意，知

1 q

v1

信息论与编码习题与答案

失真矩阵为 d =

0 1 1 0 ,转移概率矩阵为 Q = q 1 q 1 0

p (u 0 ) = p, p (u1 ) = 1 p

D = ∑ p(u i )q(v j u i )d (u i , v j )i, j

(1) 平均失真

= p × 1 × 0 + p × 0 × 1 + (1 p) × q × 1 + (1 p) × (1 q) × 0 = q(1 p)

(2)

max R ( D) = R( Dmin ) = R(0) = H (U ) = p log 2 p (1 p ) log 2 (1 p )此时的平均失真 D = Dmin = 0 ,则 q=0

(3) minR(D)=0 此时 Dmax =

min ∑ p(u )d (u

, vj = 0 ,1 i=0 i i

1

j

)

= min{ p × 0 + (1 p ) × 1, p × 1 + (1 p ) × 0} = min{1 p, p} = p相应的的转移概率 概率矩阵为 此时输出符号概率 p (v 0 ) = 0, p (v1 ) = 1 ,相应的的转移概率矩阵为

0 1 Q= 0 1 而在给定的信道下， 而在给定的信道下， Q = 令

1 0 q 1 q

R( D) = min I (U ;V ) = min[ H (U ) H (U V )] =01 1

= min[ p log p (1 p) log(1 p) + ∑∑ p(ui , v j ) log q(ui v j )]i =0 j =0

= min[ p log p (1 p ) log(1 p ) + p log p + q (1 p ) log q (1 p ) ( p + q pq ) log( p + q pq )] = min[ (1 p ) log(1 p ) + q (1 p ) log q (1 p ) ( p + q pq ) log( p + q pq )] =0容易看出当

q = 1 时，R(D)=0 ( 0 < p ≤ 1 / 2)

此时的平均失真 D=q(1-p)=1-p>p

信息论与编码习题与答案

(4)

R (D)

H (U )

Dmax 1 pR(D)-D 曲线

D