信息论与编码试卷G

1 D 1 1 X 1 0 2 p( X) 1 / 3 1 / 3 1 / 3 ,接收符号 AY ={1/2, 1/2},失真矩阵 1 设无记忆信源 1 1 2 0

2 1 1 ,

则 Dmax=(4/3) ,Dmin=(1) ;达到 Dmin 时的转移概率矩阵 P=( 1 0 1 0 1 0 ) 时的转移概率矩阵 P=( 。 一 判断题(本题 10 小题,每小题 1 分,共 10 分)

0 1 2 1 ) ,达到 Dmax

1.√

2.×

3.×

4.√

5.√

6.×

7.√

8.×

9.√

10.√ ( )

(1) 校验矩阵的各行是线性无关的。

(2) 冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。 ( ) (3) 当信道固定时，平均互信息 I ( X , Y ) 是信源分布的∪型凸函数。 ( )

(4) 设(7,4)循环码的生成多项式为 g(x)=x3+x+1,当接收码字为 0010011 时，接收码 字中有错。 (5) 互信息 I(X;Y)与信息熵 H(Y)的关系为：I(X;Y)≤H(Y)。 ( ) ( )

(6) 信息率失真函数 R(D)的定义域为[Dmin,Dmax],其中 Dmin=0,Dmax 是满足 R( D) 0 的 所有 D 中的最大的。 (7) 若要求发现 2 个独立随机错误，则要求最小码距 d min 3 。N

( ) ( )

(8) 设 P 为某马尔可夫信源的转移概率矩阵， 若存在正整数 N 使得 P 中的元素全都为 0, 则该马尔可夫信源存在稳态分布。 (9) 信道容量随信源概率分布的变化而变化。 ( ) ( )

(10)一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前 缀。 ( )

二 填空题(本题 15 空 ,每空 1 分,共 15 分 )2 一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠， 但不幸被人用外观相同但重量 仅有微小差异的假珠换掉 1 颗。一人随手取出 3 颗，经测量恰好找出了假珠，这一事件大

约给出(

log2

1 C239 6.32 3 C240 )比特的信息量；不巧假珠又滑落进去，那人找了许久却未找

到，但另一人说他用天平最多 6 次能找出，结果确是如此，这一事件给出(0)bit 信息量。

0 1 P 0 1 0 1 ,则该信道的信道容量为 3 设信道转移概率矩阵为 1 P (log3 H( ,1 ) ) ;信道转移概率矩阵为

1 的信道，其容量为

( (1 ) log(1 ) log (1 ) log( 0.5 0.5 ) ) 。 4 惟一可译码指的是( 任意有限长的码元序列只能被惟一地分割成一个个的码字) ,惟一可

译码存在的充要条件是( 满足不等式

mi 1

n

k i

1

) 。{110,100,00,10}是否是惟一

可译

码？( 是 ) ;{00,01,10,11}是否是惟一可译码？( 是 ) 5 一袋中有 5 个黑球、10 个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一 次实验包含的信息量为( 0.918bit ) ;第二次实验包含的信息量为( 0.918 bit) 。两次实 验 X1 和 X2 的关系是( 相互独立 ) 。

三 名词解释(本题 4 小题,每小题 5 分,共 20 分) 1 相对熵 连续信源的不确定度无穷大，因此通常用相对熵来衡量连续信源的熵，它描述的是两个 连续信源之间的相对值或差值。 2 即时码 也称为异前缀码，非延长码，任意一个码字都不是其他码字的前缀部分。 3 平均失真 失真函数 d(xi;yj)是随机变量， 因此要分析整个信源的失真大小， 失真函数的数学期望或 统计平均值来描述，即平均失真

D p( xi , y j )d ( xi , y j )i 1 j 1

n

m

。

4 随机错误 错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错 误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引 起的。 四 计算题(本题 3 小题,共 25 分) 1 1 1 2 3 6 1 1 1 P 6 2 3 1 1 1 1 P( x1 ) P( x 2 ) 3 6 2 ,并设 4, 1 设有一离散信道，其信道转移概率矩阵为P ( x3 ) 1 2 ,试：1)按最大似然概率译码准则确定译码规则；

2)计算在此规则下译码的平均译码错误概率。 (3+3=6 分) 解：1)根据最大似然概率译码规则，得译码规则为： F(y1)=x1 F(y2)=x2 F(y3)=x3 2)Y 的概率分布为：{1/4 1/4 1/2} 收到 y1 后的错误概率 Pe1=1/2 收到 y2 后的错误概率 Pe2=1/2 收到 y3 后的错误概率 Pe3=1/2 ∴在此译码规则下的平均错误概率为： PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4× (1/2)+1/4×(1/2)+1/2×(1/2)=1/2

2

设有离散无记忆信源 X,其概率分布为 P(X)={0.4,0.18,0.1,0.1,0.07,0.06,

0.05,0.04},求： 1)信源符号熵 H(X) ; 2)用哈夫曼编码编成二元变长码，并计算其编码效率； 3)如要求译码错误小于 10-6,采用定长编码达到 90%的编码效率，需要多少个信源符 号一起编码？(3+3+4=10 分) 解：1)该信源符号熵为H ( X) Pi log Pi 2.55bit / 符号i 1 8

2) 平均码长 L =0.4×1+0.18×3+0.1×3+0.1×3+0.07×4+0.06×4+0.05×5+0.04*5=2.61 信源信息熵

H ( X ) pi log 2 pii

=2.55 bit/符号

H ( X ) 2.55 编码效率为η = L = 2.61 ×100%=97.7%

3)设采用定长二元码有：

E[I ( X i ) ] [ H ( X )] =2 2 2

pIi i

2

( Xi)

- [ H ( X )] =7.87-6.50=1.37 bit

2

2

H(X ) 90% 0.283 H ( X ) 编码效率为 90% 即 Pe

按译码错误 10 有，

6

2 L 1.7 107 7 2 L 个 ，所以，需要 1.7 10 各信

源符号一起编

码，才可以达到 90%的编码效率。

3

设有编码如表所示： 信息 码字

00 00000 01 01101 10 10111 11 11010 (1) 找出生成矩阵 G 与监督矩阵 H; (2) 在二元对称信道下给出最大似然译码的译码表 …… 此处隐藏：2397字，全部文档内容请下载后查看。喜欢就下载吧 ……