2011信息论与编码试卷答案

2011信息论与编码试卷答案

《信息论与编码技术》试卷

一、填空题（每空1分，共30分）

（1） 在现代通信系统中，信源编码主要用于解决信息传输中的 有效 性，信道编码主要用于解决

信息传输中的 可靠 性 ，加密编码主要用于解决信息传输中的 安全 性。

（2） 不可能事件的自信息量是____∞___ , 必然事件的自信息是 0 。 （3） 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 （4） 在信息处理中，随着处理级数的增加，输入和输出消息之间的平均互信息量会 减少 。 （5） 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码

长度至少为 3 。

（6） 假设每个消息的发出都是等概率的，四进制脉冲所含信息量是二进制脉冲的 2 倍。 （7） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农 编码。 霍夫曼 编码

方法构造的是最佳码。

（8） 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2___个码元错误，最多能

纠正___1__个码元错误。

（9） 设有一个离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_小于_C（大于、

小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（10） 平均错误概率不仅与信道本身的 统计 特性有关，还与_译码 规则和 编码 方法有关 （11） 互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y) _小于__（大于、小于或者等于）H(Y)。 （12） 克劳夫特不等式是唯一可译码__存在___的充要条件。{00，01，10，11}是否是唯一可

译码？___是____。

（13） 差错控制的基本方式大致可以分为 前向纠错 、 反馈重发 和 混合纠错 。 （14） 如果所有码字都配置在二进制码树的叶节点，则该码字为 唯一可译 码 。

（15） 设信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为

Max H（Y）。

（16） 某离散无记忆信源X，其符号个数为n，则当信源符号呈 等概_____分布情况下，信源熵取

最大值___log（n） 。

（17） 平均互信息是输入信源概率分布的 上凸 函数;平均互信息是信道转移概率的 下凸 函数,

平均互信息的最大值为 信道容量 。

二、简答题（共4题，每题5分）

1, 简述离散信源和连续信源的最大熵定理。

1.答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。

2011信息论与编码试卷答案

平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。 2, 简述信源的符号之间的依赖与信源冗余度的关系。

当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。 3, 简述香农第一编码定理的物理意义?

1.答：无失真信源编码，编码后尽可能等概率分布, 使每个码元平均信息量最大。从而使信道信息传输率R达到信道容量C, 实现信源与信道理想的统计匹配。 4, 什么是最小码距, 以及它和检错纠错能力之间的关系。

某一码书C中, 任意两个码字之间汉明距离的最小值称为该码的最小码距Dmin.当已知某线性分组码的最小汉明距离为Dmin，那么这组码最多能检测出e =Dmin-1个码元错误，最多能纠正t =(Dmin-1) /2个码元错误。 三、计算题（共6题，每题1 0分）

1,有两个二元随机变量X和Y，它们的联合概率为

解：Z = XY的概率分布如下：

定义另一随机变量Z = XY（一般乘积），试计算H(Z)=?

z 0z2 1 Z 1

71 P(Z)

8 8

2

711 7

H(Z) p(zk) log log 0.544 bit/symbol

888 8k

2,二元对称信道如图。

31

1）若p 0 ，p 1 ，求H X 、H X|Y 和I X;Y ；

44

2）求该信道的信道容量。 解：1）共6分

2）， （3分）此时输入概率分布为等概率分布。（1分）

H X|Y 0.749bit/符号

2011信息论与编码试卷答案

3,求以下二个信道的信道容量：

，

，

3答：P1为一一对应确定信道，因此有

P2为具有归并性能的信道，因此有

。

。

4,.信源空间为

x2x3x4x5x6x7 X x1

P(X) 0.20.190.180.170.150.10.01

长和编码效率（要求有编码过程）。

，试构造二元霍夫曼码，计算其平均码

5,已知一个高斯信道，输入信噪比(比率)为3。频带为3kHz，求最大可能传

送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为 多少？

5答:(1) 最大可能传送的信息率是

Ct= w log (1+ Px/Pn ) = 3×1000 × log (1+ 3) = 6×1000比特/秒 (2) 1.5kHZ

2011信息论与编码试卷答案

000111 6,设一线性分组码具有一致监督矩阵H 011001 101011

1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。

3）写出此分组码的所有码字。

4）若接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（2分） 2）设码字

C C5C4C3C2C1C0

由HC 0得 …… 此处隐藏：512字，全部文档内容请下载后查看。喜欢就下载吧 ……