信息论与编码期末考试题

（一）

一、判断题.

1. 当随机变量X和Y相互独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. （ ）

3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信. （ ）

5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）

6. 连续信源和离散信源的熵都具有非负性. （ ）

7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确

定性就越小，获得的信息量就越小.

8. 汉明码是一种线性分组码. （ ）

9. 率失真函数的最小值是0. （ ）

10.必然事件和不可能事件的自信息量都是0. （ ）

二、填空题

1、码的检、纠错能力取决于

2、信源编码的目的是；信道编码的目的是

3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做

4、香农信息论中的三大极限定理是、、.

5、设信道的输入与输出随机序列分别为X和Y，则I(XN,YN) NI(X,Y)成立的

条件

6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是

7、某二元信源 0a 1 X 0，其失真矩阵，则该信源的Dmax= D P(X) 1/21/2 a0

三、计算题.

1、某信源发送端有2种符号xi(i 1,2),p(x1) a；接收端有3种符号yi(j 1,2,3)，转移概率矩阵为

1/21/20 P . 1/21/41/4

（1） 计算接收端的平均不确定度H(Y)；

（2） 计算由于噪声产生的不确定度H(Y|X)；

（3） 计算信道容量以及最佳入口分布.

（二）

一、填空题

1、信源编码的主要目的是 ，信道编码的主要目的是 。

2、信源的剩余度主要来自两个方面，一是 ，二是 。

3、三进制信源的最小熵为 ，最大熵为 。

4、无失真信源编码的平均码长最小理论极限制为 。

5、当 时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为 和 。

7、根据是否允许失真，信源编码可分为 和 。

8、若连续信源输出信号的平均功率为 2，则输出信号幅度的概率密度是时，信源具有最大熵，其值为值 。

9、在下面空格中选择填入数学符号“ , , , ”或“ ”

（1）当X和Y相互独立时，H（XY） H(X)+H(X/Y) H(Y)+H(X)。 《信息论基础》参考答案

一、填空题

1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为log23

4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

5、当R=C或（信道剩余度为0）时，信源与信道达到匹配。

6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。

7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 1具有最大熵，其值为值log2 e 2。 2

9、在下面空格中选择填入数学符号“ , , , ”或“ ”

（1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

H X1X2X3 H X1X2 （2）H2 X H3 X 23

(三)

一、 选择题

x2x3x4 X x1、有一离散无记忆信源X，其概率空间为 1，则其无记忆二次扩展信源的熵 P 0.50.250.1250.125

H(X2)=( )

A、1.75比特/符号； B、3.5比特/符号；

C、9比特/符号； D、18比特/符号。

0000 P(y1/x1)P(y2/x1) 00P(y/x)P(y/x)002、信道转移矩阵为

3242 ，其中P(yj/xi)两两不相等，则

000P(y5/x3)P(y6/x3) 0

该信道为

A、一一对应的无噪信道

B、具有并归性能的无噪信道

C、对称信道

D、具有扩展性能的无噪信道

3、设信道容量为C，下列说法正确的是：（ ）

A、互信息量一定不大于C

B、交互熵一定不小于C

C、有效信息量一定不大于C

D、条件熵一定不大于C

4、在串联系统中，有效信息量的值（ ）

A、趋于变大

B、趋于变小

C、不变

D、不确定

5、若BSC信道的差错率为P，则其信道容量为：（ ）

A、 H p

p 1 plog2 1 p p B、

C、 1 H p

D、 Plog(P)

二、填空题

1、(7,4)线性分组码中，接受端收到分组R的位数为，伴随式S可能的值有,差错图案e的长度为 ，系统生成矩阵Gs为____ 行的矩阵，系统校验矩阵Hs为____ 行的矩阵，Gs和Hs满足的关系式是 。

2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为 。

3、香农编码中,概率为P(xi)的信源符号xi对应的码字Ci的长度Ki应满足不等式 。

0.250.50.25 ，则它是 信道（填对称，准对称）0.250.250.53、设有一个信道，其信道矩阵为 ，其信 0.50.250.25

道容量 …… 此处隐藏：1397字，全部文档内容请下载后查看。喜欢就下载吧 ……