信息论编码的课件 4 信息率失真函数

第四章

信息率失真函数

信息论编码的课件 4 信息率失真函数

目录

4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理

信息论编码的课件 4 信息率失真函数

无失真信源编码和有噪信道编码告诉我们：只要 信道的信息传输速率小于信道容量，总能找到一种编 码方法，使得在该信道上的信息传输的差错概率任意 小；反之，若信道的信息传输速率大于信道容量，则 不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。

信息论编码的课件 4 信息率失真函数

香农首先定义了信息率失真函数R(D)，并论述了关 于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输 出的信息传输率可压缩到R(D)值，这从理论上给出信 息传输率与允许失真的关系，奠定了信息率失真理论 基础。 信息率失真理论是进行量化、数模转换、频带压缩 和数据压缩的理论基础。

信息论编码的课件 4 信息率失真函数

本章主要介绍信息率失真理论的基本内容， 侧重讨论离散无记忆信源。 首先给出信源的失真度和信息率失真函数的定 义与性质；然后讨论离散信源和连续信源的信息率 失真函数计算；在此基础上论述保真度准则下的信 源编码定理。

信息论编码的课件 4 信息率失真函数

4．1 失真测度

4.1.1 系统模型

信源发出的消息X通过有失真信源编码，再通 过理想无噪信道传输，接收信息经信源译码后的输 出为Y，由于信源编码是有失真的编码，则输出的 Y不是X的精确重现。为定量描述信息传输速率与 失真的关系，假定传输信道为理想无噪信道。

X 信源 信源 编码器 p (y/x) 无噪信道 试验信道 Y 信源 译码器 信宿

信息论编码的课件 4 信息率失真函数

另外，可将信源编码引起的失真视为由于信道 不理想造成，即将有失真信源编码器和接收译码器 之间过程看做有噪声的信道，这个假想的信道称为 试验信道。 则将有失真信源编码问题转化为无失真信源通 过有噪信道传输的问题，进而通过研究试验信道输 入输出间的互信息来研究限失真信源编码。

信息论编码的课件 4 信息率失真函数

4.1.2 失真度和平均失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小；若允许失真越小，信息传输率需越大。

所以信息传输率与信源编码所引起的失真(或误差) 是有关的。

信息论编码的课件 4 信息率失真函数

首先讨论失真的测度。

试验信道的输入X，取值于符号集A={a1,a2,…an}， 信道输出为Y，取值于符号集B＝{b1,b2,…bm}。

对应于每一对(x,y)，定义非负函数：

0 d (ai , b j ) ( 0)

i j i j

称为单符号失真度（或失真函数）。 通常较小的d值代表较小的失真，而d(ai,bj)＝0 表示没有失真。

信息论编码的课件 4 信息率失真函数

若信源变量X有n个符号，接收变量Y有m个符号， 则d(xi,yj)就有n×m个，可排列成矩阵形式，即：

d (a1 , b1 ) d (a1 ,

信息论编码的课件 4 信息率失真函数

信息论编码的课件 4 信息率失真函数

信息论编码的课件 4 信息率失真函数

信息论编码的课件 4 信息率失真函数

信息论编码的课件 4 信息率失真函数

信息论编码的课件 4 信息率失真函数