第四章：信道与信道容量

第四章：信道与信道容量

本章节达到的目的

了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方 法 掌握信道容量/信道容量代价函数的概念，以 及与互信息、信道输入概率分布、信道转移函 数的关系 能够计算简单信道的信道容量/信道容量代价 函数(对称离散信道、无记忆加性高斯噪声信 道)

概念问题

熵 熵率 无失真信源编码定理中 的作用

互信息 信道容量 信道编码定理 中的作用

回顾-互信息函数的性质1

互 信息与信道输入概率分布的关系

性质1 :I(X; Y)是信道输入概率分布p(x) 的上凸函数.I(X; Y)

p(x)

回顾-互信息函数的性质2

信息量与信道转移概率分布的关系性质2 :I(X; Y)是信道转移概率分布p(y/x) 的下凹函数.

I(X; Y)

p(y/x)

回顾-互信息函数的性质3

信息量与信道输入符号相关性的关系性质3: 信道的输入是离散无记忆的,

回顾-互信息函数的性质4

信息量与信道输入符号相关性的关系

性质4: 信道是离散无记忆的,

回顾-互信息函数的性质5

性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的

信道与信道容量

概述 信道的分类与描述 离散无记忆信道及其容量 连续信道及其容量 容量代价函数C(F)

§4.1:概述

信息论对信道研究的内容什么是信道？ 信道的作用 研究信道的目的

§5.1:概述-1

信息论对信道研究的内容：

信道的建模：用恰当的输入/输出两个随机 过程来描述 信道容量 不同条件下充分利用信道容量的各种办法

§5.1:概述-2

什么是信道？

信道是传送信息的载体——信号所通过的 通道。 信息是抽象的，信道则是具体的。比如： 二人对话，二人间的空气就是信道；打电话， 电话线就是信道；看电视，听收音机，收、 发间的空间就是信道。

§5.1:概述-3

信道的作用

在信息系统中信道主要用于传输与存储信 息，而在通信系统中则主要用于传输。

§5.1:概述-4

研究信道的目的

实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道编码降低误码率 在通信系统中研究信道，主要是为了描述、 度量、分析不同类型信道，计算其容量，即 极限传输能力，并分析其特性。 通信技术研究--信号在信道中传输的过 程所遵循的物理规律，即传输特性 信息论研究--信息的传输问题(假定传 输特性已知)

§4.2:信道的分类与描述

信道分类信道描述

§4.2:信道分类与描述-1

信道分类

从工程物理背景

——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；