信息论基础 第3章

发布时间:2024-10-23

第三章 信道与信道容量§3-1 引言1〉什么是信道? 信道是传送信息的载体——信号所通过的通道。 信息是抽象的,信道则是具体的。比如:二人对话,二人间的空气 就是信道;打电话,电话线就是信道;看电视,听收音机,收、发间 的空间就是信道。 2〉信道的作用 在信息系统中信道主要用于传输与存储信息,而在通信系统中则主 要用于传输。 3〉研究信道的目的 在通信系统中研究信道,主要是为了描述、度量、分析不同类 型信道,计算其容量,即极限传输能力,并分析其特性。2013/1/9 P.1

§3-2 信道的分类与描述(一) 信道分类信道可以从不同角度加以分类,但归纳起来可以分为: 从工程物理背景——传输媒介类型; 从数学描述方式——信号与干扰描述方式; 从信道本身的参数类型——恒参与变参; 从用户类型——单用户与多用户; 等方面加以分类:

2013/1/9

P.2

明线 对称平衡电缆(市内) 固体介质 电缆 小同轴(长途) 中同轴(长途) (一) 信道分类 (续) 长波 中波 短波 超短波 移动 1 传输媒介类型 空气介质 视距接力 微波 对流层 散射 电离层 卫星 光波 波导 混合介质 光缆 2013/1/9

P.3

(一) 信道分类 (续) 离散 无记忆 信号类型 连续 半离散 有记忆 半连续 无干扰:干扰少到可忽 略; 无源热噪声 2〉信号与干扰类型 线性叠加干扰 有源散弹噪声 脉冲噪声 干扰类型 有干扰 交调 乘性干扰 衰落 码间干扰 2013/1/9 P.4

(一) 信道分类 (续) 恒参信道(时不变信道 ) 3 〉信道参量类型 变参信道(时变信道) 二用户信道(点对点通 信) 4〉用户类型 多用户信道(通信网)

2013/1/9

P.5

(一) 信道分类 (续)信道划分是人为的,比如:信源 编码 A 媒介 B 译码 信宿

干扰 c1 c2 c3 c4

其中:c1为连续信道,调制信道; c2为离散信道,编码信道; c3为半离散、半连续信道; c4为半连续、半离散信道。2013/1/9 P.6

(二) 信道描述信道可以引用三组变量来描述: 信道输入概率空间: X K , p( x)] ; 信道输出概率空间: K , q( y)] [ [Y 信道概率转移矩阵: ( y x) P

出 YK y ymk X K x1 xnk 入 信道 1

p( x) p1 p k q( y ) q1 q k n m

P( y1 x1 ) P( y1 x k ) n P P( y mk x1 ) P( y mk xnk ) 2013/1/9 P.7

(二) 信道描述 (续)当K=1时,退化为单个消息(符号)信道;进一步当n=m=2时, 退化为二进制单个消息信道。若它满足对称性,即构成最常用 的二进制单消息对称信道BSC:

0输入 Pe Pe

1 Pe 1

0输出

x {0,1 }

y {0,1 }1 Pe 1

1

1

且: X 0 , 1 p ( x) p , p , ( P 0 1

1 , Y 0 , 1 ) ,1 ,q( y ) q , q 0 1 P.8

2013/1/9

§3-3 无干扰离散信道(略) §3-4 有干扰时单个消息(符号)信道及其容量这里,仍类似于信源,从最基本、最简单的单个消息(符号)开始, 再逐步将其推广至消息序列信道以及多用户信道。

(一) 离散单消息信道与信道容量输入 P [ X , p( x)]

输出 [Y , q( y)]

下面,我们首先将互信息表达成概率的函数:

2013/1/9

P.9

(一) 离散单消息信道与信道容量 (续)I ( X ;Y ) H ( X ) H ( X Y ) p rij log i q j Qij log Qij i j i j

q Qj j

ij

Qij

I (q j ; Qij )

I ( X ; Y ) H (Y ) H (Y X ) rij logi j

qj Pji

pi Pji logi j

pPi i

ji

Pji

I ( pi ; Pji )

两种表达式中,这里选用 I ( X ;Y ) I ( pi ; Pji ) 。 0 一般当信道给定以后,p ji P( 已知) ji0 I ( X ;Y ) I ( pi ; Pji ) I ( pi ; Pji ) I ( pi )

2013/1/9

P.10

(一) 离散单消息信道与信道容量 (续)

C max I ( X ; Y ) max I ( pi )pi pi

2013/1/9

P.11

(二)强对称信道:

其中:

1 n 1 P(/) n 1 1 ...... ...... n 1 n 1

n 1 ...... n 1 ...... ...... ...... 1 ......P.12

2013/1/9

(二)强对称信道 (续):它具备三个特征: 1> 矩阵中的每一行都是第一行的重排列;矩阵中的每一列都是第一 列的重排列。 2> 错误分布是均匀的,为 n 1 3> 信道输入与输出消息(符号)数相等,即m=n。 显然,对称性基本条件是1>,而2>、3>是加强条件。 下面,我们放松对信道的约束,仅满足条件1>,就构成一般性对称信 道。 1 1 3 例: 6 11 6 1 6

31 6

1 3

2013/1/9

1 3

P.13

(二)强对称信道 (续):1 1213 6

1 6 1 1 3

21 3

1 6

1 2

1 P1 3 1 6

1 3 1 6

1 6 1 3

1 6 1 3

1 2 1 p2 6 1 3

1 3 1 2 1 6

1

6 1 3 1 2

2013/1/9

P.14

(二)强对称信道 (续):定理3-4-1:对于单个消息离散对称信道,当且仅当信道输入输出均为 等概率分布时,信道达到容量值。

即证:

0 C logm H (Pji )

I ( X ; Y ) H (Y ) H (Y / X )0 0 H (q) pi Pji log Pji i j 0 0 H (q1 qm ) ( pi ) Pji log Pji i j

由信道对称性: 0 第i行(每一行)都是第一行重排列,即与行序号i无关,而 Pji Pji (给定)。 由信道容量定义:0 0 C max I ( X ; Y ) max[ H (q1 qm )] Pji log Pji P i j

2013/1/9

P.15

(二)强对称信道 (续):

pi Pji0 q j i

1 1 pi . m n

(三) 准对称信道再进一步放松条件 若P(/)不满足对称条件,但是, ( P Pr Ps ) ,其中r=1,2……s。 P 1 且所有Pr满足对称性条件,则称P为准对称信道。 例:

1 1 2 2 1 1 1 2 2 1 P1 P2 P 1 - 1 2 1 2 1 - 1 2 1 2 2013/1/9 P.16

信息论基础 第3章.doc 将本文的Word文档下载到电脑

    精彩图片

    热门精选

    大家正在看

    × 游客快捷下载通道(下载后可以自由复制和排版)

    限时特价:7 元/份 原价:20元

    支付方式:

    开通VIP包月会员 特价:29元/月

    注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
    微信:fanwen365 QQ:370150219