最优化理论在信息论中的应用_(4)

最优化课程的具体应用,结合具体的专业。

公式（1）中p(x)表示时间x发生的概率，是介于0和1之间的数。由公式可以看出，事件发生的概率越大，所包含的信息量就越小，当事件发生的概率为1——即确知该事件会发生时，它所包含的信息量为0，对于确知事件，不再有研究意义。

对于通信系统的信号在信道的传输问题，信源可能产生n个不同的消息x0,x1,x2, xn 1，各自对应于不同的事件，并且产生每个消息的概率不同，假设每个消息xi产生的概率为p(xi)，因此根据公式（1）可以得到每个消息包含的信息量。而由于信源是按照不同的概率来产生这些消息的，因此从信源的角度综合考虑发送信号所包含的总的信息量，则有信源的平均信息量H(x)，定义如下：

H(x) p(xi) log p(xi) （2）

i 0n 1

该信源的平均信息量通常也称为信源的熵，可以理解为信源的平均不确定度。

在很多情况下，对一些随机事件，我们并不了解其概率分布，所掌握的只是与随机事件有关的一个或几个随机变量的平均值。按最大信息熵原理，如果我们从全部相容的分布中挑选这样的分布，它是在某些约束条件下（通常是给定的某些随机变量的平均值）使信息熵达到极大值的分布，这是因为信息熵取得极大值时对应的一组概率分布出现的概率占绝对优势。可以看出，在给定的等式和不等式约束条件下，由最大信息熵原理求消息发生的“最佳”概率分布，就是一个求解条件极值的最优化问题，可表示如下：

maxH(x) p(xi) log p(xi)

i 0n 1

p(x) 1i

i 0n 1 （3）

p(xi) 0(i 0,1 n 1)

2. 2信道容量

信息论中的另外一个重要的问题是求解信道的容量。信道容量是指信道上没传送一个符号所能携带的信息量，可以用信道接收端和发送端互信息量的最大值来表征。假设一个信道输入的字符集为X x0,x1,x2, xn 1 ，信道接收端接收到的字符集为Y y0,y1,y2, ym 1 ，信道的转移概率Pij p(yj/xi)(i 0, n 1;j 0, m 1)，则信道发送端和接收端之间的平均互信息量I(X,Y)可以表示为：