最优化理论在信息论中的应用_(5)

最优化课程的具体应用,结合具体的专业。

I(x,y) p(xi)p(yj/xi)log

i 0j 0n 1m 1p(yj/xi) p(x)p(y/x)iji

i 0n 1 （4）

根据定义，信道容量的表达式为：

C maxI(X,Y) （5）

对于一个给定的信道，它的特性是固定的，不随信源的不同而改变，因此信道的转移概率p(yj/xi)是确定的，则可以从公式（3）和（4）中看出，信道容量是关于变量p(xi)的一个极值问题，也就是关于信源产生消息的概率分布的一个最优化问题。

这里我们主要讨论离散无记忆的对称二进制信道的最大熵和信道容量，这种信道在某个时刻的输出符号只与当前时刻的输入符号有关，而与之前的输入符号无关，所以称为无记忆

0,1 的。同时离散无记忆的对称二进制信道的输入和输出都是序列 ，而且信道噪声和其它干

扰导致的信道传输发生的差错统计独立，信道的转移概率相互对称，即

p(Y 1/X 0) P(Y 0/X 1)

p(Y 0/X 0) P(Y 1/X 1) 1 （6）

信道模型可以用简化图表示如下：

x1 x0 y0 0 y1 1

根据离散无记忆对称二进制信道的定义，对应的信源的熵可以表示为：

H(x) p(x0)logp(x1) p(x1)logp(x1) （7）

最大熵的极值表达式为：

maxH(x) p(x0)logp(x1) p(x1)logp(x1)

p(x0) p(x1) 1

p(xi) 0(i 0,1)（8）

同样的，信道容量在离散无记忆对称二进制信道中可以表示为如下的最优化问题：