最优化理论在信息论中的应用_(3)

最优化课程的具体应用,结合具体的专业。

1 引言

最优化方法是在给定约束之下，从问题的许多可能解答中，寻求使某一或某些指标达到最优解答，或者对于给定的问题通过何种途径去寻找最优解答的方法，它是一个重要的数学分支。

最优化是个古老的方法，早在17世纪从英国科学家牛顿提出极值问题开始，就已经出现了最优化研究的雏形。至20世纪40年代，由于生产和科学研究迅猛发展，尤其是电子计算机的广泛应用，一方面对最优化的研究有力空前的迫切需求，另一方面也为最优化研究提供了新型的有力的工具。最优化问题与现代电子技术结合，步入了全新发展的快车道，形成了一个新的学科，出现了线性规划、非线性规划、整数规划等众多的分支。

最优化问题普遍存在于各类工程设计和方案规划问题中，例如在工程设计中怎样选择设计参数，使设计方案既满足设计要求又能降低成本；在资源分配中，怎样分配有限资源，使得分配方案既能满足各方面的基本要求，又能获得好的经济效益。随着最优化学科的发展，及其与社会各领域的紧密结合，最优化理论和算法在实际中正发挥着越来越大的作用。

信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。狭义的信息论以香农信息论为基础，核心内容是香农三大定理，涉及最大熵、信道容量、最佳信源编码以及最佳信道编码等最优化问题。这些问题在教科书中一般以定理形式给出，并未给出具体的求解形式，不利于对定理的理解。

本文结合信息论的部分专业知识以及最优化理论中所学习的求解方法，对信息论中的最大熵和信道容量的最优化问题进行编程分析和求解，主要使用的算法为求解非线性目标函数、线性约束函数极值问题的Zoutendijk可行方向法，用到的编程软件为Matlab 2012b。通过数值分析，对香农定理深入理解并更好的掌握所学习的最优化理论算法。

2 最大熵原理和信道容量

2. 1最大熵原理

在信息论中，信息是对于事件随机性的一种描述，一个事件所包含的信息量与该事件出现的概率有关，两者之间的关系有如下定义：

I(x) log p(x) （1）