最优化理论在信息论中的应用_(8)

最优化课程的具体应用,结合具体的专业。

4.1 利用Zoutendijk可行方向法求解最大熵

最大熵问题所对应的优化问题为：

minf(x) H(x) p(x1)logp(x1) p(x2)logp(x2)

s..tp(x1) p(x2) 1

p(x1) 0

p(x2) 0（18）

为了使表达更加简洁，方便分析和编程，我们这里就用x1来代替p(x1)，x2来代替p(x2)，同时将不等式约束化为小于等于的标准形式，则目标函数和约束条件变为：

minf(x) x1logx1 x2logx2

s..tx1 x2 1

x1 0

x2 0

10 0 在本问题中，Zoutendijk可行方向法中的矩阵A= ，矩阵E=，列向量b= (11) , e=1。0 10

4.1.1 算法流程

下面给出算法的具体流程：

（1） 首先将矩阵A根据起作用约束和不起作用约束分成A1和A2，同时也将b分为对应的

b1和b2。

（2） 接下来需要计算 f(x(k))，可以利用matlab自带的jacobian函数进行求解。

（3） 利用步骤（2）求得的目标函数在初始点的梯度求解线性规划问题：

min f(x(k))Td

s..tA1d 0

Ed 0

1 dj 1,j 1, n

这个问题的求解可以使用matlab中的linprog函数。linprog是一个专门用来求解线性规划的函数，它的调用格式为：x=linprog(f,A,b,Aeq,beq,lb,ub), 所求解的优化问题的标准格式为：

minf x

s..tAx b

Aeq x beq

lb x ub

（4） 利用前面步骤计算出的结果判断 f(x(k))Tdk，如果为0,则计算结束，