北京交通大学博士学位论文

表１．１ＡＤＰ一些特殊的应用领域

Ｔａｂｌｅ１．１ＳｏｍｅｓｐｅｃｉａｌａｐｐｌｉｃａｔｉｏｎｄｏｍａｉｎｓｏｆＡＤＰ

文献应用领域

燃烧炉（Ｂｏｉｌｅｒｃｏｍｂｕｓｔｉｏｎ）

光驱制造（Ｍａｎｕｆａｃｔｕｒｅｏｆｄｉｓｋｄｒｉｖｅｓ）

船舶驾驶（Ｓｈｉｐｓｔｅｅｒｉｎｇ）

围棋游戏（ＰｌａｙｇａｍｅｏｆＧｏ）

光电系统ｆＰｈｏｔｏｖｏｌｔａｉｃｓｙｓｔｅｍ）

产品鉴定（Ｐｖｓｙｓｔｅｍ）

隔振控制（Ｖｉｂｒａｔｉｏｎｉｓｏｌａｔｉｏｎｃｏｎｔｒ０１）

电动车辆（Ｅｌｅｃｔｒｉｃｖｅｈｉｃｌｅ）

过程控制（Ｐｒｏｃｅｓｓｃｏｎｔｒ０１）

直升‘机维护（Ｈｅｌｉｃｏｐｔｅｒｔｒｉｍｍｉｎｇ）

运输策略ｆＴｒａｎｓｐｏｒｔａｔｉｏｎｐｏｌｉｃｉｅｓ）

自动着陆器（Ａｕｔｏｌａｎｄｅｒ）

模糊控制（Ｆｕｚｚｙｃｏｎｔｒ０１）

机器人（Ａｕｔｏｎｏｍｏｕｓｗｈｅｅｌｅｄｍｏｂｉｌｅｒｏｂｏｃｌ陋眩№陋瞄皿ｐ陋口ｐＫｐ

ｐｐ自动驾驶（Ｉｎｔｅｌｌｉｇｅｎｔｓｔｅｅｒｉｎｇ）股票交易（Ｓｔｏｃｋｔｒａｄｉｎｇ）

国内研究ＡＤＰ方法的例子较少，王飞跃等人【』７３ｂ对ＡＤＰ算法进行了介绍，回顾了ＡＤＰ算法的发展和研究现状；程玉虎等人钊‘对模型未知以及具有连续状态的系统控制问题，提出一种基于强化学习的自适应控制策略，有效克服了状态空间分割所带来的维度灾难［７４】；郁文生、许静【７５，７６】从最优控制的角度研究了快速路单入ＬｊＩ醺道的控制问题，提出了基于ＡＤＰ的匝道控制方法；Ｂａｉ［７７ｊ对上述：号法进行了改进，引入了增强式学习中的适合度轨迹机制（Ｅｌｉｇｉｂｉｌｉｔｙ．Ｔｒａｃｅｓ，ＥＴ机制），通过在线学习充分利用有限的训练数据，提高了算法的学习效率；Ｃａｉ［３０】于２００７年提出了基于ＡＤＰ单交叉口在线控制策略，根据实时的交通信息来控制信号灯的状态；Ｌｉ［７８，７９Ｊ随后提出了基于ＡＤＰ的多交叉口在线控制策略，通过综合考虑二Ｆ线上各个交叉口的交通信息，优化配置各交叉口的配时策略，实现了干线控制。总的来说，对于近似动态规划方法的研究，国内尚处于起步阶段。

１．３典型的近似动态规划算法

典型的近似动态规划方法通常包括三个模块：Ｃｒｉｔｉｃ模块，Ｍｏｄｅｌ模块和Ａｃｔｉｏｎ模块，如图１．１所示。各模块功能如下：

Ｍｏｄｅｌ：Ｍｏｄｅｌ模块有两个作用：一是模拟被控对象，二是连通学：习误差反传通道。如果动态系统的解析形式已知，则可直接连入系统，作为Ｍｏｄｅｌ使用。而

４