北京交通大学博士学位论文

Ｒ（ｆ）

图１．３网络训练结构图【１４】

Ｆｉｇ．１．３ＮｅｔｗｏｒｋａｄａｐｔｉｏｎｉｎＤＨＰ

在ＤＨＰ中，

帮２郭”，，鬻＋嚣ｎ∥川，鬻攀

目。在式子（１．１３）中，每一个组成向量岛（ｆ）的分量在（１．１５）中定义。ｎ㈣其中，五（ｆ＋１）＝ａＪ（ｔ＋１）／ＯＲｉ（ｔ＋１），即，ｍ分别是模型和Ａｃｔｉｏｎ的输出量的数

钳，２拳一／可ａＪ（ｔ＋１）一事８Ｕ（ｔ）一ｘｋ＝１１硒８Ｕ（ｔ）攀

Ｉｌｉａｕ（ｔ）叫，塑娑１１挲８，４“）ａＡ（ｔ）ｌａ形。∽均基于动作依赖的ＤＨＰ（ＡＤＤＨＰ）方法假设了Ａｃｔｉｏｎ和Ｃｒｉｔｉｃ之间的直接连接。从图１．３我们可以看出，见＠＋１）通过Ｍｏｄｅｌ模块反向传播至Ａｃｔｉｏｎ模块。当采用最小均方算法（ＬｅａｓｔＭｅａｎＳｑｕａｒｅ，简称ＬＭＳ）调整Ａｃｔｉｏｎ模块权值时，公式如下：ＡＷ：７７

ａ。ａ（１．１６）、

而在ＧＤＨＰ（ＡＤＧＤＨＰ）方法ｒｆｌ，Ｃｒｉｔｉｃ模块通过同时估计，和甜／融使得误差最小化，虽然设计过程相对复杂，但能够获得较快的学习速度。

综上所述，近似动态规划采用Ａｃｔｉｏｎ模块和Ｃｒｉｔｉｃ模块交互的训练方式，训８