１绪论

练步骤见表１．２。

表１．２Ｃｒｉｔｉｃ训练步骤【７６】

Ｔａｂ１．２Ｃｒｉｔｉｃｔｒａｉｎｉｎｇｐｒｏｃｅｄｕｒｅ

步骤ＨＤＰ、ＤＨＰ和ＧＤＨＰ

０

１ＡＤＨＤＰ、ＡＤＤＨＰ和ＡＤＧＤＨＰ初始化尼＝０、ｘ［０］、Ｗａ和睨；＾初始化后＝０、舛Ｏ］、埘Ｏ］、呢和形；

Ｊ（ｋ）＝ⅣⅣｃ枷。（研尼］，吸）

２Ｊ（ｋ）＝砜，。（ｘ［尼】，甜［尼］，阡：）ｈｕ［ｋ］－ＮＮａ“，。（ｘ嘲，呢）

ｘ［ｋ＋１］－厂（尼）ｘ［ｋ＋１］＿厂（尼）３ｕ［ｋ＋１］＝喊“ｉｏｎ（Ｘ［ｋ＋１］，Ｗａ）

Ｊ（ｋ＋１）＝人ｎ乞腑ｆｃ（ｘ［尼＋１］，ｕ［ｋ十１］，睨）４Ｊ（ｋ＋１）＝巩ｆｆｃ（ｘ［尼＋１］，睨）

ｋ＝ｋ＋１，转步骤１５计算疋和ａＪ（ｋ）／ａ睨，更新Ｃｒｉｔｉｃ权值睨６

注１．１：加％州。（ ）为采用神经网络设计的Ｃｒｉｔｉｃ模块输出；

ⅣＫ砌：（ ）为采用神经网络设计的Ａｃｔｉｏｎ模块输出；

１．３．３与传统神经网络控制器的区别

在传统的神经网络控制器巾，神经网络权值的调整是通过最小化跟踪误差ｅ２（ｆ）来实现的，随着神经网络权值的调整，跟踪误差Ｐ２（ｆ）越来越小，从而实现神经网络控制，如图１．４所示。

图１．４传统的神经网络控制框图

Ｆｉｇ．１．４Ｂｌｏｃｋｄｉａｇｒａｍｏｆｔｒａｄｉｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｃｏｎｔｒｏｌ

而基于近似动态规划的控制器，包含Ｃｒｉｔｉｃ署ＨＡｃｔｉｏｎ两个模块，Ａｃｔｉｏｎ模块的权值调整通过最小化Ｕ（ｆ）＋ｒＱ（ｔ）来进行，其中Ｑ（ｆ）为Ｃｍ’１．ｃ俣４４－上犬副刊－／。出。根据近似动态规划的原理可知，当Ｕ（ｋ）＝ｅ２（尼）时，