人工神经网络BP算法的改进及其应用

人工神经网络BP算法的改进及其应用

Edited by Foxit Reader

Copyright(C) by Foxit Software Company,2005-2008For Evaluation Only.

第32卷第2期

2000年3月

四川大学学报(工程科学版)

JOURNALOFSICHUANUNIVERSITY(ENGINEERINGSCIENCEEDITION)

Vol.32No.2Mar.2000

文章编号:100923087(2000)0220105205

人工神经网络BP算法的改进及其应用

李晓峰,刘光中

(四川大学管理科学与工程系,成都610065)

摘　要:对传统的BP算法进行了改进,提出了BP神经网络动态全参数自调整学习算法,又将其编制成计算机程序,使得隐层节点和学习速率的选取全部动态实现,减少了人为因素的干预,改善了学习速率和网络的适应能力。计算结果表明:BP神经网络动态全参数自调整算法较传统的方法优越,训练后的神经网络模型不仅能准确地拟合训练值,而且能较精确地预测未来趋势。

关键词:人工神经网络;BP算法;自调整;自组织方法中图法分类号:O224;O29

文献标识码TheImprovementof2f,LIUGuang2zhong

andEng.,SichuanUniv.,Chengdu610065,China)

Abstract:Inthis,BPalgorithmofartificialneuralnetworkisimproved,theself2adjustedalgorithmofallparametershasbeenproposedfortheback2propagationlearning,andprogrammedaClanguageprocedure.Itcanmaketheselectionofhiddenlayerunitsandrateofstudyingeasilyinthecourseoftraining,reducear2ti2fi2cialinfluenceandimprovetheadaptiveabilityofrateofstudyingandneuralnetwork.Ourconclusionshowsthattheself2adjustedBPalgorithmofallparametersissuperiortothestatisticalmodelingapproach,themodelofar2tificialneuralnetworkintrainingcannotonlyexactlyimitatetrainingvaluationbutalsomakepredictionaccu2rately.

Keywords:artificialneuralnetwork;BPalgorithm;self2adjusted;groupmethodofdatahandling(GMDH)

　　近年来,国际上掀起了一股人工神经网络研究、开发应用的热潮。人工神经网络的理论的应用已渗透到各个领域,并在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、BP神经网络模型是人工神经网络的重要模型之一。通常,BP算法是通过一些学习规则来调整神经元之间的连接权值,在学习过程中,。

,收稿日期:1999206217

作者简介:李晓峰(19722),男,助教,数量经济.

于神经元之间的连接强度,而且与网络的拓扑结构(神经元的连接方式)、神经元的输入输出特性和神经元的阀值有关。因而,神经网络模型要加强自身的适应和学习能力,应该知道如何合理地自组织网络的拓扑结构,改变神经元的激活特性以及在必要时调整网络的学习参数等。本文基于此,在前人研究的基础上[7],对传统的BP算法进行了改进,提出了BP神经网络动态全参数自调整学习算法,不仅加快了网络的收敛速度,结构,从而增强了BP神经网络的适应能力。

人工神经网络BP算法的改进及其应用

106

四川大学学报(工程科学版)第32卷

1　BP人工神经网络模型的构造和评述

1.1　BP神经网络概言

BP神经网络,即误差反向传播神经网络,是神

2　BP人工神经网络模型的改进

2.1　BP人工神经网络结构的自我调整

在BP人工神经网络拓扑结构中,输入节点与输出节点是由问题的本身决定的,关键在于隐层的层数与隐节点的数目。对于隐层的层数,许多学者作了理论上的研究。Lippmann[2]和Cyberko[3]曾指出,有两个隐层,就可以解决任何形式的分类问题;后来RobertHechtNielson[5]等人研究进一步指出:只有一个隐层的神经网络,只要隐节点足够多,就可以以任意精度逼近一个非线性函数。相对来说,隐节点数的选取很困难。隐节点少了,学习过程不可能收敛;隐节点多了,,节点冗余。为了找到合适的隐节点数,,、调整自己。

i在学习第p个样本时的输出,

pjj在学习第p个样本时的输出,N为学习

经网络模型中应用最广泛的一种。它由输入层、隐含层和输出层构成。假设BP神经网络每层有N个节点,作用函数为非线性的Sigmoid型函数,一般采用f(x)=1/(1+e-x),学习集包括M个样本模式(Xp,Yp)。对第P个学习样本(P=1,2,...,M),节点j的输总和记为netpj,输出记为Opj,则:

N

netpj=

j=0

∑W

jiOpj

　　　　Opj=f(netpj)

如果任意设置网络初始权值,那么对每个输入样本P,网络输出与期望输出(dpj)间的误差为

E=

∑E

p

=(

∑(d

j

pj

-Opj))/2

2

BP网络的权值修正公式为

δWji=Wji(t)+ηpjOpj

δpj=

f(netpj)(dpj-Opj),f(netpj)

k

kj

样本总数,则令

-

敛速度。a,从而有:

δWji=Wji(t)+ηpjOpj+a(Wji(t)-Wji(t-1))式中,a为一常数项,它决定上一次的权值对

本次权值的影响。其具体算法步骤详见文献[1]。1.2　传统BP网络的评述传统BP网络模型把一组样本的输入/输出问题变为一个非线性优化问题,使用了优化中的最普通的梯度下降算法,对问题的识别具有很强的功能,对于复杂的非线性模型仿真从理论上来说其误差可以达到任意小的程度。但它仍然存在一些缺陷:

1)传统的BP网络既然是一个非线性优化问题,这就不可避免地存在局部极小问题。网络的极值通过沿局部改善的方向一小步一小步进行修正,力图达到使误差函数E最小化的全局解,但实际上常得到的是局部最优点。

2)学习过程中,下降慢,学习速度缓,易出现一个长时间的误差平坦区,即出现平台。

3)网络结构选择不一,网络过大,在训练中效率不高,而且还会由于过拟合造成网络性能脆弱,容错性 …… 此处隐藏：6825字，全部文档内容请下载后查看。喜欢就下载吧 ……