19第十九章 神经网络模型

数学建模 重要教材 对于数学建模大赛非常有帮助!!哈工大的系列教材

第十九章 神经网络模型

§1 神经网络简介

人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。自1943年美国心理学家W. McCulloch和数学家W. Pitts提出形式神经元的抽象数学模型—MP模型以来，人工神经网络理论技术经过了50多年曲折的发展。特别是20世纪80年代，人工神经网络的研究取得了重大进展，有关的理论和方法已经发展成一门界于物理学、数学、计算机科学和神经生物学之间的交叉学科。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理，通信，机器人以及专家系统等领域得到广泛的应用，提出了40多种神经网络模型，其中比较著名的有感知机，Hopfield网络，Boltzman机，自适应共振理论及反向传播网络（BP）等。在这里我们仅讨论最基本的网络模型及其学习算法。

1.1 人工神经元模型

图1表示出了作为人工神经网络（artificial neural network，以下简称NN）的基本单元的神经元模型，它有三个基本要素：

图1 神经元模型

（i）一组连接（对应于生物神经元的突触），连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。

（ii）一个求和单元，用于求取各输入信号的加权和（线性组合）。

（iii）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在(0,1)或( 1,1)之间）。

此外还有一个阈值θk（或偏置bk= θk）。

以上作用可分别以数学式表达出来：

uk=∑w

j=1pkjxj， vk=uk θk， yk= (vk)

式中x1,x2,L,xp为输入信号，wk1,wk2,L,wkp为神经元k之权值，uk为线性组合结果，θk为阈值， ( )为激活函数，yk为神经元k的输出。

若把输入的维数增加一维，则可把阈值θk包括进去。例如

vk=p∑w

j=0kjxj，yk= (uk)

此处增加了一个新的连接，其输入为x0= 1（或+1），权值为wk0=θk（或bk），如 -350-

数学建模 重要教材 对于数学建模大赛非常有帮助!!哈工大的系列教材

图2所示。

图2 神经元模型

激活函数 ( )可以有以下几种:

（i）阈值函数

1,v≥0 (v)= （1） <0,0v

即阶梯函数。这时相应的输出yk为

yk=

其中vk= 1,vk≥0 0,vk<0∑w

j=1pkjxj θk，常称此种神经元为M P模型。

（ii）分段线性函数

v≥1 1, 1 (v)= (1+v), 1<v<1 （2）

2

v≤ 1 0,

它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。

（iii）sigmoid函数

最常用的函数形式为

(v)=1 （3） 1+exp( αv)

参数α>0可控制其斜率。另一种常用的是双曲正切函数

(v)=tanh = v

2 1 exp( v) （4） 1+exp( v)

这类函数具有平滑和渐近性，并保持单调性。

Matlab中的激活（传递）函数如表1所示。

-351-

数学建模 重要教材 对于数学建模大赛非常有帮助!!哈工大的系列教材

表1 Matlab工具箱中的传递函数

函数名

purelin

hardlim

hardlims

satlins

logsig

tansig

compet 功 能 线性传递函数 硬限幅传递函数 对称硬限幅传递函数 饱和线性传递函数 对称饱和线性传递函数 对数S形传递函数 正切S形传递函数 径向基传递函数 竞争层传递函数

各个函数的定义及使用方法，可以参看Matlab的帮助（如在Matlab命令窗口运行help tansig，可以看到tantig的使用方法，及tansig的定义为 (v)=2 1）。 1+e 2v

1.2 网络结构及工作方式

除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。

（i）前馈型网络

各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入）。通常前馈网络可分为不同的层，第i层的输入只与第i 1层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。

（ii）反馈型网络

所有结点都是计算单元，同时也可接受输入，并向外界输出。

NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。

从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。

§2 蠓虫分类问题与多层前馈网络

2.1 蠓虫分类问题

蠓虫分类问题可概括叙述如下：生物学家试图对两种蠓虫（Af与Apf）进行鉴别，依据的资料是触角和翅膀的长度，已经测得了9支Af和6支Apf的数据如下：

Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)， …… 此处隐藏：8178字，全部文档内容请下载后查看。喜欢就下载吧 ……