RBF神经网络

RBFANN是一种典型的有导师学习前馈网络，可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBFANN的优良特性使得其显示出比BP神经网络更好的生命力，正在越来越多的领域内替代BP神经网络。对于某一RBFANN模型，如果给定了训练样本，那么该网络的学习算法应该解决以下问题：结构设计(即如何确定网络隐节点数h)，确定各RBF的数据中心ci及扩展常数6i、输出权值。一般情况下，如果确定了网络的隐节点数、数据中心和扩展常数，RBFANN从输入到输出就成了一个线性方程组，此时可以采用最小二乘法求解。

聚类方法是最经典的RBFANN模型学习算法，由Moody和Darken 在1989年提出。其思路是先用无导师学习方法(K-means算法)确定RBFANN中h个隐节点的数据中心，并根据数据中心之间的距离确定隐节点的扩展常数，然后用有导师学习方法训练各隐节点的输出权值。具体步骤如下：

1、确定预测样本资料。假设预测周期为N，如果为第1个预测周期，那么以模型率定期资料作为样本；如果为第2到N个预测周期，需引入前一个周期的预测值作为样本资料，并剔除掉最早一个时段的样本资料。

2、算法初始化。选择h个不同的初始聚类中心，并令迭代次数k=1。选择初始聚类中心的方法很多，如从样本输入中随机选取，或者选择前h个样本输入，但这h个数据中心必须取不同值。

3、计算所有样本输人与聚类中心的距离，对样本输入按最小距离原则进行分类。

4、计算各类的聚类中心。

5、根据各聚类中心之间的距离确定各隐节点的扩展常数。

6、当各隐节点的数据中心和扩展常数确定后，输出权矢量就可以用有导师学习方法训练得到，但更简洁的方法是使用最小二乘法直接计算。

7、通过率定的模型参数进行预测。

8、判断模型学习停止条件，即是否到最后一个预测周期，是，则停止学习；否，则转到第一步。对下一个预测周期的模型参数进行率定。

人工神经网络是处理非线性问题的常用方法。因此，人工神经网络方法可接受的输入信息量大，误差反向传播神经网络(Error Back Propa—gation Neurfll Network，BPNN)和RBFNN是最常用的两类神经网络，两者的区别在于BPNN是以权重与输入的内积作为网络的净输入，而RBFNN是以训练样本的输入向量与隐含层节点权重向量的欧式距离作为输入．BPNN用于函数逼近时，权值的调节采用梯度下降法，这种方法存在收敛速度慢和局部极值小等缺点．RBFNN在这方面优于BPNN，它所具有的优化过程简单，训练速度快和其最佳逼近能力等优点有利于在成矿研究程度低的区域，处理大数据量地质数据，开展矿产预测．RBFNN是由输入层、隐层和输出层神经元构成的前向

型网络，其基本思想是用径向基函数作为隐层神经元的基，构成隐层空间，实现输入矢量到输出矢量的映射变换．BFNN具有全局和最佳逼近性能，是前馈神经网络中完成映射功能最优的网络．只要有足够多的隐层神经元，RBF网络能以任意精度近似任何连续函数．在神经网络训练过程中，参数选择不当会引起网络的拟合不足和过拟合．拟合不足是指由于迭代次数不足或者网络结构过于简单，无法识别输入的所有信息致使部分信息不足，此时应当增加迭代次数，或者增加网络节点数；而如果迭代次数过多，网络过于复杂，将输入信息中的噪声学习到网络中，网络训练过度发生过拟合，因此合理选择迭代次数和网络结构(即隐层神经元数量)是训练应用神经网络模型的关键。直接影响预测精度．

在RBFNN训练前，需要确定径向基函数(隐层神经元)数量与迭代次数．训练集中总均方差(sum of squared errors，SSE)最小点的位置可以用来决定最佳的径向基函数的数量。

针对本次金矿预测的训练样本集，起始隐层神经元数位10，截至隐层神经元数为170，逐渐增加神经元数，分别计算出相应的SSE．最小的SSE出现在61处(SSE=0．0004)，随着神经元数量的增加，SSE迅速增加(见图2)．结果表明当隐层神经元数与训练层特征矢量数相等时，SSE最小．

最佳迭代次数也可以通过判断SSE的变化来获得．本次训练起始迭代数为50，截至迭代数为400．从图3(a)可以看出，SSE在151的位置出现陡降，随后趋向平稳，但通过参看局部放大图3(b)(150％"--400 %)，在161位置再次出现陡降，此后趋向平稳．较少的迭代数量会增加SSE，误差增大，训练不足；但迭代次数过多，不仅增加计算负担，而且会导致过拟合，因此一般选择SSE稳定位置处的迭代次数作为最佳迭代数．通过上述方法获得最佳隐层神经元数和迭代次数能使训练集的误差较小，可用于对位置特征矢量的训练，并计算预测值．

人工神经网络大作业

X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日

人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学

人工神经网络发展前景111

人工神经网络发展前景 姓名 单位 摘要 在分析人工神经网络的发展过程、基本功能、应用范围的基础上，着重论述了神经网络与专家系统、模糊技术、遗传算法、灰色系统及小波分析的融合。 关键词 英文摘要 英文关键词 1前言 人工神经网络的发展起源于何时，说法不一。一般认为，其起源可追溯到Warren WcCulloch和Walter Pitts提出的MP模型。从此拉开了神经网络的序幕。20世纪50年代后期，Frank Rosenblatt定义了一种以后常用的神经网络结构，称为感知器。这是人工神经网络第一个实际应用；20世纪60年代，Bernard Widrow和Ted Hoff提出了一个新的学习算法用于训练自适应线性神经网络；20世纪70年代，Grossberg 提出了自适应共振理论。他研究了两种记忆机制（短期记忆和长期记忆），提出了一种可视系统的自组织神经网络，这是一种连续时间竞争网络，是构成自适应谐振理论网络基础；20世纪80年代，Hopfield 及一些学者提出了Hopfield网络模型，这是一种全连接的反馈网络。此外，Hinton等提出了Boltzman机。Kumellhart等人提出误差反向

传播神经网络，简称BP网络。目前BP神经网络已成为广泛使用的网络。 2应用现状 神经网络以及独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： 1）信号处理。神经网络广泛应用于自适应信号处理和非线性信号处理中。前者如信号的自适应滤波、时间序列预测、谱估计、噪声消除等；后者如非线性滤波、非线性预测、非线性编码、调制/解调等。2）模式识别。神经网络不仅可以处理静态模式如固定图像、固定能谱等，还可以处理动态模式如视频图像、连续语音等。 3）系统识别。基于神经网络的系统辨识是以神经网络作为被识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。 4)智能检测。在对综合指标的检测（例如对环境舒适度这类综合指标检测）中，以神经网络作为智能检测中的信息处理联想等数据融合处理，从而实现单一传感器不具备的功能。 5）汽车工程。神经网络在汽车刹车自动控制系统中也有成功的应用，该系统能在给定刹车距离、车速和最大减速度的情况下，以人体能感受到的最小冲击实现平稳刹车，而不受路面坡度和车重影响。 6）化学工程。神经网络在光谱分析、判定化学反应的生成物、判定离子浓度及研究生命体中某些化合物的含量与生物活性的对应关系都有广泛应用并取得了一定成果。 7）卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分

人工神经网络综述

目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)

人工神经网络的发展及应用

人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们

人工智能之人工神经网络(PDF 23页)

1 第八章人工神经网络吉林大学地面机械仿生技术教育部重点实验室 张锐

2 8.1 神经网络的基本概念及组成特性 8.1.1 生物神经元的结构与功能特性 从广义上讲，神经网络通常包括生物神经网络与人工神经网络两个方面。生物神经网络是指由动物的中枢神经系统及周围神经系统所构成的错综复杂的神经网络，它负责对动物肌体各种活动的管理，其中最重要的是脑神经系统。 人工神经网络是指模拟人脑神经系统的结构和功能，运用大量的软、硬件处理单元，经广泛并行互连，由人工方式建立起来的网络系统。 生物神经元就通常说的神经细胞，是构成生 物神经系统的最基本单元，简称神经元。 神经元主要由三个部分构成，包括细胞体、 轴突和树突，其基本结构如图所示。 1. 生物神经元的结构 生物神经元结构 吉林大学地面机械仿生技术教育部重点实验室 张锐

3 从生物控制论的观点来看，作为控制和信息处理基本单元的神经元，具有下列一些功能与特性。 2. 神经元的功能特性 （1）时空整合功能 神经元对于不同时间通过同一突触传入的信息，具有时间整合功能；对于同一时间通过不同突触传入的信息，具有空间整合功能。两种功能相互结合，使生物神经元具有时空整合的输入信息处理功能。 （2）神经元的动态极化性 尽管不同的神经元在形状及功能上都有明显的不同，但大多数神经元都是以预知的确定方向进行信息流动的。 （3）兴奋与抑制状态 神经元具有两种常规工作状态，即兴奋状态与抑制状态。 （4）结构的可塑性 突触传递信息的特性是可变的，随着神经冲动传递方式的变化，其传递作用可强可弱，所以神经元之间的连接是柔性的，这称为结构的可塑性。 吉林大学地面机械仿生技术教育部重点实验室 张锐

精选-人工神经网络复习题

《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。

（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1 ，为稳定平稳状态。 X X

人工神经网络的发展及应用

人工神经网络的发展及应用 西安邮电学院电信系樊宏西北电力设计院王勇日期：2005 1-21 1 人工神经网络的发展 1．1 人工神经网络基本理论 1．1．1 神经生物学基础生物神经系统可以简略地认为是以神经元为信号的处理单元，通过广泛的突触联系形成的信息处理集团，其物质结构基础和功能单元是脑神经细胞，即神经元(neuron) 。 (1)神经元具有信号的输人、整合、输出三种主要功能作用行为，结构如图1 所示： (2)突触是整个神经系统各单元间信号传递驿站，它构成各神经元之间广泛的联接。 (3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物，其变化是先天遗传信息确定的总框架下有限的自组织过程。 1．1．2 建模方法神经元的数量早在胎儿时期就已固定，后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系，这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法：①神经生物学模型方法，即根据微观神经生物学知识的积累，把脑神经系统的结构及机理逐步解释清楚，在此基础上建立脑功能模型；②神 经计算模型方法，即首先建立粗略近似的数学模型并研究该模型的动力学特性，然后冉与真实对象作比较（仿真处理方法）。1．1．3 概

念人工神经网络用物理町实现系统采模仿人脑神经系统的结构和功能，是一门新兴的前沿交义学科，其概念以T．Kohonen．Pr 的论述 最具代表性：人工神经网络就是由简单的处理单元（通常为适应性神经元，模型见图2）组成的并行互联网络，它的组织能够模拟生物神 经系统对真实世界物体所作出的交互反应。 1．2 人工神经网络的发展 人工神经网络的研究始于40 年代初。半个世纪以来，经历了兴起、高潮与萧条、高潮及稳步发展的较为曲折的道路。1943 年，心理学家W．S．Mcculloch 和数理逻辑学家W．Pitts 提出了M—P 模型， 这是第一个用数理语言描述脑的信息处理过程的模型，虽然神经元的功能比较弱，但它为以后的研究工作提供了依据。1949 年，心理学家D. O. Hebb提出突触联系可变的假设，根据这一假设提出的学习规律为神经网络的学习算法奠定了基础。1957 年，计算机科学家Rosenblatt 提出了著名的感知机模型，它的模型包含了现代计算机的一些原理，是第一个完整的人工神经网络。1969 年，美国著名人工智能学者M．Minsky 和S．Papert 编写了影响很大的Perceptron 一书，从理论上证明单层感知机的能力有限，诸如不能解决异或问题，而且他们推测多层网络的感知能也不过如此，在这之后近10 年，神经网络研究进入了一个缓慢发展的萧条期。美国生物物理学家J．J．Hopfield 于1982年、1984 年在美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了研究神经网络的

人工神经网络综述

人工神经网络综述 摘要：人工神经网络是属于人工智能的一个组成部分，它的提出是基于现代神经科学的相关研究，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。首先论述了人工神经网络的发展历程，并介绍了几种常见的模型及应用现状，最后总结了当前存在的问题及发展方向。 关键词：神经网络、分类、应用 0引言 多年以来，科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密，希望能制作模拟人脑的人工神经元。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。在研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“人工神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。 1人工神经网络概述 1.1人工神经网络的发展 人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点，因其具有独特的结构和处理信息的方法，使其在许多实际应用中取得了显著成效。 1.1.1人工神经网络发展初期 1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，这是人类最早对于人脑功能的模仿。他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。1958年Frank Rosenblatt提出了感知模型(Pereeptron)，用来进行分类，并首次把神经网络的研究付诸于工程实践。1960年Bernard Widrow等提出自适应线形元件ADACINE网络模型，用于信号处理中的自适应滤波、预测和模型识别。 1.1.2人工神经网络低谷时期

人工神经网络复习资料题

《神经网络原理》 、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为 离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+ △)=▼(◎，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改—进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：(1 )、信息分布存储和容错性。 (2 )、大规模并行协同处理。 (3)、自学习、自组织和自适应。

(4)、人工神经元网络是大量的神经元的集体行为，表现为复杂

的非线性动力学特性。 (5)人式神经元网络具有不适合高精度计算、学习算法和网络 设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：(1 )、空间相加性；(2 )、时间相加性；(3)、阈值作用；(4 )、不应期；(5 )、可塑性；(6)疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x的关系如下图，试述它们分别有几个平衡状态，是 否为稳定的平衡状态? 答：在图(1、中，有两个平衡状态a、b，其中，在a点曲线斜率|F' (X)|>1 ,为非稳定平稳状态；在b点曲线斜率|F' (X)|<1 ,为稳定平稳状态。 在图(2、中，有一个平稳状态a，且在该点曲线斜率|F' (X)|>1 ，为非稳定平稳状态。

介绍人工神经网络的发展历程和分类.

介绍人工神经网络的发展历程和分类 1943年，心理学家W.S.McCulloch 和数理逻辑学家W.Pitts 建立了神经网络和数学模型，称为MP 模型。他们通过MP 模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出。其中包括感知器和自适应线性元件等。M.Minsky 等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron 》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐振理论（ART 网）、自组织映射、认知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield 提出了Hopfield 神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984年，他又提出了连续时间Hopfield 神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年进行认知微观结构地研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。在日本的“真实世界计算（RWC ）”项目中，人工智能的研究成了一个重要的组成部分。 人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两种分类方法是，按照网络连接的拓朴结构分类和按照网络内部的信息流向分类。按照网络拓朴结构分类网络的拓朴结构，即神经元之间的连接方式。按此划分，可将神经网络结构分为两大类：层次型结构和互联型结构。层次型结构的神经网络将神经

人工神经网络算法

人工神经网络算法 学习是要透过我们的头脑，因而研究大脑神经细胞的运作，可以帮助我们了解学习在脑神经是如何完成的，进而可以模拟神经细胞的运作以达到類似学习的功能。据估计人脑约有一千亿（1011）个神经细胞，每个神经细胞约有一千（103）根連结与其它神经细胞相連，因此人脑中约有一百万亿（1014）根連结，形成一个高度連结网狀的神经网路（neural network）。科学家们相信：人脑的信息处理工作即是透过这些連结來完成的 [葉怡成1993]。 神经细胞的形狀与一般的细胞有很大的不同，它包括：细胞体（soma）：神经细胞中呈核狀的处理机构；轴突（axon）：神经细胞中呈轴索狀的输送机构；树狀突（dendrites）：神经细胞中呈树枝狀的输出入机构；与突触（synapse）：树狀突上呈点狀的連结机构。根据神经学家的研究发现：当神经细胞透过神经突触与树狀突从其它神经元输入脉波讯号后，经过细胞体处理，产生一个新的脉波讯号。如果脉波讯号够强，将产生一个约千分之一秒100 毫伏的脉波讯号。这个讯号再经过轴突传送到它的神经突触，成为其它神经细胞的输入脉波讯号。如果脉波讯号是经过兴奋神经突触（excitatory synapse），则会增加脉波讯号的速率；相反的，如果脉波讯号是经过抑制神经突触（inhibitory synapse），则会减少脉波讯号的速率。因此，脉波讯号的速率是同时取决于输入脉波讯号的速率，以及神经突触的强度。而神经突触的强度可视为神经网路储存信息之所在，神经网路的学习即在调整神经突触的强度。 類神经网路（artificial neural networks），或译为人工神经网路，则是指模仿生物神经网路的信息处理系统，它是由许多人工神经细胞（又称为類神经元、人工神经元、与处理单元）所组成，

人工神经网络与其发展和应用的介绍

人工神经网络与其发展和应用的介绍 发表时间：2018-05-02T11:39:29.337Z 来源：《科技中国》2017年11期作者：卓一凡 [导读] 摘要：人工神经网络是人工智能的重要分支，自其创始伊始便成为了人工智能领域的研究热点。本文从人工神经网络的发展历史开始，介绍了其在医学，信息，控制等方面的应用及其现状，对其中的优缺点进行了简要的分析。并对人工神经网络未来的发展作简要的展望。 摘要：人工神经网络是人工智能的重要分支，自其创始伊始便成为了人工智能领域的研究热点。本文从人工神经网络的发展历史开始，介绍了其在医学，信息，控制等方面的应用及其现状，对其中的优缺点进行了简要的分析。并对人工神经网络未来的发展作简要的展望。关键词：人工神经网络，应用，优缺点，发展 1：人工神经网络的发展 纵观整个人工神经网络发展，大体经历了四个时期：启蒙，低潮，振兴，发展。 1.1：启蒙时期 人工神经网络和数学模型于1943年由W.S.McCulloch和W.Pitts建立，称为MP模型，证明了单个神经元能执行逻辑功能，人工神经网络的研究由此开始。1951年，心理学家 Donala O. Hebb提出了Hebb 法则：在神经网络中，信息在连接权中进行储存，突触之间的联系强度是可以变化的，而这种变化建立起了神经元间的连接。Hebb法则成为了构造具有学习功能的神经网络模型的基础。1954 年，生物学家Eccles提出了真实突触的分流模型，为神经网络模拟突触的功能提供了原理和生理学的依据。1956 年，Uttley 发明了一种由处理单元组成的推理机，用于模拟行为及条件反射。1958年，Rosenblatt将学习机制增加到了原有的MP模型上，首次把神经网络理论付诸实现。正是由于他的成功，引起了学者们对人工神经网络的研究兴趣。 1.2：低潮时期 当许多学者抱着极大的热忱去研究人工神经网络的时候，Minsky 和Papert 从数学角度对以感知器为代表的网络系统功能及其局限性进行了深入的研究，并在1969年出版《Percep2trons》一书。该书提出当前的网络只能对简单的线性问题进行解决，而对复杂的多层神经网络无能为力。这一结论使得许多国家的此类项目被暂停资助，自此开始了神经网络的低潮期。但不久后，转机出现。就在1972年，欧洲和美洲的两位学者：芬兰的Kohonen教授，美国的Anderson分别提出了自组织映射SOM(Self2Organizingfeature map)理论和一个名叫“交互存储器 ”的理论。而两者之间竟有着许多相似之处，不由得让人惊讶。但Kohonen的研究是目前所使用神经网络的主要依据。正是由于这些研究，引导了以后人工神经网络的振兴。 1.3：振兴时期 1982年，美国物理学家Hopfield博士发表了Hopfield模型理论，对人工神经网络的研究产生了深远的影响。如下图 Hopfield模型理论证明：神经网络并非不能达到稳定的状态，只是需要一定条件。而他的研究也让许多学者对人工神经网络的研究重新产生了兴趣。1986年，由美国的 Rumelhart 和 McCkekkand主编并撰写的《Parallel Distributed Processing : Ex2ploration in the Microstructures of Cognition》一书出版，提出了 PDP（Parallel Distributed Processing）网络思想，再一次推动了神经网络的发展。20世纪 90 年代， Edelman提出Darwinism 模型。1995 年,Jenkins等人进行了光学神经网络(PNN)的研究 .神经网络的研究重回人们的视野。 1.4：发展时期 20世纪80年代，人工神经网络在世界范围内全面复苏，这也引起了国家对神经网络的重视。“中国神经网络首届学术会议”于1990年2月由国内8个顶尖学会联合在北京召开。 1992年举办了中国第二届神经网络学术大会，中国神经网络学会便由此诞生。我国的“863”计划，“攀登”计划中，都有关于人工神经网络研究的内容。国际上，1987 年,在美国加洲举行了首届国际神经网络学会. 此后每年召开两次.至此，人工神经网络的研究得到了长足的发展。 2.人工神经网络的基本原理 自生物学发展伊始，大脑便是无数科学家研究的重点，人们想要弄清楚大脑是如何运作的？其机理是什么？人工神经网络便应运而生，它的目的是想要对人类神经网络进行开发与测试 2.1：人工神经网络的生物学基础 人工神经网络是人类神经网络的仿生学模拟。我们如果想要了解人工神经网络，就要先了解生物的神经元，如下图：

人工神经网络的发展和分类

人工神经网络的发展和分类 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。 1949年，心理学家提出了突触联系强度可变的设想。60年代，人工神经网络的到了进一步发展，更完善的神经网络模型被提出。其中包括感知器和自适应线性元件等。M.Minsky等仔细分析了以感知器为代表的神经网络系统的功能及局限后，于1969年出版了《Perceptron》一书，指出感知器不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究。加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工神经网络的研究处于低潮。 在此期间，一些人工神经网络的研究者仍然致力于这一研究，提出了适应谐ART，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1982年，美国加州工学院物理学家J.J.Hopfield提出了Hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。 1984Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。1985年，又有学者提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。 1986年进行认知微观结构地研究，提出了并行分布处理的理论。人工神经网络的研究受到了各个发达国家的重视。美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变 RWC项目中，人工智能的研究成了一个重要的组成部分。 人工神经网络的模型很多，可以按照不同的方法进行分类。其中，常见的两

人工神经网络三要素及其特点

4.1.1人工神经网络三要素 人工神经网络是对生物神经系统的某种抽象、简化与模拟，是由许多并行互联的相同神经元模型组成。网络的信息处理由神经元之间的相互作用来实现;知识与信息存储在处理单元相互间的物理连接上;网络的学习和识别决定于各神经元连接权系数的动态演化过程。一个神经网络模型描述了一个网络如何将它的输入矢量转化为输出矢量的过程。通常，神经网络模型由网络模型的神经元特性、拓补结构和学习或训练规则三个要素确定。 一、神经元特性 作为神经网络基本单元的神经元模型也有其三个基本要素:l)一组连接权;2)一个求和单元:3)一个非线性激励函数。神经元是神经网络的基本处理单元，它一般是多输入单输出的非线性器件，其结构模型如图4一1所示。 式中j x (1,2,,)j p =???为输入信号， kj w (1,2,,)j p =???为神经元j 到神经元k 的连接权值，1p k kj j j u w x ==∑为线性组合结果，k θ为阈值。?为神经元激励函数，k y 为神经元的输出。 1. 激活函数 (Activation Functions) (1) 线性激活函数 x x purelin x f ==)()( (2) 硬限幅激活函数 ???<≥==0 ,00 ,1)lim()(x x x hard x f x

（3）对称的硬限幅激活函数 ???<-≥==0 ,10 ,1 )(lim )(x x x s hard x f （4）Sigmoid (S 形)激活函数 x e x sig x f λ-+==11)(log )(，0>λ 具有平滑和渐进性，并保持单调性，参数λ可控制其斜率。 )(x f 性质：? ??+∞→→无穷阶光滑λ ),lim()(x hard x f 二、神经网络结构 神经网络由大量并行分布的神经元广泛互联构成。网络的拓补结构是神经网络的一个重要特征，从连接方式看神经网络结构主要有两种。 (l)前馈型网络 前馈网络中神经元是分层排列的，每个神经元只与前一层的神经元相连。输 入层和输出层与外界相连，其它中间层称为隐层，隐层可为一层或多层。除了通 用的前馈网络外，还存在其变型，如前馈内层互连网络，网络在同一层内相互连 接，互相制约，从外部看还是一个前馈网络，很多自组织网络存在此种结构。 单隐层网络：常用；三、四层网络：特殊的目的；四层以上网络：罕见。 (2)反馈型网络 所有节点都是计算单元，也可接受输入，并向外界输出。网络的任意两个神经元之间都可能存在连接，信息在各神经元之间反复传递至趋于某一稳定状态。 三、神经网络的学习方法 1、学习方式 网络的学习可以分为3种基本类型:1)网络权值的学习;2)网络节点函数的 学习;3)网络拓补结构的学习。其中，网络权值的学习最为简单，目前大多数文 献中所谓的网络学习指的就是网络权值的学习。下文的介绍也围绕网络权值的 学习进行。学习的过程就是按某种预定的度量通过调节自身参数(如权值)来达到 性能改养的过程。学习方式有三种: (l)监督学习(有教师学习) 输入层 隐层 输出层 …… …… ……

人工神经网络研究综述

人工神经网络研究综述 一、引言 人工神经网络是模仿生理神经网络的结构和功能而设计的一种信息处理系统。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络[1]。大量的人工神经元以一定的规则连接成神经网络，神经元之间的连接及各连接权值的分布用来表示特定的信息。神经网络分布式存储信息，具有很高的容错性。每个神经元都可以独立的运算和处理接收到的信息并输出结果，网络具有并行运算能力，实时性非常强。神经网络对信息的处理具有自组织、自学习的特点，便于联想、综合和推广。神经网络以其优越的性能应用在人工智能、计算机科学、模式识别、控制工程、信号处理、联想记忆等极其广泛的领域[2]。 二、人工神经网络概述 (一)定义： 关于它的定义有很多种，而Hecht-Nielsen给出的神经网络定义最具有代表意义：神经网络是一种并行的分布式信息处理结构，它通过称为连接的单向信号通路将一些处理单元互连而成。每一个处理单元都有一个单输出到所期望的连接。每一个处理单元传送相同的信号即处理单元输出信号。处理单元的输出信号可以是任一种所要求的数学类型。在每一个处理单元中执行的信息处理在它必须完全是局部的限制下可以被任意定义，即它必须只依赖于处理单元所接受的输入激励信号的当前值和处理单元本身所存储记忆的值[3-5]。 (二)基本原理： 1、人工神经元模型 神经元是人工神经网络的基本处理单元，是生物神经元的抽象、简化和模拟。抽象是从数学角度而言，模拟是以神经元的结构和功能而言。 2、神经网络结构 神经网络结构和工作机理基本上是以人脑的组织结构和活动规律为背景的，它反映了脑的某些基本特征，但并不是要对人脑部分的真正实现，可以说它是某种抽象、简化或模仿。如果将大量功能简单的形式神经元通过一定的拓扑结构组织起来，构成群体并行分布式处理的计算结构，那么这种结构就是人工神经网络，在不引起混淆的情况下，统称为神经网络。 (三)人工神经网络的基本属性 1、非线性：人脑的思维是非线性的，故人工神经网络模拟人的思维也应是非线性的。 2、非局域性：非局域性是人的神经系统的一个特性，人的整体行为是非局域性的最明显体现。神经网络以大量的神经元连接模拟人脑的非局域性，它的分布存储是非局域性的一种表现。 3、非定常性：神经网络是模拟人脑思维运动的动力学系统，它应按不同时刻的外界刺激对自己的功能进行修改，故而它是一个时变的系统。 4、非凸性：神经网络的非凸性即是指它有多个极值，也即系统具有不只一个的较稳定的平衡状态，这种属性会使系统的演化多样化。 三、人工神经网络模型模型 (一)人工神经网络模型的分类 1、按照网络的结构区分，则有前向网络和反馈网络。 2、按照学习方式区分，则有教师学习和无教师学习网络。

人工神经网络基本原理

人工神经网络 人工神经网络（Artificial Neural Networks, ANN），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。（引自《环球科学》2007年第一期《神经语言：老鼠胡须下的秘密》） 概念 由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 人工神经网络具有四个基本特征： （1）非线性非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。 （2）非局限性一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。 （3）非常定性人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 （4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；

人工神经网络文献综述

WIND 一、人工神经网络理论概述 (一人工神经网络基本原理 神经网络 (Artificialneuralnet work , ANN 是由大量的简单神经元组成的非线性系统,每个神经元的结构和功能都比较简单,而大量神经元组合产生的系统行为却非常复杂。人工神经元以不同的方式,通过改变连接方式、神经元的数量和层数,组成不同的人工神经网络模型 (神经网络模型。 人工神经元模型的基本结构如图 1所示。图中X=(x 1, x 2, … x n T ∈ R n 表示神经元的输入信号 (也是其他神经元的输出信号 ; w ij 表示 神经元 i 和神经元 j 之间的连接强度,或称之为权值; θj 为神经元 j 的阀值 (即输入信号强度必须达到的最小值才能产生输出响应 ; y i 是神经元 i 的输出。其表达式为 y i =f( n j =i Σw ij x j +θi 式中, f (

·为传递函数 (或称激活函数 ,表示神经元的输入 -输出关系。 图 1 (二人工神经网络的发展 人工神经网络 (ArtificialNeuralNetwork 是一门崭新的信息处理科学,是用来模拟人脑结构和智能的一个前沿研究领域,因其具有独特的结构和处理信息的方法,使其在许多实际应用中取得了显著成效。人工神经网络系统理论的发展历史是不平衡的,自 1943年心理学家 McCulloch 与数学家 Pitts 提出神经元生物学模型 (简称 MP-模型以来,至今已有 50多年的历史了。在这 50多年的历史中,它的发展大体上可分为以下几个阶段。 60年代末至 70年代,人工神经网络系统理论的发展处于一个低潮时期。造成这一情况的原因是人工神经网络系统理论的发展出现了本质上的困难,即电子线路交叉极限的困难。这在当时条件下,对神经元的数量 n 的大小受到极大的限制,因此它不可能去完成高度智能化的计算任务。 80年代中期人工神经网络得到了飞速的发展。这一时期,多种模型、算法与应用问题被提出,主要进展如:Boltzmann 机理论的研究, 细胞网络的提出,性能指标的分析等。 90年代以后,人工神经网络系统理论进入了稳健发展时期。现在人工神经网络系统理论的应用研究主要是在模式识别、经济管理、优化控制等方面:与数学、统计中的多个学科分支发生联系。 (三人工神经网络分类 人工神经网络模型发展到今天已有百余种模型,建造的方法也是多种多样,有出自热力学的、数学方法的、模糊以及混沌方法的。其中 BP 网络 (BackPropagationNN 是当前应用最为广泛的一种人工神经网络。在人工神经网络的实际应用中, 80%~90%的人工神经网络模型是采用 BP 网络或它的变化形式,它也是前向网络的核心部分,体现了人工神经网络最精华的部分。其结构简单,应用范围主要在模式识别、分类、非线性映射,复杂系统仿真,过程控制等方面。