神经网络预测控制综述
神经网络预测控制综述
摘要：近年来，神经网络预测控制在工业过程控制中不仅得到广泛的应用，而且其理论研究也取得了很大进展。对当前各种神经刚络预测控制方法的现状及其工业应用进行了较深入地分析，并对其存在的问题和今后可能的发展趋势作了进一步探讨。
关键词：神经网络；预测控制：非线性系统；工业过程控制
Abstract: In recent years, neural network predictive control has not only been widely used in industrial process control, but also has made great progress in theoretical research. The current status of various neural network prediction control methods and their industrial applications are analyzed in depth, and the existing question and possible future development trends are further discussed.
Keywords: neural network; predictive control: nonlinear system; industrial process control
20世纪70年代以来，人们从工业过程的特点出发，寻找对模型精度要去不高而同样能实现高质量控制性能的方法，预测控制就是在这种背景下发展起的[1]。预测控制技术最初山Richalet和Cutler提出[2],具有多步预测、滚动优化、反馈校正等机理，因此能够克服过程模型的不确定性，体现出优良的控制性能，在工业过程控制中取得了成功的应用。如Shell公司、Honeywell公司、Centum 公司，都在它们的分布式控制系统DCS上装备了商业化的预测控制软件包．并广泛地将其应用于石油、化工、冶金等工业过程中[3]。但是，预测函数控制是以被控对象的基函数的输出响应可以叠加为前提的，因而只适用于线性动态系统控制。对于实际中大量的复杂的非线性工业过程。不能取得理想的控制效果。而神经网络具有分布存储、并行处理、联想记忆、自组织和自学习等功能，以神经元组成的神经网络可以逼近任意的：线性系统。使控制系统具有智能化、鲁棒性和适应性，能处理高维数、非线性、干扰强、难建模的复杂工业过程。因此，将神经网络应用于预测控制，既是实际应用的需要，同时也为预测控制理论的发展开辟了广阔的前景。本文对基于神经网络的预测控制的研究现状进行总结，并展望未来的发展趋势。
l神经网络预测控制的基本算法的发展[4]
实际中的控制对象都带有一定的菲线性，大多数具有弱非线性的对象可用线性化模型近似，并应用已有的线性控制理论的研究成果来获得较好的控制效果。而对具有强非线性的系统的控制则一直是控制界研究的热点和难点。
就预测控制的基本原理而言，只要从被控对象能够抽取出满足要求的预测模型，它便可以应用于任何类型的系统，包括线性和非线性系统。
由于神经网络理论在求解非线性方面的巨大优势，很快被应用于非线性预测控制中。其主要设计思想是：利用一个或多个神经刚络，对非线性系统的过程信息进行前向多步预测，然后通过优化一个含有这些预测信息的多步优化目标函数，获得非线性预测控制律。在实际应用与理论研究中形成了许多不同的算法。如神经网络的内模控制、神经网络的增量型模型算法控制等，近来一些学者对有约束神经网络的预测控制也作了相应的研究。文献[5]设计了多层前馈神经网络，使控制律离线求解。文献[6]采用两个网络进行预测，但结构复杂，距离实际应用还有一定的距离，文献[7]利用递阶遗传算法，经训练得出离线神经网络模型．经多步预测得出对象的预测模型，给出了具有时延的非线性系统的优化预测控制。将神经网络用于GPC的研究成果有利用Tank．Hopfield网络处理GPC矩阵求逆的算法，基于神经网络误差修正的GPC算法、利用小脑模型进行提前计算的GPC 算法、基于GPC的对角递归神经网络控制方法以及用神经网络处理约束情形的预
测控制算法。非线性系统的GPC研究成果还有基于双线性模型的GPC算法等[8]。文献[9]提出了多步预测性能指标函数下的神经网络逆动态控制方法，具有好的响应性能。文献[10]用一个神经网络来实现辨识和递推多步预测，控制信号的求取采用迭代学习，并用拟牛顿法求搜索方向，保证了算法的快速性和稳定性。文献[1l]采用神经网络来构造多步预测模型。并采用梯度下降法来训练网络和计算控制律．为实现非线性系统控制提供了一条可行途径。基于线性模型对非线性较强的过程进行多步预测时，就会产生较大的预测偏差。可采用神经网络对其进行补偿校正。并与基于线性模型的预测控制律相结合而构成非线性预测控制器。李少远等[2]基于多输出的前馈网络对多步预测的偏差进行修正，网络的训练算法为BP算法。林茂琼等[13]采用阻尼最小二乘法进行在线训练，获得一种自适应预测控制器，该算法不需预先训练神经网络，而且具有较好的跟踪性能。文献[14]利用一种权值可以在线调整的动态BP网络对模型预测误差进行拟合并与预测模型一起构成动态组合预测器，在此基础上形成对模型误差具有动态补偿能力的预测控制算法。
2 神经网络预测控制算法的新发展
2．1神经网络预测控制与PID控制器的结合[15]
PID控制器因其结构简单，参数调节方便．实时性好而广泛应用于各种控制规则。将PID控制应用于神经网络预测控制，可以发挥各自的优点，弥补相互的缺点。然而现有各种算法中，PID控制器参数的调节部是以输出一步预测误差最小为优化指标，这种基于单步最优指标的控制难以很好地反映未来时刻过程输出的动态变化规律，故常会引起控制信号大范围波动，从而导致系统振荡，另外，对于时变非线性对象，离线训练的BP网络已不能很好地完成辨识功能，而在线训练BP网络运算量大，不能满足实时辨识的要求。针对以上问题，将多步预测思想引入基于神经网络的智能PID控制算法中，即利用多步预测误差性能指标函数训练控制网络，并且选用运算量小、收敛性快、无局部极小的径向基函数网络辨识网络，对被控对象进行在线实时辨识。基于RBF神经网络多步预测的自适应P1D控制算法，利用2个神经网络分别作辨识器和控制器，实现非线性被控对象的在线辨识和PID参数的在线自适应调整，从而将PID控制推广到非线性、时变系统控制的领域。
2．2混沌学应用于神经网络预测控制
针对大多预测方法其收敛性和适应性均有不同程度的局限。并且由于负荷变化因素的复杂性和随机性很难用数学模型描述，这给模型的准确预测带来了很大
困难。由于混沌是一种常见的非线性动力学行为，混沌时问序列具有内部确定的规律性，其重构出混沌吸引子的相空间具有高精度的短期预测性，为此本文首先利用非线性、大时滞系统的时间序列重构相空间，计算相空间饱和嵌入维数。用最大Lyapunov指数对系统的混沌特性进行分析和判断。其次，以混沌理论为指导，建立混沌神经刚络预测模型。这里采用混沌神经列络模型的目的是山于系统负荷序列中常常有许多坏数据或发生变异的情况，它们的存在将对系统特性的分析和预测产生不良影响，而混沌神经网络模型具有非常强的容错性和联想记忆功能，即便在含有部分坏数据和发生变异的时间序列作为输入的情况下，该模型不仅能精确地再现系统的非线性动力学行为，而且在一定的范围内能对系统实现基于一步递推的多步预测，提高了模型预测的快速性和鲁棒性。在此基础上，文献[16]将神经网络与模糊控制相结合，设计了模糊神经预测控制器．即根据混沌神经网络预测模型输出得预测偏差和控制量模糊规则，并通过神经网络实现模糊逻辑控制器的结构，同时采用遗传算法对模糊神经刚络进行训练，这样有效地解决了大时滞、非线性的影响。
3神经网络预测控制应用的发展概况
3．1 基于非线性规划求解的神经网络预测控制
Aonat等将三层前馈网络用于输出的多步预测，并用二次规划求解基于多步预测的目标函数，从而构成非线性预测控制器[17]。Mills等采用递推式的滚动化网络模型进行多步预测，用历史栈算法来学习模型的权值，并用非线性规划求解含有约束的非线性预测控制律，这些措施为非线性预测控制器的自适应提供了一种有力的实现方案[18]。
3．2 基于迭代学习求解的神经网络预测控制
车海平等用一个多输出前馈网络的多个输出实现对过程的多步预测，控制信号的求取基于多步预测的目标函数，采用与网络权值训练相类似的梯度方法进行迭代学习获得[22]。Sorensen等用一个神经网络来实现对系统辨识和递推多步预测，控制信号的求取也采用迭代学习，并用拟牛顿法求搜索方向，保证了算法的快速性和稳定性[19]。
3．3 基于控制网络求解的神经网络预测控制
通常这种方案基于两个神经网络，一个是建模网络，用于过程的动态建模以获取对过程的预测信号：另一个是控制网络。它按照与预测控制目标函数相应的驱动信号来调整整个网络的权值，以获取对预测控制律函数的逼近。Najim等采用递归神经网络对过程进行递推式的多步预测，采用一个多输入多输出的前馈网
络作为控制网络。该网络的输出为当前及未来的控制序列。基于对控制量的各种约束条件和一个多步预测的目标函数对控制网络的权值在线训练获得控制信号[20]。陈增强等提出一种非线性系统间接预测控制，控制网络为多输入单输出。输出量为要计算的当前控制信号，各个输入量为对过程的多步预测序列与相应的设定值柔化序列之差[21]。
由于神经网络最主要的性质是能产生输入输出映射，以任意精度逼近多变量函数，因此逆向控制是神经网络应用于控制领域的一个重要方向。靳其兵等采用两个神经网络对被控对象及其逆动态进行辨识。逆动态网络即为控制网络，采用了多步预测的性能优化指标，直接训练控制器的权值，获得了一种多步预测性能指标函数下的神经网络逆动态控制方法[9]。
3．4 基于线性化方法的神经网络预测控制
线性化一直是处理非线性问题的常用方法，通过各种线性化逼近，可以将非线性控制律的求解加以简化提高其实时计算速度。陈增强等用一组神经网络模型逼近一个非线性系统的多步预测值，然后对网络的权值在线学习并基于刚络模型对过程的输出进行多步预侧，利用泰勒公式对预测值进行线性逼近，然后求解预测控制的目标函数[22]。李翔等采用一个前馈神经网络辨识非线性系统，在每一个采样间隔均将学习后的网络模型进行线性化，将线性化模型直接应用广义预测控制算法，得到的GPC控制律与非线性前馈增益补偿相结合，对非线性系统进行多步预测控制[23]。Miguel等基于神经网络模型和输入输出反馈线性化思想提出一种非线性预测控制方案[24]。
4神经网络预测控制在工业中的应用
基于神经网络的预测控制在复杂工业过程控制中取得了许多成功的应用，Staib等基于神经网络控制电弧炉这个多变量、非线性、时变、难以用传统数学模型描述的系统[25,26]．Bongards等将神经网络预测器和模糊控制器结合在一起，在污水处理厂上得到了应用。Galvand等采用并行结构的递归神经网络在套管式化学反应釜中进行了应用，并行递归神经网络很好地模拟各个反应器不同的加热冷却回路中的动力学行为。他们还将神经网络逆控制和预测控制应用在试验性化学反应堆上，比原先的自校正PD控制器有更好的控制品质。柴天佑等将神经网络和专家系统结合，设计了钢球磨中储式制粉系统的神经网络解精控制器，极大地提高了制粉效率。陈增强和袁著社等将神经网络自校正预测控制应用于涤纶片基拉膜生产线横向剖面这个复杂的多变量非线性系统上，极大地提高了产品的优质率。Jose等提出一种直接自适应神经网络控制器，能够对未知的非线性系统进行预测控制，并成功地将其应用在化工热交换过程的流速与温度控制中[。
Hu等设计了基于模糊神经网络模型的有约束多步预测控制，井将其应用于烧结生产线的线速度控制中。此外，神经网络预测控制在热电厂和太阳能电厂都有成功应用的实例。这些成功的应用实践表明结合神经网络与预测控制的优势而形成的神经网络预测控制在工业过程中具有广阔的应用前景。而应用成功的关键是稳定性。
5结束语
基于神经网络非线性系统多步预测控制在复杂的工业过程控制中己显示了其优良的控制性能，展现了诱人的应用前景，但它是一种新的尝试，还有许多问题有待于进一步研究。
1)进一步加强非线性预测控制中适用的各种神经网络的理论研究，包括网络逼近与泛化能力，结构参数的选取规律，有效的实时学习算法等。
2)加强对基于神经网络的有约束多变量预测控制求解算法的研究，这方面有一些初步成果，有待于进一步研究，以便更好地拓宽神经网络控制的应用领域。
3)加强对基于神经网络的非线性系统预测控制的理论分析研究。这是具有挑战性的课题，需要深入开展研究。
4)促进神经网络预测控制与遗传算法、模糊逻辑等其他智能理论的结合,推动智能预测控制的发展。
参考文献
[1] 黄湘云，朱学峰．预测控制的研究现状与展望【J】．石油化工自动化，2005(2)：
27-31
[2] Richalct J，et a1．Model Predictive Heuristic Control：Applications
to Industrial Processes【J】．Automatic，1978，14(5)：413—428 [3] 陈增强．袁著祉，张燕．基于神经网络的非线性预测控制综述【J】．控制工
程，2002，9(4)：7-11．
[4] 李东侠，张忠禄．基于神经网络的广义预测控制综述【J】．常州工学院学报，
2005，18(3)：12．15
[5] Parisini T'Sanguineti M，Zoppoli R．Nonlinear stabilizationby
receding-horizon neural regulators【J】．Int J Contr01．1998，70(3)：341-362．
[6] Schenker B，Agarwal M．Long Range Predictive ControlforPoorly Known
Systems【I】．Int J Control，1990。62(1)：227—238．
[7] 刘宝坤，王慧．曹明，等．基于神经网络模型直接优化预测控制Ⅲ信息与控
制，1998，27(5)：386-390．
[8] 胡耀华，贾欣乐．广义预测控制综述【J】．信息与控制,2000,29(3):248-256
[9] 靳其东，王建辉，顾树生，多步预测性能指标函数下的神经网络逆动态控制
方法【J】．控制与决策，1999，14（4）：308-312
[10]Sorensen P H，Norgaard M，Ravn O．Implementation of Network Based
Non-Linear Predictive Control【J】.Neurocomputing，1999，28(1)：37-51．[11]车海平，贺江峰，陈增强等．基于BP网络的非线性广义预测学系控制器
【J】．南开大学学报，1997，3 (4)：52·56．
[12]李少远，刘浩，囊著祉．基于神经网络误差修正的广义预测控制【J】控制
理论与应用，1996，J3(5)：677．680．
[13]林茂琼，陈增强，袁著祉．基于阻尼最小二乘法的神经网络预冽偏差补偿自
校正控制器[JJ．信息与控制，2000·29(1)：27·33．
[14]隋晓梅，赵章荣．基于动态补偿神经网络误差修正的广义预测控制【J】．华
北科技学院学报，2005，2(1)：96-99．
[15]姬晓飞，盂令柏，申东日．等．基于RBF神经网络多步预测的白适应PID
控制【J】．甘肃科学报．2003，15(2)：71-75．
[16]窦春霞．基于神经网络模型的预测控制器的致计及应用【J】.系统工程理论
与实践，2003(8)：48-52．
[17]Donat,J S，et aI．Neural Net Based Model Predictive Control【J】.Int
J Contr01．1991，54(6)：1453-1486．
[18]Mills，P M，Zomaya,A Y，Tade,M O．Adaptive Model．Based Control Using
Neural Networks【J】．Int 3 Contr01．1994，60(61：1163-1192．[19]Sorensen，P H，Morgaard,M,Ravn，O．Implementation of Neural NetWork
Based Non-Linear predictive Controtl【J】．
Nenroeomputing,1999，28(1)：37-51．
[20]Najim,K,Rusnak,A,Meszaras,A．Constrained Long-Range Predictive
Control Based on Artificial Neural Networks【J】．Int J System
Science．1997，28(2)：1211．1226．
[21]陈增强。袁著祉，车海平，等．基于神经网络的非线性系统间接自校正预测
控制【J】．南开大学学报,1999．32(3)：53，57．
[22]陈增强。车海甲．贺江峰，等．基于神经网络的二次逼近非线性自适应预测
控制器【J】．电路与系统学报，1998，3(1)：26-32．
[23]李样，陈增强，袁著祉．基于圣经网络的非线性前馈补偿广义预测自校正控
制器【J】．南开大学学报，999，32(2)：51-55．
[24]Migurl,A B，Ton,J J,Van,D B,Predictive Control Based on Neural Network
Model with I／O Feedback Linearization 【J】．In J Contr01．1999，72(1 7)：1358-1554．
[25]Staib W E，Mcnames J N．Operating．Experience from Intelligent Arc
Furnace Installations[J]．Iron and Steel Engineer，1994．71(5)：38-40，
(完整版)深度神经网络及目标检测学习笔记(2)
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
最新神经网络最新发展综述汇编
神经网络最新发展综述 学校：上海海事大学 专业：物流工程 姓名：周巧珍 学号：201530210155
神经网络最新发展综述 摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词: 类脑智能；神经网络；深度学习；大数据 Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions. Key words : artificial intelligence; neural network; deep learning; big data 1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。 类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
Hopfield神经网络综述
题目：Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfiel d神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfiel d神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
神经网络模型预测控制器
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
模糊神经网络技术研究的现状及展望
模糊神经网络技术研究的现状及展望 摘要：本文对模糊神经网络技术研究的现状进行了综述，首先介绍了模糊控制技术和神经网络技术的发展，然后结合各自的特点讨论了模糊神经网络协作体的产生以及优越性，接着对模糊神经网络的常见算法、结构确定、规则的提取等进行了阐述，指出了目前模糊神经网络的研究发展中还存在的一些问题，并对模糊神经网络的发展进行了展望。 关键字：模糊控制；神经网络；模糊神经网络 引言 系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此，通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom（1991）在IFAC大会上指出：模糊逻辑控制、神经网络与专家控制是三种典型的智能控制方法。通常专家系统建立在专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂系统所具有的不精确性、不确定性就算领域专家也很难把握，这使建立专家系统非常困难。而模糊逻辑和神经网络作为两种典型的智能控制方法，各有优缺点。模糊逻辑与神经网络的融合——模糊神经网络由于吸取了模糊逻辑和神经网络的优点，避免了两者的缺点，已成为当今智能控制研究的热点之一了。 1 模糊神经网络的提出 模糊集理论由美国著名控制论专家L.A.Zadeh于1965年创立[1]。1974年，英国著名学者E.H.Mamdani将模糊逻辑和模糊语言用于工业控制，提出了模糊控制论。至今，模糊控制已成功应用在被控对象缺乏精确数学描述及系统时滞、非线性严重的场合。 人工神经网络理论萌芽于上世纪40年代并于80年代中后期重掀热潮，其基本思想是从仿生学的角度对人脑的神经系统进行功能化模拟。人工神经网络可实现联想记忆，分类和优化计算等功能，在解决高度非线性和严重不确定系统的控制问题方面，显示了巨大的优势和潜力 模糊控制系统与神经网络系统具有整体功能的等效性[2]，两者都是无模型的估计器，都不需要建立任何的数学模型，只需要根据输入的采样数据去估计其需要的决策：神经网络根据学习算法，而模糊控制系统则根据专家提出的一些语言规则来进行推理决策。实际上，两者具有相同的正规数学特性，且共享同一状态空间[3]。 另一方面，模糊控制系统与神经网络系统具有各自特性的互补性[。神经网络系统完成的是从输入到输出的“黑箱式”非线性映射，但不具备像模糊控制那样的因果规律以及模糊逻辑推理的将强的知识表达能力。将两者结合，后者正好弥补前者的这点不足，而神经网络的强大自学习能力则可避免模糊控制规则和隶属函数的主观性，从而提高模糊控制的置信度。 因此，模糊逻辑和神经网络虽然有着本质上的不同，但由于两者都是用于处理不确定性问题，不精确性问题，两者又有着天然的联系。Hornik和White(1989)证明了神经网络的函数映射能力[4]；Kosko(1992)证明了可加性模糊系统的模糊逼近定理(FAT，Fuzzy Approximation Theorem)[5]；Wang和Mendel(1992)、Buckley和Hayashi(1993)、Dubots 和Grabish(1993)、Watkins(1994)证明了各种可加性和非可加性模糊系统的模糊逼近定理[6]。这说明模糊逻辑和神经网络有着密切联系，正是由于这类理论上的共性，才使模糊逻辑
(完整版)深度神经网络全面概述
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.sodocs.net/doc/7a18687134.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
Hopfield神经网络综述
题目： Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
神经网络的应用及其发展
神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
神经网络控制
神经网络控制 沈阳电力高等专科学校杨庆柏 刊载于《辽宁电机工程科普》1999年第4期神经网络控制是一种基本上不依赖模型的控制方法。它比较适用于那些具有不确定性或高度非线性的控制对象，并且有较强的适应和学习功能，因而神经网络控制是智能控制的一个重要分支领域。神经网络控制的机理人脑是由大量的神经细胞组合而成的，它们之间互相连接。人工神经网络是对生物神经网络的一种模拟和近似，该网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元(即神经细胞)组成。虽然单个神经元的结构和功能极其简单和有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富的。每个神经元有一个单一的输出，它可以到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。由给定的输入，神经网络产生一组输出，这些输出与已知的输出或期望的输出比较，如有偏差，则修正连接权系数以改进网络性能这种培育过程直到神经网络达到令人满意的水平为止。 目前，取代人工控制的途径大致有二种，一是将手工操作中的经验总结成普通的规则或模糊规则，然后构造相应的专家控制器或模糊控制器。二是在知识难于表达的情况下，应用神经网络学习人的控制行为，即对人工控制器建模。然后用此神经网络控制器取代。这种通过对人工或传统控制器进行学习，然后用神经网络控制器取代或逐渐取代原控制器的方法，称为神经网络监督控制。
2．神经网络控制特点 (1)具有很强的自学习和自组织能力，能进行在线或离线学习。 (2)具有并行处理及其带来的高速处理能力，而且处理的时间与问题的复杂程度只是成比例关系，而不是串行处理中的几何数量级关系。 (3)具有很强的处理非线性问题的能力，能逼近任意的非线性函数，因而适于处理那些难于用模型或规则描述的过程或系统。 (4)具有很强的信息综合能力，能同时处理大量的、不同类型的定量和定性信息，便于进行多种信息的融合。 (5)具有分布式存储信息和容错能力，每个神经元存储多种信息的部分内容，部分神经元的损坏和信息破坏只会导致网络部分功能减弱。 3．神经网络控制应用 神经网络在自动控制系统中应用方式是多种多样的，基本上可分为单神经元的应用和神经网络的应用。由于目前缺乏相应的神经网络芯片或神经网络计算机硬件支持，此系统尚未获得实际应用。而由单个神经元构成的控制器，是利用了目前的计算机串行计算方法来模拟神经网络控制，其系统结构简单，易于实时控制，因此获得了实际应用。 神经网络在电力工业的应用研究已有多项，如用神经网络模拟火电厂的生产过程，可制成令人满意的火电厂模拟装置，并可以应用于火电厂的动态控制。
深度神经网络及目标检测学习笔记
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
人工神经网络综述
目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)
人工智能发展综述
人工智能发展综述 摘要:概要的阐述下人工智能的概念、发展历史、当前研究热点和实际应用以及未来的发展趋势。 关键词:人工智能; 前景; 发展综述 人工智能(Artificial Intelligence)自1956 年正式问世以来的五十年间已经取得了长足的进展,由于其应用的极其广泛性及存在的巨大研究开发潜力, 吸引了越来越多的科技工作者投入人工智能的研究中去。尤其是八十年代以来出现了世界范围的开发新技术的高潮，许多发达国家的高科技计划的重要内容是计算机技术,而尤以人工智能为其基本重要组成部分。人工智能成为国际公认的当代高技术的核心部分之一。 1什么是人工智能 美国斯坦福大学人工智能研究中心尼尔逊教授给人工智能下了这样一个定义:人工智能是关于知识的学科, 是怎样表示知识以及怎样获得知识并使用知识的科学。从人工智能所实现的功能来定义是智能机器所执行的通常与人类智能有关的功能,如判断、推理、证明、识别学习和问题求解等思维活动。这些反映了人工智能学科的基本思想和基本内容, 即人工智能是研究人类智能活动的规律。若是从实用观点来看,人工智能是一门知识工程学:以知识为对象,研究知识的获取、知识的表示方法和知识的使用。 从计算机应用系统的角度出发，人工智能是研究如何制造智能机器或智能系统，来模拟人类智能活动的能力，以延伸人们智能的科学。如果仅从技术的角度来看，人工智能要解决的问题是如何使电脑表现智能化，使电脑能更灵活方效地为人类服务。只要电脑能够表现出与人类相似的智能行为,就算是达到了目的，而不在乎在这过程中电脑是依靠某种算法还是真正理解了。人工智能就是计算机科学中涉及研究、设计和应用智能机器的—个分支，人工智能的目标就是研究怎样用电脑来模仿和执行人脑的某些智力功能，并开发相关的技术产品，建立有关的理论。 2 人工智能历史 当然，人工智能的发展也并不是一帆风顺的，人工智能的研究经历了以下几
BP神经网络及深度学习研究-综述(最新整理)
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1 引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1 人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W. Pitts 在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用表示神经元i和神经元j之间的连接强度。 w ij (2)具有反映生物神经元时空整合功能的输入信号累加器。
神经网络预测控制综述
神经网络预测控制综述 摘要：近年来，神经网络预测控制在工业过程控制中不仅得到广泛的应用，而且其理论研究也取得了很大进展。对当前各种神经刚络预测控制方法的现状及其工业应用进行了较深入地分析，并对其存在的问题和今后可能的发展趋势作了进一步探讨。 关键词：神经网络；预测控制：非线性系统；工业过程控制 Abstract: In recent years, neural network predictive control has not only been widely used in industrial process control, but also has made great progress in theoretical research. The current status of various neural network prediction control methods and their industrial applications are analyzed in depth, and the existing question and possible future development trends are further discussed. Keywords: neural network; predictive control: nonlinear system; industrial process control
20世纪70年代以来，人们从工业过程的特点出发，寻找对模型精度要去不高而同样能实现高质量控制性能的方法，预测控制就是在这种背景下发展起的[1]。预测控制技术最初山Richalet和Cutler提出[2],具有多步预测、滚动优化、反馈校正等机理，因此能够克服过程模型的不确定性，体现出优良的控制性能，在工业过程控制中取得了成功的应用。如Shell公司、Honeywell公司、Centum 公司，都在它们的分布式控制系统DCS上装备了商业化的预测控制软件包．并广泛地将其应用于石油、化工、冶金等工业过程中[3]。但是，预测函数控制是以被控对象的基函数的输出响应可以叠加为前提的，因而只适用于线性动态系统控制。对于实际中大量的复杂的非线性工业过程。不能取得理想的控制效果。而神经网络具有分布存储、并行处理、联想记忆、自组织和自学习等功能，以神经元组成的神经网络可以逼近任意的：线性系统。使控制系统具有智能化、鲁棒性和适应性，能处理高维数、非线性、干扰强、难建模的复杂工业过程。因此，将神经网络应用于预测控制，既是实际应用的需要，同时也为预测控制理论的发展开辟了广阔的前景。本文对基于神经网络的预测控制的研究现状进行总结，并展望未来的发展趋势。 l神经网络预测控制的基本算法的发展[4] 实际中的控制对象都带有一定的菲线性，大多数具有弱非线性的对象可用线性化模型近似，并应用已有的线性控制理论的研究成果来获得较好的控制效果。而对具有强非线性的系统的控制则一直是控制界研究的热点和难点。 就预测控制的基本原理而言，只要从被控对象能够抽取出满足要求的预测模型，它便可以应用于任何类型的系统，包括线性和非线性系统。 由于神经网络理论在求解非线性方面的巨大优势，很快被应用于非线性预测控制中。其主要设计思想是：利用一个或多个神经刚络，对非线性系统的过程信息进行前向多步预测，然后通过优化一个含有这些预测信息的多步优化目标函数，获得非线性预测控制律。在实际应用与理论研究中形成了许多不同的算法。如神经网络的内模控制、神经网络的增量型模型算法控制等，近来一些学者对有约束神经网络的预测控制也作了相应的研究。文献[5]设计了多层前馈神经网络，使控制律离线求解。文献[6]采用两个网络进行预测，但结构复杂，距离实际应用还有一定的距离，文献[7]利用递阶遗传算法，经训练得出离线神经网络模型．经多步预测得出对象的预测模型，给出了具有时延的非线性系统的优化预测控制。将神经网络用于GPC的研究成果有利用Tank．Hopfield网络处理GPC矩阵求逆的算法，基于神经网络误差修正的GPC算法、利用小脑模型进行提前计算的GPC 算法、基于GPC的对角递归神经网络控制方法以及用神经网络处理约束情形的预
动态神经网络综述
动态神经网络综述 摘要 动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。 关键词：动态神经网络，模型，功能，算法，应用 Abstract Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion. Keywords: DNN, Models , Function , Algorithm , Application
1、绪论 人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。 神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。 本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。 2、DNN网络的基本模型和算法 根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。 反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示: 图2-1 反馈网络模型 反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络根据信号的时间域的性质的分类为
人工神经网络综述
人工神经网络综述 摘要：人工神经网络是属于人工智能的一个组成部分，它的提出是基于现代神经科学的相关研究，并且在诸多领域得到了广泛的应用，为人工智能化的发展提供了强大的动力。首先论述了人工神经网络的发展历程，并介绍了几种常见的模型及应用现状，最后总结了当前存在的问题及发展方向。 关键词：神经网络、分类、应用 0引言 多年以来，科学家们不断从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度探索人脑工作的秘密，希望能制作模拟人脑的人工神经元。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。在研究过程中，近年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“人工神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。 1人工神经网络概述 1.1人工神经网络的发展 人工神经网络是20世纪80年代以来人工智能领域中兴起的研究热点，因其具有独特的结构和处理信息的方法，使其在许多实际应用中取得了显著成效。 1.1.1人工神经网络发展初期 1943年美国科学家家Pitts和MeCulloch从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，这是人类最早对于人脑功能的模仿。他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。1958年Frank Rosenblatt提出了感知模型(Pereeptron)，用来进行分类，并首次把神经网络的研究付诸于工程实践。1960年Bernard Widrow等提出自适应线形元件ADACINE网络模型，用于信号处理中的自适应滤波、预测和模型识别。 1.1.2人工神经网络低谷时期