遗传算法与神经网络的结合.

系统工程理论与实践

Systems Engineering——Theory & Practice

1999年第2期第19卷 vol.19 No.2 1999

遗传算法与神经网络的结合

李敏强徐博艺寇纪淞

摘要阐明了遗传算法和神经网络结合的必要性和可行性,提出用多层前馈神经网络作为遗传搜索的问题表示方式的思想。用遗传算法和神经网络结合的方法求解了短期地震预报问题,设计了用遗传算法训练神经网络权重的新方法,实验结果显示了遗传算法快速学习网络权重的能力,并且能够摆脱局部极点的困扰。

关键词遗传算法进化计算神经网络

On the Combination of Genetic Algorithms and Neural Networks

Li Minqiang Xu Boyi Kou Jisong

(Institute of Systems Engineering, Tianjin University, Tianjin 300072

Abstract In this paper, we demonstrate the necessity and possibility of combining neural network (NN with GAs. The notion of using multilayered feed forward NN as the representation method of genetic and the searching technique is introduced. We combine GA and NN for solving short term earthquake forecasting problem, design a novel method of using GAs to train connection weights of NN.The empirical test indicates the capability of the new method in fast learning of NN and escaping local optima.

Keywords genetic algorithms; evolutionary computation; neural networks

1引言

智能可以分为三个层次:高层次的是生物智能(BI,其次是人工智能(AI, 处于低层次的是计算智能(CI。计算智能是国际上新近提出的学科概念,在计算智能中,计算的概念是传统计算概念的拓展,计算对象不仅局限于数和字符,运算符号也不再局限于加减乘除等运算,在这个范畴内的加减乘除也需赋于新的含义。但一般来说,AI 偏重于逻辑推理,而CI则偏重于数值计算。

目前,计算智能正处于迅猛发展的阶段,其主要技术包括模糊技术、神经网络、进化计算等[5]。这几项技术各自均有了数十年的历史,但当时这些方法并未受到足够的重视,一是当时这些方法还不很成熟,二是受当时计算机软硬件的限制,而这些方法一般需要较大的计算量,难以取得实际应用。随着计算机技术的发展和普及,它们在最近十年得到了突飞猛进的发展,引起了诸多领域专家学者的关注,成为一个跨

学科的研究热点。近年来,这些方法呈互相融合的趋势[3],它们之间的相互补充可增强彼此的能力,从而获得更有力的表示和解决实际问题的能力。如对模糊神经网络、模糊遗传算法、模糊分类器系统、用遗传算法优化模糊系统的隶属度函数及神经网络的进化设计方法等的研究都体现了这种融合的优点[1,2]。

2遗传算法与神经网络的融合

2.1神经网络为什么需要遗传算法

对于一个实际问题建立神经网络通常包括下面四个阶段:首先研究者根据自己的理论、经验和研究兴趣选择一个问题域,如模式识别、神经控制、经济预测等。第二,根据学习任务设计网络结构,包括处理单元个数、各层的组织结构及处理单元之间的联结。第三,根据已知的网络结构和学习任务用梯度下降学习算法,如BP 算法来训练联结权值。最后,研究者以测量到的目标性能,如解决特殊问题的能力、学习速度和泛化能力对训练过的网络进行评价。这个过程可以不断重复以获得期望的结果。描述一个ANN模型结构的主要参数有:网络层数、每层单元数、单

元间的互连方式等。设计ANN的结构,实际上就是根据某个性能评价准则确定适合于解决某个问题或某类问题的参数的组合。当待解决的问题比较复杂时,用人工的方法设计ANN是比较困难的。即使小的网络的行为也难以理解,大规模、多层、非线性网络更是十分神秘,几乎没有什么严格的设计规则。Kosmogorov定理说明在有合理的结构和恰当的权值的条件下,三层前馈网络可以逼近任意的连续函数,但定理中没给出如何确定该合理结构的方法,研究者只能凭以前的设计经验或遵循这样一句话“问题越困难,你就需要越多的隐单元”来设计ANN的结构。而标准工程设计方法对于神经网络的设计也是无能为力,网络处理单元间的复杂的分布交互作用使模块化设计中的分解处理技术变得不可行,也没有直接的分析设计技术来处理这种复杂性,更困难的是,即使发现了一种足以完成某一特定任务的网络,又怎能确定我们没有丢失一个性能更好的网络呢?

到目前为止,人们花费了大量的时间和精力来解决这一难题,而神经网络的应用也正向大规模、复杂的形式发展,人工设计网络的方法应该抛弃,ANN需要高效的自动的设计方法,GAs则为其提供了一条很好的途径。

遗传算法用于ANN的另一个方面是用遗传算法学习神经网络的权重,也就是用遗传算法来取代一些传统的学习算法。评价一个学习算法的标准是:简单性、可塑性和有效性。一般的,简单的算法并不有效,可塑的算法又不简单,而有效的算法则要求算法的专一性、完美性,从而又与算法的可塑性、简单性相冲突。目前广泛研究的前馈网络中采用的是Rumelhart等人推广的误差反向传播(BP算法,BP算法具有简单和可塑的优点,但是BP算法是基于梯度的方法,这种方法的收敛速度慢,且常受局部极小点的困扰,采用GAs则可摆脱这种困境。当然,使用GAs可以把神经网络的结构优化和权值学习合并起来一起求解,但这对计算机的处理能力要求很高。

2.2遗传搜索技术为什么需要神经网络

现在我们所面对的系统越来越复杂,所处理的系统问题也是越来越复杂,用传统GAs中的串表示方式来表达复杂系统的规律性是很困难的。遗传规划中采用

了树型结构的表示方式,可以方便地表示问题中的层次性,但对于系统中的反馈信息,这种表示方式也是无能为力的。对许多领域来说,网络或图为复杂问题提供了一种更自然、

直观、有效的表示方式。

从广义上讲,系统都是以网络的形式存在的,但在很多问题的描述和建模过程中,往往采用某种解析方法,运筹学中的网络分析仅仅应用于一类明显具有网络形式的工程类问题求解,而将网络作为系统的一般描述方法,并建立相应的模型和求解策略,则是人们正在努力研究的课题[4]。诚然,寻找一种通用的系统的网络表示形式是不明智的,借助目前研究比较成熟的多层前馈神经网络作为遗传搜索的问题表示方法是可行的。图1表示了遗传算法与神经网络的结合。

图1遗传算法与神经网络的结合

3遗传算法在神经网络学习中的应用

3.1神经网络学习的复杂性

这里所指的神经网络的学习包括拓扑结构的学习和权值的学习两个方面。ANN的学习是按照某种组合性能指标,在可能的网络空间上,搜索具有最优性能的网络形式。评价函数的选择一般应考虑以下几个方面的因素:网络的收敛性、泛化能力以及网络的稳定性等。ANN的性能曲面一般是很复杂的,可能的处理单元数目及连接是无界的,因而曲面无限大,处理单元数目离散取值,导致网络的性能是非连续的,故性能曲面是不可微的。

枚举搜索方法会遇到网络空间的组合爆炸问题,随机搜索方法在长的搜索过程中也不比枚举搜索方法好,难于发现有用的网络形式。而基于梯度的搜索方法需要很好定义的可微曲面,难以解决具有局部极小点的复杂的欺骗性的问题。

对于神经网络来说,GAs所处理的每个个体是单独一个网络,所涉及的参数即网络结点之间的连接权值均为实数,而标准遗传算法所处理的参数是采用二进制编码的整数。虽然可以采用二进制编码再转化为实数,但这样引入了量化误差,使参数变化

为步进,如目标函数值在最优点附近变化较快的情况下,则可能错过最优点。因此,网络的权值应采用实数表示。然而,神经网络的结构参数一般是整数型的,也就是说,ANN的参数有连续型的,也有离散型的,ANN的学习问题是一非线性混合优化问题,从这一点讲,用一般的优化方法也是不行的,GAs可以方便地表示逻辑值和实数值,且GAs并未规定一定要用数来表示,GAs也可以应用于不好量化的对象,这使GAs 在ANN的学习及人工智能的其他领域得到了广泛的应用。

3.2面向神经网络权值学习的遗传算法

1 编码方式:神经网络的权值学习是一个复杂的连续参数优化问题,如果采用二进制编码,会造成编码串过长,且需要再解码为实数,使权值变化为步进,影响网络学习精度。这里我们采用了实数编码,如图2所示,神经网络的各个权值按一定的顺序级联为一个长串,串上的每一个位置对应着网络的一个权值。

编码为:(0.4,-0.3,2.1,1.3,0.9,-0.6,4.5,-0.1,0.7

图2神经网络权值学习问题的编码方式

2 评价函数f:将染色体上表示的各权值分配到给定的网络结构中,网络以训练集样本为输入输出,运行后返回误差平方和的倒数作为染色体的评价函数,如式1所示。

(1

3 初始化过程:初始染色体集中,网络的各权值是以概率分布e-|γ|

来随机确定

的,这点有别于BP算法。在BP算法中,初始权值一般取-1.0~1.0之间均匀分布的随机数。遗传算法的这种随机分布的取法是通过以往的大量实验得出的,可以发现,当网络收敛后,权值的绝对值一般都较小,但也有一些权值是较大的。采用以上初始化方法的原因是使遗传算法能够搜索所有可行解的范围。

4 遗传算子:对于不同的应用问题,遗传算子的形式多种多样,这里采用了权值交叉和权值变异算子,如图3所示。

图3交叉和变异算子的运算

权值交叉算子:对于子代染色体中的每个权值输入位置,交叉算子从两个亲代染

色体中随机选取若干个交叉位置,并将这一代染色体在交叉位置进行交叉运算,这样

子代染色体便含有两个亲代的遗传基因。

权值变异算子:对于子代染色体中的每个权值输入位置,变异算子以概率P m在初

始概率分布中随机选择一个值,然后与该输入位置上的权值相加。

5 选择方式:这里不采用比例选择方式,而使用亲代度量S决定群体中每个个体

被选中的概率,群体中的个体以式2所示的概率成为亲代染色体。

(2

其中P1, P2, P3,…分别表示评价函数最优、次优、第三…的个体的概率。

使用实数编码和使用二进制编码之间的主要区别:

1 每个权重都由单一的实数值表示,因而,重组只能发生在各权值之间。

2 变异操作是将一个随机值加到现存的权值上,而不是取代它。

3 通常使用较小的群体。

4 变异操作的使用率较高,因为交叉不能改变每个权值。

5 不需要二进制和实数之间的转换。

3.3一种改进的算法(MGA

在改进的算法(MGA中,我们采用了两种技术来改善3.2中遗传算法的运行性能。

1 采用自适应交叉率和变异率

交叉率P c和变异率P m的大小对遗传算法的运行性能有较大的影响,较理想的情况下,s与P m的取值应在算法运行过程中随着适应值的变化而自适应改变。我们用适应

值来衡量算法的收敛状况,对于适应值高的解,取较低的P c和P m,使该解进入下一代

的机会增大;而对于适应值低的解,则应取较高的P c和P m,使该解被淘汰掉;当成熟

前收敛发生时,应加大P c和P m,加快新个体的产生。式(3是P c和P m随着适应值的变化而自适应改变的计算公式。

(3

其中k c, k m是小于1的常数,f c是要交叉的两个个体中适应值大的一个,f m是要变异的个体的适应值,f max, 分别是群体的最大适应值和平均适应值,f max-体现了群体的收敛程度,若此值小,说明群体已趋向收敛,应加大P c和P m。

2 采用GA与BP的混合技术

前述的不采用加速收敛技术的GAs对于全局搜索有较强的鲁棒性和较高的效率,但不适合候选解的精调,难以确定它们的确切位置。组合GA与BP的目的是避免它们各自存在的问题,综合它们各自的优点,即GA的全局收敛性和BP局部搜索的快速性,使它们更加有效地应用于神经网络的学习中。GA与BP可以有不同的组合方法。这里,我们先使用GA反复优化神经网络的权值,直到平均值不再有意义地增加为止,此时解码得到的参数组合已经充分接近最佳参数组合,在此基础上再用BP算法对它们进行细调,这种方法的通用性较好。

4三种算法在短期地震预报中的应用

我们将误差反传算法(BP和3.2中所研究的实数编码遗传算法(GA,3.3中的改进型(MGA三种算法应用于神经网络短期地震预报中,并给出了三种方法的结果比较。地震预测问题的输入空间是一多维空间,选取网络的输入变量时如果输入变量过少,可能引起建模不充分,过多的输入变量则会增加模型输入输出关系的复杂度,并延长网络的收敛时间。本方案中,我们选用前一年的最大震级、最大震级之差、累计能量及累计能量之差为网络的输入,网络的输出是下一年的震级。我们将某地区过去八十年的地震数据处理后,从中取出50个样本组成建模集[6]。

网络选用三层BP网络,隐层节点数为30,这个4-30-1网络共有150个可调权值。各层的激发函数均为Sigmoid型函数,这种函数的输出在0~1之间变化,且只有当输出为-∞和+∞,输出才达到0和1,比较合适的范围是0.1~0.9,网络的输出也应尽量使Sigmoid型函数工作于非饱和区,因此,首先要对样本进行规整,以符合上述要求。BP算法中,学习率η=0.7;惯性系数α=0.2。

实数GA中,群体容量n=40,交叉率P c=0.12, 变异率P m=0.1,亲代度量

S=0.9, 各参数在算法运行过程中保持不变。

MGA中,常量k c=0.1, k m=0.11。

三种算法的运行结果如图4所示。

图4三种方法的运算结果比较

在实验过程中,各个参数的取值如下:

实验结果显示了遗传算法快速学习网络权重的能力,并且能够摆脱局部极小点的困扰。组合GA与BP可以改善单纯使用GA确定的参数组合比较粗糙以及单纯使用BP收敛性差、易陷入局部极小等问题。

国家自然科学基金资助项目(79400013,69574022

天津市自然科学资助项目(F09523

作者单位:天津大学系统工程研究所,天津 300072

参考文献

1Bornholdt A.General Asymmetric Neural Networks and Structure Design by Genetic Algorithms. Neural Networks, 1992,5(2:327~334

2David J J, Frenzel J F. Trainning Product Unit Neural Networks with Genetic Algorithms. IEEE Expert, 1993,8(5:26~33

3Schaffer J D, Whitley D (ed.. Proceedings of the Workshop on Combinations of Genetic Algorithms and Neural Networks 1992, Los Alamitos, CA: The IEEE Computer Society Press, 1992

4李敏强,寇纪淞,纪仕光.基于网络描述的系统模型及其管理系统.复杂巨系统理论*方法*应用.北京:科学技术文献出版社,1994

5刘豹.模糊工程.决策与决策支持系统,1995,5(3:1~5

西文于1997年7月16日收到

遗传算法与神经网络的结合

作者:李敏强, 徐博艺, 寇纪淞, Li Minqiang, Xu Boyi, Kou Jisong

作者单位:天津大学系统工程研究所,天津,300072

刊名:

系统工程理论与实践

英文刊名:SYSTEMS ENGINEERING--THEORY & PRACTICE

年,卷(期:1999,19(2

被引用次数:161次

参考文献(5条

1.刘豹模糊工程 1995(03

2.李敏强;寇纪淞;纪仕光基于网络描述的系统模型及其管理系统 1994

3.Schaffer J D;Whitley D Proceedings of the Workshop on Combinations of Genetic Algorithms and Neural Networks 1992 1992

4.David J J;Frenzel J F Trainning Product Unit Neural Networks with Genetic Algorithms 1993(05

5.Bornholdt A General Asymmetric Neural Networks and Structure Design by Genetic Algorithms[外文期刊] 1992(02

引证文献(162条

1.白鹏.宋孝玉.王娟.史文娟.王全九遗传算法优化神经网络的坡面入渗产流模型[期刊论文]-干旱地区农业研究 2011(2

2.赵金彪.罗建英.何冬燕基于遗传神经网络的乡镇降水量预报方法试验[期刊论文]-气象研究与应用 2011(1

3.肖治平.吴文全.曾洋遗传BP网络在机载雷达故障诊断中的应用研究[期刊论文]-计算机测量与控制 2011(1

4.林贵瑜.李强起重机结构优化设计中仿生算法的研究[期刊论文]-建筑机械化2010(2

5.黄涛.杨华高.胡水才遗传算法在相关匹配中的应用研究[期刊论文]-舰船电子工程 2010(3

6.傅群忠.薛晓中H_∞滤波混合优化RBF在SINS动基座传递对准中的应用[期刊论文]-火力与指挥控制 2010(1

7.陈全秋.郭勇义.吴世跃.徐玉胜.王灿召遗传算法与神经网络的结合在煤与瓦斯突出危险性预测中的应用研究[期刊论文]-中国煤炭2010(3

8.李孝忠.张有伟改进自适应遗传算法在BP神经网络学习中的应用[期刊论文]-天津科技大学学报 2010(4

9.赵永满.梅卫江.王春林基于IGA-BP神经网络滚动轴承故障的诊断[期刊论文]-石河子大学学报(自然科学版 2010(3

10.宋绍云.白金荣人工神经网络中的样本对输出精度影响分析[期刊论文]-价值工程 2010(7

11.师黎.朱民杰基于遗传算法优化BP神经网络在心电图身份识别中的应用[期刊论文]-中国组织工程研究与临床康复 2010(43

12.高延娜.朱道林.陈瑜琦.张晓峰基于遗传神经网络的农村土地征收价格评估模型[期刊论文]-系统工程理论与实践 2009(4

13.孙知信.夏云安基于混合蚂蚁算法的QoS多播路由算法研究[期刊论文]-通信学报 2009(6

14.夏长高.陈松.贺建军.金永利电动液压助力转向系统的控制算法研究[期刊论文]-拖拉机与农用运输车 2009(3

15.王波.刘慧卿.张红玲.于会永.陈红重复压裂选井选层分析方法[期刊论文]-内蒙古石油化工 2009(1

16.张山.何建农BP神经网络的优化算法研究[期刊论文]-计算机与现代化

2009(1

17.熊小龙.王洁.牛天林.宋彦学复杂系统故障的综合诊断模型[期刊论文]-电光与控制 2009(2

18.李全亮遗传算法与蚂蚁算法的融合在带时间窗的车辆路径问题中的应用[期刊论文]-数学的实践与认识 2008(15

19.李伟超.李志刚.杨旭海遗传算法在人工神经网络中的应用[期刊论文]-电子测量与仪器学报 2008(z1

20.JIAO Libao.彭龑.CHEN Chunlan基于GA-BP神经网络的人脸检测[期刊论文]-现代电子技术 2008(16

21.牛向阳.高成修基于混合编码的混合遗传算法[期刊论文]-数学杂志 2008(4

22.赵亚鹏.丁以中客户信用评估模型[期刊论文]-上海海事大学学报 2008(2

23.徐娟.谭长森一种改进的代表个体选择方法的设计[期刊论文]-工矿自动化2008(4

24.徐元铭.陈丽华.彭兴林进化神经网络响应面法在结构可靠性中应用[期刊论文]-飞机设计 2008(5

25.王爽.段红.黄友锐基于改进的活动轮廓模型在图像分割中的应用[期刊论文]-微计算机信息 2008(1

26.陈一超.曾三友.张好春.全芙蓉基于遗传神经网络的地震预测研究[期刊论文]-计算机应用与软件 2008(4

28.路建伟.张宏.靳奉阁地面防空作战中敌空袭规模预测模型[期刊论文]-火力与指挥控制 2008(1

29.陈娟.齐建文基于神经网络的干扰波形优化研究[期刊论文]-微计算机信息2007(34

30.尹克奇.徐小力.吴国新.王为真一种遗传神经网络在烟气机组故障诊断中应用[期刊论文]-微计算机信息 2007(25

31.孙杰.戴月.王爱强基于遗传神经网络的入侵检测系统设计[期刊论文]-微计算机信息 2007(21

32.周国亮.刘希玉一种基于进化算法的BP神经网络优化方法及应用[期刊论文]-计算机技术与发展 2007(8

33.范艳峰.张德贤.何华灿.张红梅遗传算法在烘焙面包品质分类中的研究与应用[期刊论文]-计算机工程与设计 2007(23

34.陈光华人工神经网络在证券价格预测中的应用[期刊论文]-计算机仿真2007(10

35.杨宏韬.张德江.李秀兰.王秀英遗传神经网络能耗预测模型在钢铁企业中的应用[期刊论文]-长春工业大学学报(自然科学版

2007(z1

36.姚才.金龙.黄明策.黄小燕遗传算法与神经网络相结合的热带气旋强度预报方法试验[期刊论文]-海洋学报(中文版 2007(4

37.郜瑜单亲遗传算法进行树状管网优化[期刊论文]-山西科技 2007(3

38.郭红梅遗传算法在BP神经网络学习中的应用[期刊论文]-辽宁大学学报(自然科学版 2007(2

39.甘健胜.陈国龙空间线性组合模拟模型及其实证[期刊论文]-福州大学学报(自然科学版 2007(3

40.牛向阳基于遗传算法的同步优化算法[期刊论文]-应用数学与计算数学学报2007(1

41.张永兵.吴永丽基于人工神经网络的自适应疾病诊断模型研究[期刊论文]-医疗设备信息 2007(2

42.牛向阳基于遗传算法和BP算法的混合算法[期刊论文]-河南科技大学学报(自然科学版 2007(1

43.路建伟.唐松洁.胡建辉.刘己斌基于GA-BP的敌空袭兵力出动量预测[期刊论文]-电光与控制 2007(1

44.李洪全粒子群算法的改进及应用研究[学位论文]硕士 2007

45.李华川空气轴承式板形仪检测辊环结构参数智能优化设计[学位论文]硕士2007

46.王有远.徐新卫.周日贵基于蚂蚁算法的协同产品设计链合作伙伴选择研究[期刊论文]-现代图书情报技术 2006(11

47.谈晶.李赤林基于遗传BP网络优化模型的集成化供应链危机预警支持系统[期刊论文]-商场现代化 2006(30

48.姜新农.王文香一种基于多物种协同进化的神经网络优化方法[期刊论文]-计算机工程与应用 2006(15

49.荣晓敏.徐元铭.吴德财复合材料格栅结构优化设计中的计算智能技术[期刊论文]-北京航空航天大学学报 2006(8

50.文俊.李靖.王龙.郑垂勇基于遗传神经算法的区域水资源预警方法研究[期刊论文]-生态经济 2006(7

51.赵益军基于遗传算法与神经网络相结合的区域水资源承载力综合评价[期刊论文]-山东大学学报(工学版 2006(4

52.ZHU Yan.LU Yingrong.LI Qian MW-OBS: An Improved Pruning Method for Topology Design of Neural Networks[期刊论文]-清华大学学报(英文版 2006(3

53.蒋云霞.蔡嗣经神经网络与遗传算法结合在矿业评价中的应用[期刊论文]-辽宁工程技术大学学报 2006(5

54.代志龙.张小平.胡润芝基于遗传算法与人工神经网络相结合的固体推进剂燃速计算[期刊论文]-计算机与应用化学 2006(7

55.王宪全.陈李刚基于遗传算法和BP神经网络的信用风险测量模型[期刊论文]-哈尔滨工业大学学报(社会科学版 2006(5

56.荣晓敏.徐元铭.吴德财进化神经网络在复合材料格栅结构设计中的应用[期刊论文]-固体火箭技术 2006(4

57.李彬.毛一之.李新改进蚂蚁算法在电力变压器优化设计中的应用[期刊论文]-变压器 2006(3

58.韩锟.潘迪夫基于混合算法的机车二系弹簧载荷调整优化方法[期刊论文]-中国铁道科学 2006(2

59.刘建娟.徐晓苏.刘锡祥遗传优化小波神经网络在组合导航系统中的应用[期刊论文]-中国惯性技术学报 2006(2

60.李伟超.宋大猛.陈斌基于遗传算法的人工神经网络[期刊论文]-计算机工程与设计 2006(2

61.卢长娜.王如云.陈耀登自适应遗传算法[期刊论文]-计算机仿真 2006(1

62.翁国栋蚁群算法与遗传算法对TSP的一种融合[期刊论文]-福建电脑 2006(2

63.王琪.张伟城市环境质量定量评价方法[期刊论文]-环境科学与管理 2006(2

64.蔡钦基于GAAA算法的给水管网优化设计研究[学位论文]硕士 2006

65.蒋云霞基于GIS的区域矿业经济研究及在青海省的应用[学位论文]博士2006

66.邢五丰基于归纳学习的结构损伤识别方法研究[学位论文]硕士 2006

67.于同洋基于BP神经网络的营销风险评估研究[学位论文]硕士 2006

68.闫滨大坝安全监控及评价的智能神经网络模型研究[学位论文]博士 2006

69.陈明智能故障诊断方法的若干研究[学位论文]硕士 2006

70.李斌同步优化方法应用于个人信用评估的理论及实证研究[学位论文]硕士2006

71.聂建林数控刀具寿命智能化管理系统的研究[学位论文]硕士 2006

72.陈斌基于遗传优化神经网络的一般投资回报率预测[学位论文]硕士 2006

73.商建东基于产品功能特征模型的方案智能设计关键技术及应用研究[期刊论文]-中国机械工程 2005(10

74.屈建伟.李腊元一种混合蚂蚁算法及其在QoS多播路由中的应用[期刊论文]-武汉理工大学学报(交通科学与工程版 2005(6

75.张锋.卿粼波.王旭阳.滕奇志.何小海基于遗传算法和蚂蚁算法的图象分割[期刊论文]-四川大学学报(自然科学版 2005(4

76.蔡自兴.孙国荣.李枚毅基于改进遗传算法的多示例神经网络优化[期刊论文]-计算机应用 2005(10

77.商建东基于GA的仪表新产品功能结构方案推理机模型关键技术研究[期刊论文]-计算机研究与发展 2005(9

78.金龙.吴建生.林开平.陈冰廉基于遗传算法的神经网络短期气候预测模型[期刊论文]-高原气象 2005(6

79.吴建生.金龙.农吉夫遗传算法BP神经网络的预报研究和应用[期刊论文]-数学的实践与认识 2005(1

80.覃方君.田蔚风.李安.卞鸿巍基于遗传算法的神经网络控制器在导航系统中的应用[期刊论文]-计算机仿真 2005(1

81.史永胜.宋云雪用遗传算法改进的BP模型在刹车系统诊断中的应用研究[期刊论文]-飞机设计 2005(1

82.杨杰基于数据挖掘技术的储层参数建模[学位论文]硕士 2005

83.李俊泉基于人工心理动力脑的智能控制器的研究与应用[学位论文]硕士2005

84.刘雨青桥梁结构模态参数识别与应用研究[学位论文]博士 2005

85.沈显峰多组元金属粉末直接激光烧结过程数值模拟及烧结区域预测[学位论文]博士 2005

86.彭沛夫遗传融合的自适应蚁群算法最优PID控制研究[学位论文]硕士 2005

87.吴建发优选压裂井方法研究[学位论文]博士 2005

88.张中英基于遗传算法的机器人神经网络控制系统[学位论文]硕士 2005

89.曹俊琴一种基于思维进化算法的神经网络求解机器人逆运动学问题[学位论文]硕士 2005

90.镇方雄基于改进遗传算法的多层神经网络BP算法研究[学位论文]硕士 2005

91.姜尔超聚合物分子量分布的多变量动态系统模型的建立与控制[学位论文]硕士 2005

92.屈建伟QoS多播路由算法及仿真研究[学位论文]硕士 2005

93.安世奇简单自适应控制的应用研究[学位论文]博士 2005

94.张凤娟气液两相流流型辨识研究及在轴承腔中的仿真实现[学位论文]硕士2005

95.仝凌云遗传算法在供应链建模与优化中的应用研究[学位论文]博士 2005

96.苏小红基于人工神经网络的燃气短期负荷预测研究[学位论文]硕士 2005

97.史雅楠基于模态参数敏感性的建筑结构损伤识别[学位论文]硕士 2005

98.刘国燕.徐晓苏.白宇骏递阶遗传-H∞滤波混合优化的前向神经网络在捷联惯导对准中的应用[期刊论文]-中国惯性技术学报 2004(1

99.马祥森.史治宇基于GA-BP神经网络的结构损伤位置识别[期刊论文]-振动工程学报 2004(4

100.叶家军.刘沐宇.黄文雄混合GANN模型在路面状况指数预测中的应用[期刊论文]-武汉理工大学学报 2004(12

101.王勇.马立新.徐建平.王雨一个基于免疫算法的入侵检测语言模型[期刊论文]-上海电力学院学报 2004(4

102.杨鹏.代冀阳.赵文龙基于遗传算法的参数优化在控制器设计中的应用[期刊论文]-南昌航空工业学院学报(自然科学版 2004(4 103.宋斌.王军.张培海.于萍.罗远柏模糊遗传算法的神经网络方法在变压器故障诊断中的研究[期刊论文]-华中电力2004(6

104.孙晓燕.巩敦卫基于递阶遗传算法的BP网络结构设计与权值训练[期刊论文]-自动化技术与应用 2004(5

105.付道明.孙军.贺志刚.岑广远.喻西崇预测腐蚀管道剩余强度的新方法[期刊论文]-油气储运 2004(4

106.姚文俊基于遗传算法的故障诊断的研究[期刊论文]-微计算机应用 2004(3

107.刘沐宇.黄文雄.叶家军京珠高速公路路面使用性能的混合GANN评价[期刊论文]-武汉理工大学学报(交通科学与工程版 2004(1

108.姚文俊基于遗传算法的BP网络优化研究[期刊论文]-武汉化工学院学报2004(3 109.王勇.徐建平.李志斌.刘建华一个基于遗传算法的入侵检测模型[期刊论文]-上海电力学院学报 2004(3 110.南国芳电阻抗断层成像的神经网络模型[期刊论文]-模式识别与人工智能 2004(1 111.陈海英.郭巧.徐力基于混合遗传神经网络的百米跑成绩预测方法[期刊论文]-计算机仿真 2004(2 112.谢春娣.梅家斌基于混合编码的同步优化策略[期刊论文]-纺织高校基础科学学报 2004(1 113.黄贤锋.陈卫.谭营雷达信号识别的GANN方法[期刊论文]-电子对抗技术 2004(1 114.张艳基于BP算法和遗传算法的自适应噪声抵消器[学位论文]硕士 2004 115.赵胜利基于计算智能方法的岩土工程与工程网络计划的应用研究[学位论文]博士 2004 116.熊军遗传算法的若干改进研究与应用[学位论文]博士 2004 117.田雨波计算智能的电磁应用[学位论文]博士 2004 118.隋伟莹反倾销产业损害模糊综合评判模型——模糊聚类和模糊神经网络方法的应用[学位论文]硕士 2004 119.刘志华冷连轧动态变规格原理及轧制力预设定的研究[学位论文]硕士 2004 120.刘守生遗传算法与小波神经网络中若干问题的研究[学位论文]博士 2004 121.刘国燕 SINS/GPS组合导航系统中智能信息处理融合技术的应用与研究[学位论文]博士 2004 122.廖林峡嵌入式智能节点的设

遗传算法在BP神经网络优化中的应用.

遗传算法在 BP 神经网络优化中的应用 2O世纪80年代后期，多机器人协作成为一种新的机器人应用形式日益引起国内外学术界的兴趣与关注。一方面，由于任务的复杂性，在单机器人难以完成任务时，人们希望通过多机器人之间的协调与合作来完成。另一方面，人们也希望通过多机器人间的协调与合作，来提高机器人系统在作业过程中的效率。1943年，Maeullocu和 Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展、停滞、再发展的过程，时至今日正走向成熟，在广泛领域里得到了应用，其中将人工神经网络技术应用到多机器人协作成为新的研究领域。本文研究通过人工神经网络控制多机器人完成协作搬运的任务-3 J，并应用遗传算法来对神经网络进行优化。仿真结果表明，经过遗传算法优化后的搬运工作效率显著提高，误差降低。 1 人工神经网络 ANN)的基本原理和结构 人工神经网络(Artiifcial Neural Network，ANN)) 是抽象、简化与模拟大脑神经结构的计算模型，又称并行分布处理模型 J。ANN 由大量功能简单且具有自适应能力的信息处理单元——人工神经元按照大规模并行的方式通过一定的拓扑结构连接而成。ANN拓扑结构很多，其中采用反向传播(Back-Propa- gation，BP)算法的前馈型神经网络(如下图1所示)，即BP人工神经网络，是人工神经网络中最常用、最成熟的神经网络之一。 BP网络模型处理信息的基本原理是：输入信号x；通过中间节点(隐层点 )作用于出节点，经过非线形变换，产生输出信Yk，网络训练的每个样本包括输入向量 x和期望输出量 T，网络输出值Y与期望输出值T之间的偏差，通过调整输入节点与隐层节点的联接强度取值w；；和隐层节点与输出节点之间的联接强度Y以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数 (权值和阈值)，训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息，自行处理输出误差最小的经过非线形转换的信息。

基于遗传算法的BP神经网络MATLAB代码

用遗传算法优化BP神经网络的Matlab编程实例（转） 由于BP网络的权值优化是一个无约束优化问题，而且权值要采用实数编码，所以直接利用Matlab遗传算法工具箱。以下贴出的代码是为一个19输入变量，1个输出变量情况下的非线性回归而设计的，如果要应用于其它情况，只需改动编解码函数即可。 程序一：GA训练BP权值的主函数 function net=GABPNET(XX,YY) %-------------------------------------------------------------------------- % GABPNET.m % 使用遗传算法对BP网络权值阈值进行优化，再用BP算法训练网络 %-------------------------------------------------------------------------- %数据归一化预处理 nntwarn off XX=[1:19;2:20;3:21;4:22]'; YY=[1:4]; XX=premnmx(XX); YY=premnmx(YY); YY %创建网络 net=newff(minmax(XX),[19,25,1],{'tansig','tansig','purelin'},'tra inlm'); %下面使用遗传算法对网络进行优化 P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 aa=ones(S,1)*[-1,1]; popu=50;%种群规模 save data2 XX YY % 是将 xx,yy 二个变数的数值存入 data2 这个MAT-file，initPpp=initializega(popu,aa,'gabpEval');%初始化种群 gen=100;%遗传代数

遗传算法与神经网络的结合.

系统工程理论与实践 Systems Engineering——Theory & Practice 1999年第2期第19卷 vol.19 No.2 1999 遗传算法与神经网络的结合 李敏强徐博艺寇纪淞 摘要阐明了遗传算法和神经网络结合的必要性和可行性,提出用多层前馈神经网络作为遗传搜索的问题表示方式的思想。用遗传算法和神经网络结合的方法求解了短期地震预报问题,设计了用遗传算法训练神经网络权重的新方法,实验结果显示了遗传算法快速学习网络权重的能力,并且能够摆脱局部极点的困扰。 关键词遗传算法进化计算神经网络 On the Combination of Genetic Algorithms and Neural Networks Li Minqiang Xu Boyi Kou Jisong (Institute of Systems Engineering, Tianjin University, Tianjin 300072 Abstract In this paper, we demonstrate the necessity and possibility of combining neural network (NN with GAs. The notion of using multilayered feed forward NN as the representation method of genetic and the searching technique is introduced. We combine GA and NN for solving short term earthquake forecasting problem, design a novel method of using GAs to train connection weights of NN.The empirical test indicates the capability of the new method in fast learning of NN and escaping local optima. Keywords genetic algorithms; evolutionary computation; neural networks

神经网络的应用及其发展

神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。

遗传算法优化BP神经网络的实现代码-共6页

%读取数据 data=xlsread('data.xls'); %训练预测数据 data_train=data(1:113,:); data_test=data(118:123,:); input_train=data_train(:,1:9)'; output_train=data_train(:,10)'; input_test=data_test(:,1:9)'; output_test=data_test(:,10)'; %数据归一化 [inputn,mininput,maxinput,outputn,minoutput,maxoutput]=premnmx(input_tr ain,output_train); %对p和t进行字标准化预处理 net=newff(minmax(inputn),[10,1],{'tansig','purelin'},'trainlm'); net.trainParam.epochs=100; net.trainParam.lr=0.1; net.trainParam.goal=0.00001; %net.trainParam.show=NaN %网络训练 net=train(net,inputn,outputn); %数据归一化 inputn_test = tramnmx(input_test,mininput,maxinput); an=sim(net,inputn); test_simu=postmnmx(an,minoutput,maxoutput); error=test_simu-output_train; plot(error) k=error./output_train

介绍遗传算法神经网络

课程设计作业——翻译 课题：介绍遗传算法神经网络 穆姣姣 0808490233 物流08-班

介绍遗传算法神经网络 理查德·坎普 1. 介绍 一旦一个神经网络模型被创造出来，它常常是可取的。利用这个模型的时候,识别套输入变量导致一个期望输出值。大量的变量和非线性性质的许多材料模型可以使找到一个最优组输入变量变得困难。 在这里,我们可以用遗传算法并试图解决这个问题。 遗传算法是什么?遗传算法是基于搜索algo-rithms力学的自然选择和遗传观察到生物的世界。他们使用两个方向(\适者生存”),在这种条件下,探索一个强劲的功能。重要的是,采用遗传算法,这不是必需要知道功能的形式,就其输出给定的输入(图1)。 健壮性我们这么说是什么意思呢?健壮性是效率和效能之间的平衡所使用的技术在许多不同的环境中。帮助解释这个问题,我们可以比其他搜索和优化技术,如calculus-based,列举,与随机的求索。 方法Calculus-based假设一个光滑,无约束函数和要么找到点在衍生为零(知易行难)或者接受一个方向梯度与当地日当地一所高中点(爬山)。研究了这些技术已经被重点研究、扩展、修改，但展现自己缺乏的鲁棒性是很简单的。 考虑如图2所示的功能。利用Calculus-based在这里发现极值是很容易的(假定派生的函数可以发现…!)。然而,一个更复杂的功能(图3)显示该方法是当地——如果搜索算法,在该地区的一个开始,它就会错过低高峰目标,最高的山峰。 图1 使用网络神经算法没必要知道它的每一项具体功能。 一旦一个局部极大时,进一步改进需要一个随机的重启或类似的东西。同时,假设一个函数光滑,可导,并明确知道很少尊重现实。许多真实世界充满了间断模型和设置在嘈杂的多通道搜索空间(图4)。 虽然calculus-based方法在某些环境中至非常有效的，但内在的假

基于遗传算法的BP神经网络的应用

基于遗传算法的BP神经网络的应用 ----非线性函数拟合 摘要人工神经网络在诸多领域得到应用如信息工程、自动控制、电子技术、目标识别、数学建模、图像处理等领域，并且随着神经网络算啊发的不断改进以及其他新算法的结合，使其应用的领域越来越广。BP神经网络是目前神经网络领域研究最多应用最广的网络，但BP神经网络学习算法易陷入局部极小的缺陷，本文采用遗传算法来优化BP神经网络的性能。首先采用遗传算法来优化BP神经网络的权值和阈值，然后将这些优化值赋给网络得到优化的BP神经网络，最后用MATLAB仿真平台，对非线性函数的逼近拟合和极值寻优问题进行实验。数值仿真结果表明：经遗传算法优化的BP神经网络能有效地避免原始BP神经网络容易出现的局部极小的缺陷，且具有收敛速度快和精度高等优点。 关键词：BP神经网络遗传算法 MATLAB 结构优化 Abstract— In recent years, artificial neural network gradually attention has been paid into the hot area of research in many fields have been involved in electronic applications such as other fields have a wide range of applications, and also continued to expand its applications. To alleviate the shortcoming of easily sinking into the local minimum existing in the BP neural network, the paper exploits the genetic algorithm to optimize the BP neural network. First of all, the genetic algorithm is utilized to optimize the weight values as well as the threshold values of the BP neural network. Subsequently, by using the optimized weight values and threshold values, we are able to get the improved BP neural network. Furthermore, we employ the simulation data to measure the performance of the improved BP neural network. The numerical results indicate that the optimized BP neural network can effectively overcome the local minimum of the original BP neural network and outperform the original BP neural network in the aspects of convergence speed and

遗传算法优化的BP神经网络建模[精选.]

遗传算法优化的BP神经网络建模 十一月匆匆过去，每天依然在忙碌着与文档相关的东西，在寒假前一个多月里，努力做好手头上的事的前提下多学习专业知识，依然是坚持学习与素质提高并重，依然是坚持锻炼身体，为明年找工作打下基础。 遗传算法优化的BP神经网络建模借鉴别人的程序做出的仿真，最近才有时间整理。 目标： 对y=x1^2+x2^2非线性系统进行建模，用1500组数据对网络进行构建网络，500组数据测试网络。由于BP神经网络初始神经元之间的权值和阈值一般随机选择，因此容易陷入局部最小值。本方法使用遗传算法优化初始神经元之间的权值和阈值，并对比使用遗传算法前后的效果。 步骤： 未经遗传算法优化的BP神经网络建模 1、随机生成2000组两维随机数(x1,x2)，并计算对应的输出y=x1^2+x2^2，前1500组数据作为训练数据input_train，后500组数据作为测试数据input_test。并将数据存储在data中待遗传算法中使用相同的数据。 2、数据预处理：归一化处理。 3、构建BP神经网络的隐层数，次数，步长，目标。 4、使用训练数据input_train训练BP神经网络net。 5、用测试数据input_test测试神经网络，并将预测的数据反归一化处理。 6、分析预测数据与期望数据之间的误差。 遗传算法优化的BP神经网络建模 1、读取前面步骤中保存的数据data； 2、对数据进行归一化处理； 3、设置隐层数目； 4、初始化进化次数，种群规模，交叉概率，变异概率 5、对种群进行实数编码，并将预测数据与期望数据之间的误差作为适应度函数； 6、循环进行选择、交叉、变异、计算适应度操作，直到达到进化次数，得到最优的初始权值和阈值； 7、将得到最佳初始权值和阈值来构建BP神经网络； 8、使用训练数据input_train训练BP神经网络net; 9、用测试数据input_test测试神经网络，并将预测的数据反归一化处理； 10、分析预测数据与期望数据之间的误差。 算法流程图如下：

神经网络与遗传算法

5.4 神经网络与遗传算法简介 在本节中，我们将着重讲述一些在网络设计、优化、性能分析、通信路由优化、选择、神经网络控制优化中有重要应用的常用的算法，包括神经网络算法、遗传算法、模拟退火算法等方法。用这些算法可以较容易地解决一些很复杂的，常规算法很难解决的问题。这些算法都有着很深的理论背景，本节不准备详细地讨论这些算法的理论，只对算法的原理和方法作简要的讨论。 5.4.1 神经网络 1. 神经网络的简单原理 人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。所以说, 人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作出状态相应而进行信息处理。它是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。 2. 神经元和神经网络的结构 如上所述，神经网络的基本结构如图5.35所示： 隐层隐层2 1 图5.35 神经网络一般都有多层，分为输入层，输出层和隐含层，层数越多，计算结果越精确，但所需的时间也就越长，所以实际应用中要根据要求设计网络层数。神经网络中每一个节点叫做一个人工神经元，他对应于人脑中的神经元。人脑神经元由细胞体、树突和轴突三部分组成，是一种根须状蔓延物。神经元的中心有一闭点，称为细胞体，它能对接受到的信息进行处理，细胞体周围的纤维有两类，轴突是较长的神经纤维，是发出信息的。树突的神经纤维较短，而分支众多，是接收信息的。一个神经元的轴突末端与另一神经元的树突之间密

遗传算法优化BP神经网络权值和阈值(完整版)

https://www.sodocs.net/doc/b38062770.html,/viewthread.php?tid= 50653&extra=&highlight=%E9%81%97%E4%BC%A0%E7% AE%97%E6%B3%95&page=1 Matlab遗传算法优化神经网络的例子（已调试成功）最近论坛里问到用遗传算法优化神经网络问题的人很多，而且论坛里有很多这方面的代码。但可惜的是所有代码都或多或少有些错误！最郁闷的莫过于只有发帖寻求问题答案的探索者，却很少有对问题进行解答的victor。本人在论坛里看到不少会员对能运行成功的遗传算法优化神经网络例子的需求是多么急切，我也深有感触！现把调试成功的一个例子贴出来，供大家参考！（本例子是基于一篇硕士论文里的代码为蓝本改 编的，此处就不再注明作者了。）遗传算法优化bp.rar (3.34 KB) 注：该代码是由会员“书童”耗费了一整天的时间调试成功的，在此再次对我们的“书童”同学乐于助人的高尚品德致敬，并对其深表感谢！PS:参考会员“ilovexyq”意见，先对其做以补充。该网络为遗传算法 优化bp的一个典型例子，输入为7，输出为7，隐层为25。该网络输入输出数据就是为了说明问题而随便加的，没有实际意义。如用于自己的实际问题，把数据替换并根据需要改一下网络结构就行了。

PS:如有问题，请先阅读此贴： https://www.sodocs.net/doc/b38062770.html,/thread-52587-1-1.html### [本帖最后由 yuthreestone 于 2009-10-15 10:52 编辑] 搜索更多相关主题的帖子: 调试例子算法Matlab神经网络 https://www.sodocs.net/doc/b38062770.html,/thread-52587-1-1.html 遗传算法优化BP神经网络权值和阈值（完整版） 会员renjia前一段时间分享的程序，地址如下： https://www.sodocs.net/doc/b38062770.html,/viewthread.php?tid=50653&extra=&highlight=% E9%81%97%E4%BC%A0%E7%AE%97%E6%B3%95&page=1： （1）renjia提供的程序存在一些小错误，主要是设计的bp网络是两个隐含层，但编码的时候只有一个隐含层。修改后的程序将bp改成了单隐层以确保一致；（2）很多会员不知道该如何运行程序，各个m文件之间的关系弄不清楚。修改后的程序共包含三个m文件： 其中，主程序为ga_bp.m，适应度函数为gabpEval.m，编解码子函数为gadecod.m 注意：使用前需安装gaot工具箱（见附件），上述三个文件需放在同一文件夹中且将该文件夹设置为当前工作路径。 运行程序时只需运行主程序ga_bp.m即可。 （3）此程序仅为示例，针对其他的问题，只需将数据修改即可，但需注意变量名保持一致，尤其是全局变量修改时（在gadecod.m和gabpEval.m中也要修改）（4）gaot工具箱如何安装？ 点击file选择set path，在弹出的对话框中选择add folder,将gaot文件夹添加进去，然后点击save保存即可。

神经网络和遗传算法中英文对照外文翻译文献

中英文对照外文翻译 (文档含英文原文和中文翻译) 基于神经网络和遗传算法的模糊系统的自动设计摘要 本文介绍了基于神经网络和遗传算法的模糊系统的设计，其目的在于缩短开发时间并提高该系统的性能。介绍一种利用神经网络来描绘的多维非线性隶属函数和调整隶属函数参数的方法。还提及了基于遗传算法的集成并自动化三个模糊系统的设计平台。 1 前言 模糊系统往往是人工手动设计。这引起了两个问题：一是由于人工手动设计是费时间的，所以开发费用很高；二是无法保证获得最佳的解决方案。为了缩短开发时间并提高模糊系统的性能，有两种独立的途径：开发支持工具和自动设计方法。前者包括辅助模糊系统设计的开发环境。许多环境已具有商业用途。后者介绍了自动设计的技术。尽管自动设计不能保证获得最优解，他们仍是可取的手工技巧，因为设计是引导走向和依某些标准的最优解。 有三种主要的设计决策模糊控制系统设计: (1)确定模糊规则数, (2)确定隶属度函数的形式。 (3)确定变化参数 再者,必须作出另外两个决定： (4)确定输入变量的数量 (5)确定论证方法 （1）和（2）相互协调确定如何覆盖输入空间。他们之间有高度的相互依赖性。（3）用以确定TSK（Takagi-Sugeno-Kang）模式【1】中的线性方程式的系数，或确定隶属度函数以及部分的Mamdani模型【2】。(4)符合决定最低套相关的输入变量,计算所需的目标决策或控制的价值观。像逆向消除（4）和信息标准的技术在此设计中经常被利用。(5)相当于决定使用哪一个模糊算子和解模糊化的方法。虽然由数种算法和模糊推理的方法已被提出,仍没有选择他们标准。[5]表明动态变化的推理方法,他依据这个推理环境的结果在性能和容错性高于任何固定的推理的方法。 神经网络模型（以更普遍的梯度)和基于遗传算法的神经网络(最常见的梯度的基础)和遗传算法被用于模糊系统的自动设计。基于神经网络的方法主要是用来设计模糊隶属度函数。这有两种主要的方法； (一)直接的多维的模糊隶属度函数的设计： 该方法首先通过数据库确定规则的数目。然后通过每个簇的等级的训练来确定隶属函

神经网络和遗传算法有什么关系

神经网络和遗传算法有什么关系？ 神经网络的设计要用到遗传算法，遗传算法在神经网络中的应用主要反映在3 个方面：网络的学习，网络的结构设计，网络的分析。 1．遗传算法在网络学习中的应用 在神经网络中，遗传算法可用于网络的学习。这时，它在两个方面起作用 (1)学习规则的优化 用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。 (2)网络权系数的优化 用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。 2．遗传算法在网络设计中的应用 用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。编码方法主要有下列3种： (1)直接编码法 这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。 (2)参数化编码法 参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。 (3)繁衍生长法 这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。这种方法与自然界生物地生长进化相一致。 3．遗传算法在网络分析中的应用

遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。遗传算法可对神经网络进行功能分析，性质分析，状态分析。 遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。

神经网络的应用及其发展

神经网络的应用及其发展

神经网络的应用及其发展 来源：辽宁工程技术大学作者： 苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别

利用MATLAB实现遗传算法和MATLAB神经网络工具箱的使用

实验一利用MATLA实现遗传算法 一、实验目的 1、熟悉MATLA语言编程环境 2、掌握MATLA语言命令 3、学会利用MATLA编程实现遗传算法 二、实验原理 MATLA是美国Math Works公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，MATLA可以进 行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计等领域。通过学习遗传算法原理，使用 MATLA编写程序，实现其求解策略。 三、实验内容 通过MATLA编程，利用遗传算法求解： f (x) 200exp( 0.05x)sin(x), 求maxf (x)，x [-2,2] . 三、实验要求 1 、程序设计 2、调试 3、实验结果

4、撰写实验报告 实验二MATLAB申经网络工具箱的使用 一、实验目的 1、掌握MATLA语言命令 2、提高MATLA程序设计能力 3、学会使用MATLA申经网络工具箱 二、实验原理 MATLA语言是Math Works公司推出的一套高性能计算机编程语言，集数学计算、图形显示、语言设计于一体，其强大的扩展功能为用户提供了广阔的应用空间。它附带有 30多个工具箱，申经网络工具箱就是其中之一。利用该工具箱可以方便的构建申经网络的结构模型、设计、训练等，实现申经网络算法。 三、实验内容 通过MATLA编程，利用神经网络工具箱预测公路运量： 公路运量主要包括公路客运量和公路货运量两个方面。据研究，某地区的公路运量主要与该地区的人数、机动车数量和公路面积有关，上表给出了该地区20年的公路运量相关数据。根据有关部门数据，该地区2010和2011 年的人数分别为73.39 和75.55 万人，机动车数量分别为3.9635 和4.0975 万辆，公路面积分别为0.9880和1.0268万平方千米。请利用BP网络预测该地区2010和2011 年的公路客运量和公路货运量。

用遗传算法优化BP神经网络的Matlab编程实例

用遗传算法优化BP神经网络的 Matlab编程实例 由于BP网络的权值优化是一个无约束优化问题，而且权值要采用实数编码，所以直接利用Matlab遗传算法工具箱。以下贴出的代码是为一个19输入变量，1个输出变量情况下的非线性回归而设计的，如果要应用于其它情况，只需改动编解码函数即可。 程序一：GA训练BP权值的主函数 function net=GABPNET(XX,YY) %-------------------------------------------------------------------------- % % 使用遗传算法对BP网络权值阈值进行优化，再用BP算法训练网络 %-------------------------------------------------------------------------- %数据归一化预处理 nntwarn off XX=premnmx(XX); YY=premnmx(YY); %创建网络 net=newff(minmax(XX),[19,25,1],{'tansig','tan sig','purelin'},'trainlm'); %下面使用遗传算法对网络进行优化 P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 aa=ones(S,1)*[-1,1]; popu=50;%种群规模 initPpp=initializega(popu,aa,'gabpEval');%初始化种群 gen=100;%遗传代数 %下面调用gaot工具箱，其中目标函数定义为gabpEval [x,endPop,bPop,trace]=ga(aa,'gabpEval',[],ini tPpp,[1e-6 1 1],'maxGenTerm',gen,... 'normGeomSelect',[],['arithXover'],[2],'n onUnifMutation',[2 gen 3]); %绘收敛曲线图 figure(1) plot(trace(:,1),1./trace(:,3),'r-'); hold on plot(trace(:,1),1./trace(:,2),'b-'); xlabel('Generation'); ylabel('Sum-Squared Error'); figure(2) plot(trace(:,1),trace(:,3),'r-'); hold on plot(trace(:,1),trace(:,2),'b-'); xlabel('Generation'); ylabel('Fittness'); %下面将初步得到的权值矩阵赋给尚未开始训练的BP 网络 [W1,B1,W2,B2,P,T,A1,A2,SE,val]=gadecod(x); {2,1}=W1; {3,2}=W2; {2,1}=B1; {3,1}=B2; XX=P; YY=T; %设置训练参数 %训练网络 net=train(net,XX,YY); 程序二：适应值函数 function [sol, val] = gabpEval(sol,options) % val - the fittness of this individual % sol - the individual, returned to allow for Lamarckian evolution % options - [current_generation] load data2 nntwarn off XX=premnmx(XX); YY=premnmx(YY); P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 for i=1:S, x(i)=sol(i);

利用MATLAB实现遗传算法和MATLAB神经网络工具箱的使用

实验一利用MATLAB实现遗传算法 一、实验目的 1、熟悉MATLAB语言编程环境 2、掌握MATLAB语言命令 3、学会利用MATLAB编程实现遗传算法 二、实验原理 MATLAB是美国Math Works公司出品的商业数学软件，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，MATLAB可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计等领域。通过学习遗传算法原理，使用MATLAB编写程序，实现其求解策略。 三、实验内容 通过MATLAB编程，利用遗传算法求解： x x =求[-2,2] f- ) ( f. x ， max∈ ex p 05 x sin( ), .0 ) (x ) 200 ( 三、实验要求 1、程序设计 2、调试 3、实验结果 4、撰写实验报告

实验二 MATLAB神经网络工具箱的使用 一、实验目的 1、掌握MATLAB语言命令 2、提高MATLAB程序设计能力 3、学会使用MATLAB神经网络工具箱 二、实验原理 MATLAB语言是Math Works公司推出的一套高性能计算机编程语言，集数学计算、图形显示、语言设计于一体，其强大的扩展功能为用户提供了广阔的应用空间。它附带有30多个工具箱，神经网络工具箱就是其中之一。利用该工具箱可以方便的构建神经网络的结构模型、设计、训练等，实现神经网络算法。 三、实验内容 通过MATLAB编程，利用神经网络工具箱预测公路运量： 公路运量主要包括公路客运量和公路货运量两个方面。据研究，某地区的公路运量主要与该地区的人数、机动车数量和公路面积有关，上表给出了该地区20年的公路运量相关数据。根据有关部门数据，该地区2010和2011年的人数分别为73.39和75.55万人，机动车数量分别为3.9635和4.0975万辆，公路面积分别为0.9880和1.0268万平方千米。请利用BP网络预测该地区2010和2011年的公路客运量和公路货运量。

神经网络和遗传算法的结合

遗传算法与神经网络的结合 李敏强 徐博艺 寇纪淞 摘要 阐明了遗传算法和神经网络结合的必要性和可行性，提出用多层前馈神经网络作为遗传搜索的问题表示方式的思想。用遗传算法和神经网络结合的方法求解了短期地震预报问题，设计了用遗传算法训练神经网络权重的新方法，实验结果显示了遗传算法快速学习网络权重的能力，并且能够摆脱局部极点的困扰。 关键词 遗传算法 进化计算 神经网络 On the Combination of Genetic Algorithms and Neural Networks Li Minqiang Xu Boyi Kou Jisong (Institute of Systems Engineering, Tianjin University, Tianjin 300072) Abstract In this paper, we demonstrate the necessity and possibility of combining neural network (NN) with GAs. The notion of using multilayered feed forward NN as the representation method of genetic and the searching technique is introduced. We combine GA and NN for solving short term earthquake forecasting problem, design a novel method of using GAs to train connection weights of NN.The empirical test indicates the capability of the new method in fast learning of NN and escaping local optima. Keywords genetic algorithms; evolutionary computation; neural networks 1引言 智能可以分为三个层次：高层次的是生物智能(BI)，其次是人工智能(AI)， 处于低层次的是计算智能(CI)。 计算智能是国际上新近提出的学科概念，在计算智能中，计算的概念是传统计算概念的拓展，计算对象不仅局限于数和字符，运算符号也不再局限于加减乘除等运算，在这个范畴内的加减乘除也需赋于新的含义。但一般来说，AI偏重于逻辑推理，而CI则偏重于数值计算。 目前，计算智能正处于迅猛发展的阶段，其主要技术包括模糊技术、神经网络、进化计算等［5］。这几项技术各自均有了数十年的历史，但当时这些方法并未受到足够的重视，一是当时这些方法还不很成熟，二是受当时计算机软硬件的限制，而这些方法一般需要较大的计算量，难以取得实际应用。随着计算机技术的发展和普及，它们在最近十年得到了突飞猛进的发展，引起了诸多领域专家学者的关注，成为一个跨学科的研究热点。近年来，这些方法呈互相融合的趋势［3］，它们之间的相互补充可增强彼此的能力，从而获得更有力的表示和解决实际问题的能力。如对模糊神经网络、模糊遗传算法、模糊分类器系统、用遗传算法优化模糊系统的隶属度函数及神经网络的进化设计方法等的研究都

用遗传算法优化BP神经网络的Matlab编程实例

用遗传算法优化BP神经网络的M a t l a b编程实例 由于BP网络的权值优化是一个无约束优化问题，而且权值要采用实数编码，所以直接利用Matlab遗传算法工具箱。以下贴出的代码是为一个19输入变量，1个输出变量情况下的非线性回归而设计的，如果要应用于其它情况，只需改动编解码函数即可。 程序一：GA训练BP权值的主函数 function net=GABPNET(XX,YY) %-------------------------------------------------------------------------- %??GABPNET.m %??使用遗传算法对BP网络权值阈值进行优化，再用BP算法训练网络 %-------------------------------------------------------------------------- %数据归一化预处理 nntwarn off XX=premnmx(XX); YY=premnmx(YY); %创建网络 net=newff(minmax(XX),[19,25,1],{'tansig','tansig','purelin' },'trainlm'); %下面使用遗传算法对网络进行优化 P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 aa=ones(S,1)*[-1,1]; popu=50;%种群规模 initPpp=initializega(popu,aa,'gabpEval');%初始化种群 gen=100;%遗传代数 %下面调用gaot工具箱，其中目标函数定义为gabpEval [x,endPop,bPop,trace]=ga(aa,'gabpEval',[],initPpp,[1e-6 1 1],'maxGenTerm',gen,... ??'normGeomSelect',[0.09],['arithXover'],[2],'nonUnifMuta tion',[2 gen 3]); %绘收敛曲线图 figure(1) plot(trace(:,1),1./trace(:,3),'r-'); hold on plot(trace(:,1),1./trace(:,2),'b-'); xlabel('Generation'); ylabel('Sum-Squared Error'); figure(2) plot(trace(:,1),trace(:,3),'r-'); hold on plot(trace(:,1),trace(:,2),'b-'); xlabel('Generation'); ylabel('Fittness'); %下面将初步得到的权值矩阵赋给尚未开始训练的BP 网络 [W1,B1,W2,B2,P,T,A1,A2,SE,val]=gadecod(x); net.LW{2,1}=W1; net.LW{3,2}=W2; net.b{2,1}=B1; net.b{3,1}=B2; XX=P; YY=T; %设置训练参数 %训练网络 net=train(net,XX,YY); 程序二：适应值函数 function [sol, val] = gabpEval(sol,options) % val - the fittness of this individual % sol - the individual, returned to allow for Lamarckian evolution % options - [current_generation] load data2 nntwarn off XX=premnmx(XX); YY=premnmx(YY); P=XX; T=YY; R=size(P,1); S2=size(T,1); S1=25;%隐含层节点数 S=R*S1+S1*S2+S1+S2;%遗传算法编码长度 for i=1:S, ? ?x(i)=sol(i); end; [W1, B1, W2, B2, P, T, A1, A2, SE, val]=gadecod(x); 程序三：编解码函数 function [W1, B1, W2, B2, P, T, A1, A2, SE, val]=gadecod(x) load data2