当前位置：搜档网 › 第7章竞争神经网络

第7章竞争神经网络

前面所讨论的前向网络、反馈网络等模型虽然得到了广泛应用，但是它们都未能充分

借鉴人脑的特点，因而其功能有许多不足之处。以多层前向网络为例，具有如下缺点和不足：

（1）只适用于平稳的环境。在以此环境为模型的世界中，各种客体、客体间的关系以及相应的观察向量具有统计平稳性，它们的各项统计特性不会随时间变化。而真实世界并非如此；

（2）学习过程中网络的所有权值系数都要调整，存在稳定性及学习速度等问题；

（3）有可能陷入均方误差的局部最小点，从而造成错误的求解结果；

（4）误差准则是固定的，不能随着环境的变化而进行相应的调整或改变。

而相应的，对于人脑神经系统，具有如下主要特点：

（1）人脑的学习方式是自主的，或称之为自治的。人可以在一个复杂的、非平稳的、有“干扰”的环境中，辨识学习的目标并且学得大量知识。在大多数情况下，这种学习是不受教师明确指导的“自学”。很难把学习过程以及用学得的知识来解决问题这两方面截然分开。

（2）人脑的工作方式及其信息存储和检索方式（记忆和记忆内容的提取方式）具有明显的自组织特点。人通过学习积累了经验，也就是对某种外界环境做出某种判决或响应，就会受到奖励或者个体的某种需求得到满足；如果做出另一种判决或响应，就会受到惩罚或吃苦头。人在不断的受到奖励或惩罚的过程中调整自身的学习策略，以使做出的判决或响应能受到尽可能多的奖励。

（3）人脑的学习和记忆能力既有很大的刚性又有很大弹性和可塑性。即可记忆得很牢，还不断大量学习新知识，同时还能忘却一些不常用的或无关紧要的老知识。

（4）脑神经元中存在侧抑制现象，大脑中的神经元按区域划分成不同的群，处于某一区域中的神经元不但接受来自感觉器官的刺激以及来自其他区域的刺激，而且还接受本区域中其它神经元送来的侧抑制信息。

（5）人对外界的输入信号做出响应时，既通过"由底向上"（bottom-up）的渠道，又通过"

由顶向下"（top-down）的渠道。"由底向上"：人脑能够对不同的外界输入向量正确的区分不同的客体并掌握它们之间的相互关系（空间、时间、逻辑关系等）。"由顶向下"：涉及人的集中注意能力和忽略能力。人能够专注于某些客体或某些关系，而置其他一切于不顾。人脑在一定的环境下会估计到可能出现的情况，预期会遇到、听到或看到各种内容。如：谈话中可估计对方会说什么；视觉会在复杂的环境或背景中注意自己感兴趣的人、物。

基于这些因素，人们于是研究一种更接近于人脑工作特性的人工神经网络模型，即竞

争神经网络或自组织神经网络。

竞争神经网络的显著特点是它的输出神经元相互竞争以确定胜者，胜者指出哪一种原型

158

159 模式最能代表输入模式。竞争神经元网络一般是以无监督学习（Unsupervised Learning ）或称为自组织学习（Self-Organized Learning ）方式进行学习的。自组织学习算法的目的是在无教师指导下寻找输入数据空间中的重要的模式或特征。自组织学习的网络结构模型，比有监督学习的网络结构模型更接近生物神经系统，因为网络的自组织过程正是大脑组织的一个基本现象。

自组织（无监督）学习过程都是按照预定的规则和输入模式，重复修改系统中各连接权值，直至形成一种全局有序的结构形态。这种全局有序的结构形态是通过网络中许多相邻神经元最初的局部相互作用而形成的，相邻神经元的这种局部相互作用也最终导致网络在空间模式或时间节奏上的一致，这就是自组织现象的本质。所以竞争神经网络在网络结构和学习算法上有着自身的特点：

（1）在网络结构上，可由一个输入层（信息来源）和输出层（表示层）组成，输入和输

出层之间有前向连接，输出层各单元在许多情况下有侧向连接起抑制作用。

（2）在学习算法上，遵循以下基本规则：每个神经元的能量都被限制；允许神经元通过

竞争对一个给定的输入子集做出响应，赢得竞争的神经元被称为获胜神经元; 在权值向量的更改规则的作用下，权值向量将不断地逼近输入向量。

竞争神经网络工作的基本思想是让竞争层各神经元来竞争对输入模式相应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元的输出则代表对输入模式的分类。

以竞争神经网络为基础，可以构成一些具有自组织能力的神经网络。如自适应共振理论（Adaptive Resonance Theory, ART ）网络，自组织映射（Self-Organizing Map, SOM ）网络，主分量分析（Principle Components Analysis, PCA ）网络，对传（Counter Propagation, CP ）网络和协同神经网络（Synergetic Neural Network, SNN ）等。

本章主要介绍Hamming 网、自组织映射网络、学习矢量量量化以及主分量分析。通过对网络结构的不断改进，充分展示竞争学习的主要思想。作为具有深厚数理基础的另一种竞争型神经网络—协同神经网络，在第8章专门介绍。

7.1 Hamming 网络

Hamming 网络是由Lippmann 在1987年提出的。作为一种最简单的竞争网络，它采用侧抑制机制，体现了竞争网络的基本思想。

7.1.1 Hamming 网的网络结构

Hamming 网是由两层子网络组成，前向子网络接受输入，竞争子网络产生输出。网络结构如图7.1所示。前向子网络有N 个输入节点，它们接受输入向量X =[x 1,x 2,…x N ]T 并通过权值 I ij w （i =1,2..,M ；j =1,2,…,N ）和网络的神经元相连，前向子网络神经元的个数为M 。而网络中第i 个神经元的输入为∑==N j j ij

i x w u 1I

，输出为)(I 1I i i u f v =，其中f 1( . )选取线性

160 函数。竞争子网络以前向子网络的输出作为它的输入，且每一个神经元对应于前向子网络

的一个神经元。在竞争子网络中神经元的数目为M ，神经元之间通过权值II kl w （k ,l =1, 2, …,

M ）互连，其神经元的输出函数f 2( . )选取为线性函数。竞争子网络的输出也是Hamming 网络的输出Y =[y 1,y 2,…,y M ]T 。

x 2

x N x 1y 2

y M

前向子网络竞争子网络

图7.1 Hamming 网的网络结构

在Hamming 网中前向子网络的权值1ij w 是可变的，而网络正是通过更改前向子网络的

权值进行学习，并将学到的内容记忆于其上。

网络神经元的输出函数f 1 ( . )为线性函数：

?????><<-<=c

c u x u x x x y 当常数当当ζζζ0 （7.1）其中， ζ为阈值，在输入向量的元素为二进制编码时，可取为N /2，N 为输入向量的维数；u c 为饱和值，给出输出值的上界，一般取大于等于1的正数。

在竞争子网络中，连接权值II

kl w 被设定为： ???≠-=+=l k l k W kl

当当ε1II （7.2）其中，k 和l 指示网络中的第k 个和第l 个神经元。当权值是连接神经元自身（k =l ）时，为+1，否则为ε-（ε>0）。这表明神经元对自身具有正的自反馈，而对其他神经元通过负的权值进行侧抑制。

竞争子网络的神经元的输出函数与前向子网络中神经元的输出函数相同，即f 2( . )= f 1( . )，但此时阈值ζ定为0。

161 为了观察网络的运行，可假定在网络中存入M 个N 维的样本X i = [x i 1, x i2, …, x iN ]T ，其中j =1,2,…,M 。对于Hamming 网络来说，每个样本X i 的分量x ij （j =1,2,…,N ）为二进制元素。

在此免去学习过程而直接设定前向子网络的权值I ij w 为：

2/I ij ij x w = （7.3）

而输入X 通过前向子网络后产生输出为：???? ??=∑=N j j ij i

x w f v 1I 1I ，其中i =1,2,…,M 而x j （j =1,2,…,N ）为输入X 的分量。并且竞争子网络的输入就是前向子网络的输出。竞争子网络中，进行迭代过程，迭代的初始值y l (0)正是前向子网络的输出：

∑==N

i j lj l x w f y 1I 1)()0( （7.4）

网络的迭代过程为：

? ??=+∑==M l l l kl k n y w f n y 1II 2)()1( （7.5）将（7.2）式代入（7.5）式，得到：

? ??-=+∑≠l l l k k n y n y f n y )()()1(2ε （7.6）

从式（7.6）可看出在竞争子网中，在设定的神经元权值II

kl w 的作用下，获得较大初始输入的节点，通过其权值对其它神经元产生较大的负反馈，即获得大输入的节点对周围神经元产生大的侧抑制。而在迭代的作用下网络收敛于一个稳态，即只有一个神经元具有正的输出，其它神经元的输出为零。这个具有正的输出神经元正是初始输入最大的神经元，称之为竞争获胜神经元，因为它通过侧抑制实现了自己在竞争中的获胜。并且该获胜神经元指示此次输入模式所属的类别。

由于竞争子网络的初始输入就是前向子网络的输出，且在前向子网络中该输出是权值和输入向量的内积。在向量的元素为二进制时，两个向量的内积最大等价于向量的Hamming 距离最小。所谓Hamming 距离是指两个向量中不相等元素的个数。因此，获胜神经元对应于前向子网络输出最大的神经元，其权值与输入向量Hamming 距离最近。这也就是该网络被称为Hamming 网的主要原因。

162 网络的学习过程采用竞争学习算法。而竞争学习包含以下主要过程：网络对刺激做出响应，具有最大响应的神经元被激活，该神经元成为获胜神经元并获得学习的机会，更改获胜神经元的权值。其中，只有最大响应的神经元被激活的这一特征被称为“胜者为王”（The Winner Takes All ）机制。

具体的说，网络在接受训练向量之前先将前向子网络的权值赋予随机的初始值。而从网络的运行过程中可以看出，Hamming 网通过竞争子网络的迭代并进入稳态，已实现了“胜者为王”的机制。在此对其进行进一步的改进，即迭代过程结束后，将获胜神经元的输出指定i y 为1，其它所有未获胜的神经元的输出置为0。在调整权值时，只对获胜神经元对应的前向子网络中的神经元的权值向量进行相应调整，对前向网络中的其余神经元的权值向量不作任何变动。对获胜神经元的权值向量的更改采用Hebb 学习规则：

))(()()1(n W X n W n W k i k k -+=+η （7.7）

其中，k 表示第k 个神经元在竞争中获胜，W k =[w k 1,w k 2,…,w kN ]T 为获胜神经元的权值向量，],...,,[21iN i i i x x x X =T 为第i 个输入向量，而η为学习速率，0<η<1。

学习算法如下：

第一步：设置变量和参量：

X (n )= [x 1(n ), x 2(n ), …, x N (n )]T 为输入向量，或称训练样本，其元素均为二进制元素；

T iN i i i n w n w n w n W )](),...,(),([)(I I 2I 1I =为前向子网络的权值向量，i =1,2, …, M ； II kl

w 为竞争子网络的权值； Y (n )= [y 1(n ), y 2(n ), …, y M (n )]T 为实际输出；

η为学习速率； n 代表Hamming 网络的第n 次训练，n 1为竞争子网络迭代过程中的迭代步数，而N 为

预设的总的训练次数。

第二步：初始化：对于前向子网络权值I

ij w ，用小的随机值进行初始化并满足约束条件： 11I =∑=N j ij w

i =1，2，…，M （7.8）

对于II

kl w （k,l=1,2,…,M ），则以（7.2）设置，而神经元的输出函数f 1( . )，f 2( . )选取式（7.1）的线性函数并且给定总的迭代次数N 。

163 第三步：选取训练样本X 。

第四步：计算竞争子网络神经元的初始输入即前向子网络的输出：

???? ??==∑=N j j ij i k x w f V y 1I 1I

)0( i =1，2，…，M （7.9）

第五步：进行竞争子网络的迭代过程：

? ??-=+∑≠l l l k k y n y f n y ε)()1(121 k =1，2，…，M （7.10）

第六步：观察竞争子网络的输出，当输出达到要求时（只有一个输出为正，其余为零）转

第七步，否则n 1等于n 1+1，转到第五步继续迭代。

第七步：将输出最大的神经元c 定为获胜神经元，并将其输出y c (n )置为1，其它神经元的

输出置0，实现“胜者为王”。

第八步：更新获胜神经元c 的权值向量： ))(()()1(I I I n W p

X n W n W c c c -+=+η （7.11）其中，p 为在输入向量X （X 1, X 2,…,X M ）中元素为1的个数，。

第九步：判断网络的当前的训练次数n 是否大于N ，如果小于，则n 等于n +1，回到第三

步进行新的一次训练，否则结束网络训练过程。

注意：权值的更新规则（7.11）和（7.7）有些区别，主要是增加了变量p ，其目的在于使得网络在更新中始终满足11I =∑=n j ij W

的条件；其次，在实际操作中，网络的输入值可

以不限制为二进制。

网络采用竞争学习算法进行训练，在训练结束后，网络具有回想的能力。在此进一步从几何上对竞争学习做出解释如下：

将输入向量和权值向量看作n 维空间或n 维超球面上的向量。每当向网络提供一个输入模式时反映最强的输出神经元就是其权值向量最接近输入向量的神经元。在学习算法的作用下，当某一神经元在竞争中获胜时，它的权值向量从当前位置向超球面上的输入向量

移动一段距离。图7.2演示了这一过程，其中“×”标明输入向量的分布而“o”标明获胜

神经元的权值向量。箭头标明了该权值向量的更新方向。

图7.2 竞争学习的几何解释

Hamming网络在竞争子网络中采用侧抑制实现竞争获胜，而其学习算法是竞争学习算法，它属于无监督学习网络。和前面的有监督学习网络相比，Hamming网具有以下特点：（1）层与层之间是兴奋性连接，同层之间是抑制性连接；

（2）每个输出神经元的权值总值设为定值；

（3）权值调整是局部的，只有获胜神经元的权值才得到调整。

作为无监督网络，Hamming网不需要教师信号，因而适用于解决聚类问题。但网络本

身也有以下问题：

（1）和其它的神经网络一样，网络需要在学习速度和最后权值向量的稳定性之间进行折中；

（2）在进行分类时，如果输入是高度结构化的，则分类是高度稳定的，反之，分类就有较多的变化；

（3）权值的初始化会影响到网络训练后的效果，在某些特殊的情况下，可能产生“死”

神经元，所谓“死”神经元是指在网络学习中得不到训练的神经元。

7.2 自组织映射网络

Hamming网作为竞争网络的最简单形式，其最大特点是网络采用了胜者为王的竞争机制。但Hamming网的这种竞争机制与生物神经元的竞争机制有所不同。生物神经元在接受

刺激并进行竞争产生获胜神经元后，获胜神经元不但加强自身，而且带动周围的邻近神经

164

元得以相应的加强，同时抑制周围距离较远的神经元，这是所谓的“加强中心而抑制周围”（on-center/off-surround）现象。这种生物现象是基于神经元之间的突触权值实现的。在生

物神经元中，神经元的突触权值与神经元间距离的关系如图7.3所示。图7.3中横坐标代表神经元之间的距离d ij，纵坐标代表神经元之间的连接权值w ij，图中曲线代表的函数被称

为墨西哥草帽函数（Maxican-Hat Function），可见生物神经元与其周围邻近神经元具有正

的连接权值，而随着距离的增加，权值逐渐减小直到成为负值即产生了抑制作用。

图7.3 墨西哥草帽函数

在人脑中，脑皮层的细胞群具有广泛的自组织现象，而这种现象的产生和生物神经元

细胞之间的加强中心而抑制周围的作用有着密切的联系。所谓自组织现象是指：人脑在许

多区域是有组织的，不同的区域的作用各不相同，不同的感官输入被传递给不同位置的脑

细胞群，并且这种神经元所具有的特性并不是完全来自生物遗传，而是在很大的程度上依

赖于后天的学习过程。基于生物神经元这一特性，芬兰学者Kohonen于1982年提出了自

组织映射网络(Self-Organizing Mapping, SOM)或称为自组织特征映射网络(Self-Organizing Feature Mapping)。相对于Hamming网络，自组织映射网络引入了网络的拓扑结构，并在

这种拓扑结构上进一步引入变化邻域概念来模拟生物神经网络中的侧抑制现象，从而实现

网络的自组织特性。

7.2.1 自组织映射网络模型

作为自组织映射网络模型，具备这样的特点：输入节点和输出神经元的权值互连；在

输出神经元之间进行竞争选择，输出神经元之间存在侧抑制。从功能上来说，它能够将单

个神经元的变化规则和一层神经元的群体变化规则联系在一起。

从网络结构上来说，自组织映射网络的最大特点是，神经元被放置在一维、二维或更

高维的网格节点上。图7.4所示为使用最为普遍的二维网格模型。该模型包含输入输出两层，而不包含隐层。在输入层中有N个输入节点，其中任一输入节点用j表示。输入层接受输入向量X=[x1,x2,…x N]T。（从空间的角度看，该输入空间是N维的）输入节点通过权值

165

166 ij w （i =1,2..,M ；j =1,2,…,N ）和网络的M 个神经元相连。将权值根据相连的神经元划分为M 个权值向量，任一权值向量为W i =[w i 1,w i 2,…,w iN ]T （i =1,2…,M ）。在输出层分布着网络的M 个神经元，其中任一神经元用i 表示，其输入为∑==

N j j ij i x w u 1，输出为)(i i u f v =，其中

f ( . )为神经元激励函数，一般取为线性函数。输入层

输出层

x 2

x x

图7.4 具有二维网格的自组织映射网络模型

需要强调的是，神经元分布在二维的网格上。从某种意义上说，二维的网格就是自组织映射的输出空间。而自组织映射网络正是通过引入网格，在神经元之间建立了拓扑关系，神经元之间的联系是由它们在网格上的相互位置所决定的，并且这种联系模拟了人脑中的神经元之间的侧抑制功能，是网络实现竞争的基础。但这种对侧抑制的模拟不同于Hamming 网中的做法，它不是依靠权值来实现的，而是通过定义一个获胜神经元的拓扑邻域来实现的。

作为生物神经元的一种模拟，该网络模型从网络的总体目标出发，忽略了生物神经元的具体细节信息，这种忽略并不影响该网络模型对人脑的生物自组织特性的模拟。 7.2.2 自组织映射学习算法

自组织映射学习算法属于无监督竞争学习算法。自组织映射网络可以将任意维数的输入模式以拓扑有序的方式变换到一维或是二维的离散空间上，这种变换称为特征映射（Feature Map ），用Φ表示为Φ：输入空间 H -> 输出空间 A 。其中，输入空间H 是输入向量的集合，其维数等于输入向量的维数；输出空间A 在二维网格的自组织映射中是二维的平面。

自组织映射学习算法包含：竞争、合作和更新三个过程。

167

（1）在竞争过程中，确定输出最大的神经元为获胜神经元。由于神经元的激励函数为线性函数，神经元的输出最大取决其输入∑==N j j ij

i x w u 1即输入向量X =[x 1,x 2,…x N ]T 和权值向量

W i =[w i 1,w i 2,…,w iN ]T （i =1,2,…,M ）的内积。而该内积在输入向量和权值向量均为归一化向量时，等价于输入向量和权值向量的欧氏距离最小。所谓欧氏距离就是n 维欧氏空间中向量Y=[y 1,y 2,…,y n ]和向量Z =[z 1,z 2,…,z n ]的距离，其值为

∑=-n i i i z y 12)(。所以当输入向量为X

且第c 个神经元获胜时，满足条件： i i

c W X W X -=-min i =1,2,…,M (7.12) 其中．表示求输入向量X 和权值向量W i 的欧氏距离。

（2）在合作过程中，确定获胜神经元的加强中心。拓扑邻域的中心就是在竞争过程中得到的获胜神经元，在邻域范围内的神经元称为兴奋神经元，即加强中心。

在此，可采用简单的正方形的邻域形状。邻域在网格上的表现如图7.5。

图7.5 二维网格上的拓扑邻域当邻域的半径为0时，邻域仅仅包含获胜神经元；而半径为1时，邻域包含除了获胜神经元之外的8个邻近神经元。当半径增大时，邻域依此规律放大。在此将拓扑邻域记为N c (n )，同时也表示在第n 次迭代时，拓扑邻域的半径。它的值随着迭代次数的增加而变化，其更改规则可以采用（7.13）式：

168

)/1)(0((INT )(N n N n N c c -= n = 0,1,2,…,N （7.13）

其中N c (0)表示初始的拓扑邻域半径，N 为总的迭代次数，INT( . )表示取整函数。可以看出，拓扑邻域随着迭代次数的增加是不断收缩的。在网格上具体表现如图7.6，其中)(1k N c ，)(2k N c 和)(3k N c 代表当迭代次数为k 1，k 2和k 3（k 1

图7.6 二维网格上拓扑邻域变化的情况（3）在更新过程中，采用Hebb 学习规则的改变形式，对网格上获胜神经元拓扑邻域内的神经元进行权值向量的更新。

))()(()()1(n W X n ηn W n W j j j -+=+ n =0,1,2,…,N

(7.14) 其中，)n (η为学习速率（0<)n (η<1），随迭代次数的增加而减小,变化的规则可以采用（7.15）式：

??? ?

?-=N n ηn η1)0()( n =0,1,2,…,N (7.15) 式中的N 为总迭代步数，)0(η为初始学习速率。

自组织映射学习算法的具体步骤如下：

第一步：设置变量和参量：

X (n )= [x 1(n ), x 2(n ), …, x N (n )]T 为输入向量，或称训练样本；

W i (n )= [w i 1(n ), w i 2(n ), …, w iN (n )]T 为权值向量，i =1,2, …,M ；

设置迭代总次数为N 。

169 第二步：初始化：将权值向量W i 用小的随机值进行初始化；设置初始学习速率)0(η；对

权值向量初始值W i (0)和所有的输入向量X 进行归一化处理。

X X =' （7.16） )

0()0()0('i i i W W W = （7.17）其中[]∑==N j ij i w W 12)0()0(

，()∑==N j i x X 12，它们分别是权值向量和输入向量的

欧氏范数。

第三步：采样：从输入空间中选取训练样本'X 。

第四步：近似匹配：通过欧氏距离最小的标准：

''min 'i i

c W X W X -=- j =1,2,…,M （7.18）来选取获胜神经元c ，从而实现了神经元的竞争过程。

第五步：更新：对获胜神经元拓扑邻域N c (n )内的兴奋神经元，以Hebb 学习规则：

))('')(()(')1('n W X n ηn W n W i i i -+=+ （7.19）

更新神经元的权值向量,从而实现了神经元的合作和更新过程。

第六步：更新学习速率)(n η及拓扑邻域并对学习后的权值重新进行归一化处理： ??

? ??-=N n ηn η1)0()( （7.20） ?????

???? ??-=N n N n N c c 1)0(INT )( （7.21） )

1()1()1('++=+n W n W n W i i i （7.22）第七步：判断迭代次数n 是否超过N ，如果n <=N 就转到第三步，否则结束迭代过程。

注意：在算法中的归一化处理是为了确保通过欧氏距离最小条件选取的获胜神经元，具有最大的输出；对于学习速率和拓扑邻域的改变规则，也可以选取别的函数，但一定要保证函数值随着迭代次数的增加而减小。

网络经过以上学习训练后，如果训练充分且算法收敛，则自组织映射网络具有特征映

射能力。特征映射由输出空间中的权值向量集合来代表，在此可以把它看作一个虚拟的网，具有在输出空间中描述的一维或二维的网格的拓扑结构，它的每个节点的坐标就是相应于

输入空间的权值向量。特征映射具有以下几个重要功能：

（1）对输入空间的近似：自组织映射算法的基本目标是寻找较小的原型集来存储一个大的

输入集，而这些原型集能够提供对输入空间的良好近似。从分类角度说，自组织映射通过

寻找最优参考向量集合来对输入模式进行分类。在此这个原型集就是自组织网络的权值向量，因此特征映射提供了对输入空间的良好近似。

（2）拓扑排序：由自组织映射算法得出的特征映射是拓扑有序的，输出层上神经元的位置

相应于输入模式的特别特征和区域。拓扑排序是网络采用的权值改变规则的直接结果。在

学习规则的作用下，获胜神经元及其附近神经元的权值向量不断趋向于输入向量。

（3）密度匹配：特征映射反映了输入分布的统计特征的变化：在输入空间中那些样本以高

概率产生的区域在输出空间中被映射到大的区域，因此也就比低概率产生样本的区域具有

更好的解。然而实践表明，由自组织映射算法得到的特征映射并不能完全准确地代表输入

数据中潜在的概率分布。

（4）特征选择：对于来自非线性分布的输入空间的数据，自组织映射可以选择最好的特征

集合来近似潜在的分布。在这点上，特征映射具有独特的提取非线性数据的内在特征的功能。

自组织映射网络主要从结构上模拟整个微观神经元层上的生物特性。因此，从网络结

构上来说，自组织映射的网络结构简单，并具有很好的生物神经元特性；从算法上来说，

网络的算法主要采用Hebb学习规则，通过在学习中对拓扑邻域内的神经元进行权值更新，使得网络在学习后具有了特征映射能力。以上均为自组织映射网络的优点，然而作为无监

督学习网络，不能够利用教师信号是其缺点。

7.3 学习矢量量化

要克服自组织映射网络作为无监督网络而必然存在的缺点，就要将竞争学习思想和有

监督学习算法结合起来。基于这种想法，Kohonen在1989年又提出了同属于竞争网络的学

习矢量量化（Learning Vector Quantization，LVQ）。学习矢量量化正是在竞争网络的结构上，实现了有监督学习。在网络学习中，允许对输入被分到哪一类进行指定，即给出了分类信

息作为教师信号。

7.3.1 网络模型

学习矢量量化网络和自组织映射网络具有非常类似的网络结构，如图7.7所示。网络由输入层和输出层组成，输入层具有N个输入节点，接受输入向量X=[x1,x2,…x N]T。输出

层有M个神经元，呈一维线性排列。学习矢量量化没有在输出层引入拓扑结构，因此在网

络学习中也不再有获胜邻域的概念。输入节点和输出层的神经元通过权值向量W i=[w i1,w i2,…,w iN]T（i=1,2..,M；j=1,2,…,N）实现完全互连。其中任一神经元用i表示，其

170

171

输入为输入向量和权值向量的内积∑===N

j j ij T i x w X W u 1（i =1,2,…,M ）。神经元的输出为)(i i u f v =，其中f ( . )为神经元激励函数，一般取为线性函数。

需要强调的是，在学习矢量量化中输出神经元被预先指定了类别。输出神经元被分为K 组而代表K 个类别，每个神经元所代表的类别在网络训练前就被指定好了。

输入层输出层类别1

类

别

类

别

1x N

图7.7 学习矢量量化模型

7.3.2 学习矢量量化的学习算法

学习矢量量化根据输入向量和权值向量的最小欧氏距离选取获胜神经元，并且采用胜者为王的竞争机制，令该神经元的输出为1，其它神经元的输出为0。并且，其学习速率随迭代次数的增加而减小。

学习矢量量化和前面两类竞争网络的不同之处在于，它采用的是监督学习算法。网络在分类中加入教师信号即分类信息，并对输出神经元预先指定其类别。在学习中根据输入向量的类别和获胜神经元所属类别，就可以判断分类是否正确。如果分类正确，将获胜神经元的权值向量朝输入向量的方向移动，否则向其相反方向移动。学习过程中，权值向量的改变可以用图7.7描述：

172

方向图7.7 学习矢量量化的权值训练过程

学习算法如下：

第一步：设置变量和参量：

X (n )= [x 1(n ), x 2(n ), …, x N (n )]T 为输入向量，或称训练样本；

W i (n )= [w i 1(n ), w i 2(n ), …, w iN (n )]T 为权值向量，i =1,2, …,M ；

选择学习速率的函数)(n η。

n 为迭代次数，N 为迭代总次数。第二步：初始化权值向量W i (0)及学习速率)0(η；

第三步：从训练集合中选取输入向量X ；

第四步：寻找获胜神经元c ：

i i

c W X W X -=-min i =1,2,…,M （7.23）第五步：判断分类是否正确，根据以下规则调整获胜神经元的权值向量：

用c W L 代表与获胜神经元权值向量相联系的类，用i X L 代表与输入向量相联系的类。

如果 i X L =c W L ，则

)]()[()()1(n W X n ηn W n W c c c -+=+ （7.24）

否则，当i X L ≠c W L ，有

)]()[()()1(n W X n ηn W n W c c c --=+ （7.25）

对于其它神经元，保持权值向量不变。

173

第六步：调整学习速率)(n η： ??

? ??-=N n ηn η1)0()( （7.26）第七步：判断迭代次数n 是否超过N ，如果n <=N 就转到第三步，否则结束迭代过程。注意：在算法中，必须保证学习常数)(n η随着迭代次数n 的增加单调减少。例如，)0(η被初始化为0.1或更小，之后随着n 的增加而减小；在算法中我们没有对权值向量和输入向量进行归一化处理，这是因为网络直接把权值向量和输入向量的欧氏距离最小作为判断竞争获胜的条件。

学习矢量量化作为有监督学习指定了输出神经元代表的类别，而在用随机值对网络的权值进行初始化时并没有考虑输出层中指定类别的分布，这个矛盾有可能会产生以下问题：某个神经元的权值向量为了达到其目标，必须经过一个它不代表的类的区域，而这个区域在学习矢量量化算法中是排斥该权值向量的。因此，该权值向量无法达到目标，从而不能实现正确分类。针对这个问题，Kohonen 提出了几种学习矢量量化的改进算法：LVQ2，LVQ2.1，LVQ3。而几种改进算法均在满足某一条件时，对学习算法进行改进，而当条件不满足时，采用原有算法。改进算法的主要思想是：通过引入一个次获胜神经元来增加获得权值训练的神经元个数，从而缓解了学习矢量量化的内在矛盾，使得网络实现正确分类的可能性增大。

（1）LVQ2的改进在于网络的训练方面。它通过训练获胜神经元和次获胜神经元来扩展学习矢量量化。所谓次获胜神经元满足以下条件：该神经元的权值向量和输入神经元的权值向量的欧氏距离，仅大于获胜神经元的权值向量和输入向量的欧氏距离。算法主要思想是当获胜神经元C 不代表正确分类而次获胜神经元R 却代表正确分类时，对二者的权值均进行训练：对获胜神经元C 进行惩罚，而对次获胜神经元R 则进行奖励。LVQ2只有在输入向量到获胜神经元C 的权值向量的距离C d 和到次获胜神经元R 的权值向量的距离R d 没有很大的差别时，才和原来的LVQ 有区别，否则和LVQ 相同。在此将C d 和R d 之间没有多大差别的条件，用一个“窗”来表示，定义为：

εε+=-=11C

R R C d d d d （7.27）其中，ε为给定阈值。当满足该条件时，用以下方法调整权值：

174 )]

([)()1()]([)()1(n W X n W n W n W X n W n W C C C R R R --=+-+=+ηη （7.28）其中，R W 是次获胜者R 的权值向量，它和训练矢量同属一类，而C W 为获胜者C 的权值向量。

（2）在LVQ2.1中，不考虑是次获胜神经元还是获胜神经元代表了神经元的正确分类，而是假定二者有一个代表了对输入的正确分类。设1C W 为代表正确分类的神经元C 1的权值向量，而2

C W 为代表错误分类的神经元C 2的权值向量。这样，更改“窗”条件为： ε->1],min[1

221C C C C d d d d （7.29）和

ε+<1],max[1

221C C C C d d d d （7.30）其中，1C d 为X 到1C W 的距离，而2C d 为X 到2

C W 的距离。在满足该“窗”条件时，权值的更改如下：

)]

([)()1()]

([)()1(222111n W X n W n W n W X n W n W C C C C C C --=+-+=+ηη （7.31）

（3）在LVQ3中更改窗条件如下： εε+->11],max[1

221C C C C d d d d （7.32）在满足这一条件时，获胜神经元和次获胜神经元都可以得到训练。当获胜神经元和次获胜神经元属于不同类时，权值更改过程和LVQ2.1相同；否则，获胜神经元和次获胜神经元均被训练。权值更改规则如下：

)]([)()1(n W X n W n W C C C -+=+β （7.33）

其中，εβm =，m 的范围是0.1

7.3.3 学习矢量量化和自组织映射

自组织映射网络的最大优点是：通过在网络的输出层引入拓扑结构，实现了对生物神

经元竞争过程的贴切的模拟。而学习矢量量化在竞争学习的基础上引入了有监督学习算法。但学习矢量量化中采用的竞争过程是最简化的“胜者为王”过程，这并不符合生物神经元

的竞争过程，也因此不具有生物神经元竞争过程中所具有的良好特性。

作为同为Kohonen提出的网络模型，学习矢量量化和自组织映射同属竞争网络，具有

非常近似的网络结构，并且学习矢量量化也被看作自组织映射网络的一种有监督形式的扩展。由于有着以上近似性，学习矢量量化和自组织映射网络是具有很好的结合的前提条件，并且有效的结合将能够更好地发挥竞争学习和有监督学习二者的优点，从而得到一个具有

良好特性的系统。在结合中，常用的方法是采用同一网络结构，而将学习矢量量化算法作

为自组织映射算法的补充。从结合的方式上来说，这种结合是时间上的结合。

在此，采用输出层具有拓扑结构的自组织映射的网络结构，这样的网络结构同时适用

于学习矢量量化算法和自组织映射算法的应用。在网络训练中，依次用自组织映射学习算

法和学习矢量量化学习算法对网络进行两次训练。

（1）采用自组织映射算法对网络进行训练。在这个学习过程中，网络以无监督的方式对输入进行特征提取，目标是选择一个小的并且合理的特征集合。该集合包含

了输入数据的主要信息。

（2）采用学习矢量量化的学习算法对网络进行二次训练。在此忽略网络输出层的拓扑结构，并在原先训练的基础上指定网络的输出神经元所属的类别。在这个学习

过程中进行的是实际分类。

虽然，这两个步骤可以合并而统一采用自组织映射算法来对网络进行训练，但实践已

证明，在加入学习矢量量化学习算法后分类边界得以收缩而更加准确。

总之，作为同是由Kohonen提出的网络模型，学习矢量量化和自组织映射同属竞争网络。而学习矢量量化网络因为结合了有监督学习算法也被看作是一种混和网络。作为有监

督网络，学习矢量量化可以有效的应用教师指导信号，然而从网络结构中可以看出学习矢

量量化的输出层不具有拓扑结构，因而网络的竞争学习并不是对生物神经系统的最好模拟。在应用中，将学习矢量量化作为自组织映射的补充可以提升系统的整体性能。

7.4 主分量分析

自组织映射网络在训练收敛后具有很好的特征映射的能力。特征映射的一个重要的功

能就是对于具有非线性关系的输入到输出的映射进行特征提取。而本节将要介绍的主分量

分析（Principle Components Analysis，PCA），则能够很好的实现对于具有线性关系的输入

到输出的映射的特征提取。相对于自组织映射网络的特征映射，PCA是有一种具有更严密

数学推导的方法。主分量分析神经网络则通过连接权值的自组织学习，实现了对输入模式

的主分量提取，该网络属于无监督学习网络。

175

176

7.4.1 主分量分析方法

作为一种建立在统计最优准则基础上的分析方法，主分量分析具有较长的发展历史。在1901年，Pearson 首先将变换引入生物学领域，重新对线形回归进行了分析，得出了变换的一种新形式。Hotelling 于1933年则将其与心理测验学领域联系起来，把离散变量转变为无关联系数。在概率论理论建立的同时，主分量分析又单独出现，由Karhunen 于1947年提出，随后Loeve 于1963年将其归纳总结。因此，主分量分析也被称为K -L 变换。

主分量分析是在统计学中分析数据的一种有效的方法，其目的是在数据空间中找到一组向量尽可能解释数据的方差，通过一个特殊的矩阵，将原有的高维数据投影为较低维的数据空间，并且保留了数据主要信息，以便更方便处理数据信息。

主分量分析也可以看作是一种特征选择和特征提取的过程，其主要目标是在大的输入空间中寻找合适的特征向量，并在所有的特征中提取主要特征。特征选择是指从数据空间变换到特征空间的过程。在理论上，特征空间和数据空间的维数是一样的。但是，当变换后的特征中的有效的几个能够包含原有变量的主要信息时，就可以考虑减少特征的个数而提取主要的特征，即降低特征空间的维数（简称降维）。在降维中，假设一个m 维的向量X ，希望压缩到l 维，l

因此，可以把主分量分析的主要过程分为特征选择过程和特征选取过程。在特征选择过程中，主要将输入空间映射到输出空间，从而获得输入的特征，即输入的主分量；而特征提取过程也就是降维过程，在该过程中选取主要的特征而舍去其它特征分量。具体实现如下：

（1）特征选择过程

该过程的目的是实现从输入空间到特征空间的映射，为第二步的特征提取打下基础。因此，这个过程的关键就是选取特征向量并获得输入在所有特征上的投影，使得这些投影能够满足在特征提取中均方误差最小的要求，而这些投影就是输入的主分量。

对于给定的已知概率分布函数{X }的m 维随机矢量X= [x 1, x 2, …, x m ]T ，设其均值E [X ]为0。（在X 的均值不为零，可以令]['X E X X -=，而得到E [X ’]=0。）

而协方差C X 为：

[]()[]()][T

X X E X X E X E C --= （7.34）由于E [X ]=0，所以协方差矩阵即为自相关矩阵：

][T X XX E C = （7.35）

计算C X 的特征值m λλλ,,,21 和对应的归一化特征向量U 1,U 2,…,U m ：

177 i i i X U U C λ= i =1,2,…,m （7.36）

其中，U i ＝[u i 1,u i 2,…,u in ]T 。理论上已证明，特征向量U 1,U 2,…,U m 就是满足条件的输入的特征。不妨设特征值m λλλ≥≥≥ 21，则y i =U i T X (i=1,2,…,m ) 就是输入对特征向量的投影，即为X 的第i 个主分量。用矩阵表示如（7.37）式：

X Y T U = （7.37）

其中，特征向量矩阵],...,,[21m U U U =U 满足E T

=UU ，而Y=[y 1,y 2,…,y m ]T 。因此，通过特征向量矩阵U 将输入的n 维向量X 变换成特征空间中的n 维的向量Y ，Y 的某一分量y i 为输入X 的第i 个主分量。

根据式（7.37），用特征向量的线性组合可以重构得到X ，如式（7.38）： ∑===m

i i i y U Y X 1U （7.38）

也就是根据所有主分量可以恢复出原先的输入向量X ，完成了从特征空间到输入空间的变换。

（2）特征提取过程

通过特征选择获得了所有的主分量，而在特征提取过程中，则选取主要的特征而舍弃次要的从而达到降维的目的。为此对向量Y 进行分析均值，对Y 的均值E [Y ]有：

][][][X E X E Y E T T U U ===0 （7.39）

因此，自协方差矩阵C Y 也就是Y 的自相关矩阵：

U U U U ][][][T T T T T Y XX E XX E YY E C === （7.40）

由于U 为X 的特征向量矩阵，所以有：

????????????=m Y C λλλ

00000021 （7.41）由（7.41）式可看出自协方差矩阵C Y 取决于原输入X 的自协方差矩阵。在对Y 进行截断时，要保证截断是均方误差意义下最优，可以根据决定主分量的特征向量所对应的特征值m λλλ,,,21 （m λλλ≥≥≥ 21）进行截断。特征向量所对应的特征值越大，它在重构时的贡献也越大，而特征值越小，该特征向量在重构时的贡献就越小。所以对那些特征值很小的特征向量，可以忽略。考虑m λλλ,,,21 中前L 个（1≤L ≤m ）最大的特征值，X

神经网络与模糊控制考试题及答案

一、填空题 1、模糊控制器由模糊化接口、解模糊接口、知识库和模糊推理机组成 2、一个单神经元的输入是 1.0 ，其权值是 1.5，阀值是-2，则其激活函数的净输入是-0.5 ，当激活函数是阶跃函数，则神经元的输出是 1 3、神经网络的学习方式有导师监督学习、无导师监督学习和灌输式学习 4、清晰化化的方法有三种：平均最大隶属度法、最大隶属度取最小/最大值法和中位数法，加权平均法 5、模糊控制规则的建立有多种方法，是：基于专家经验和控制知识、基于操作人员的实际控制过程和基于过程的模糊模型，基于学习 6、神经网络控制的结构归结为神经网络监督控制、神经网络直接逆动态控制、神网自适应控制、神网自适应评判控制、神网内模控制、神网预测控制六类 7．傅京逊首次提出智能控制的概念，并归纳出的3种类型智能控制系统是、和。 7、人作为控制器的控制系统、人机结合作为控制器的控制系统、无人参与的自主控制系统 8、智能控制主要解决传统控制难以解决的复杂系统的控制问题，其研究的对象具备的3个特点为、和。 8、不确定性、高度的非线性、复杂的任务要求 9．智能控制系统的主要类型有、、、、和。 9、分级递阶控制系统，专家控制系统，神经控制系统，模糊控制系统，学习控制系统，集成或者（复合）混合控制系统 10．智能控制的不确定性的模型包括两类：(1)； (2)。 10、(1)模型未知或知之甚少；(2)模型的结构和参数可能在很大范围内变化。11．控制论的三要素是：信息、反馈和控制。 12．建立一个实用的专家系统的步骤包括三个方面的设计，它们分别是、和。知识库的设计推理机的设计人机接口的设计 13．专家系统的核心组成部分为和。知识库、推理机 14．专家系统中的知识库包括了3类知识，它们分别为、、和。判断性规则控制性规则数据

模糊神经网络讲义

模糊神经网络（备课笔记）参考书：杨纶标，高英仪。《模糊数学原理及应用》（第三版），广州：华南理工大学出版社彭祖赠。模糊数学及其应用。武汉：武汉科技大学胡宝清。模糊理论基础。武汉：武汉大学出版社王士同。模糊系统、模糊神经网络及应用程序设计。《模糊系统、模糊神经网络及应用程序设计》本书全面介绍了模糊系统、模糊神经网络的基本要领概念与原理，并以此为基础，介绍了大量的应用实例及编程实现实例。顾名思义，模糊神经网络就是模糊系统和神经网络的结合，本质上就是将常规的神经网络（如前向反馈神经网络，Hopfield神经网络）赋予模糊输入信号和模糊权值。选自【模糊神经网络P17】预备知识复杂的东西是难以精确化的，这使得人们所需要的精确性和问题的复杂性间形成了尖锐的矛盾。正如模糊数学的创始人L.A.Zadeh(查德)教授（美国加利福尼亚大学）所说：“当系统的复杂性增加时，我们使它精确化的能力将减小。直到达到一个阈值，一旦超越它，复杂性和精确性将相互排斥。”这就是著名的“互克性原理”。该原理告诉我们，复杂性越高，有意义的精确化能力就越低；而复杂性意味着因素众多，以致人们往往不可能同时考察所有因素，只能把研究对象适当简化或抽象成模型，即抓住其中的主要部分而忽略掉次要部分。当在一个被压缩了的低维因素空间考虑问题时，即使本来是明确的概念，也会变得模糊起来。或者某些抽象简化模型本身就带有概念的不清晰，如“光滑铰链”这个力学模型，什么叫“光滑”、什么叫“粗糙”就没有一个明确的定义，客观上两者之间没有绝对分明的界限；主观上，决策者对此类非程序化决策做出判断时，主要是根据他的经验、能力和直观感觉等模糊概念进行决策的。或者判断一个人的好坏，本来有很多因素，比如人品、性格、相貌

模糊神经网络技术研究的现状及展望

模糊神经网络技术研究的现状及展望摘要：本文对模糊神经网络技术研究的现状进行了综述，首先介绍了模糊控制技术和神经网络技术的发展，然后结合各自的特点讨论了模糊神经网络协作体的产生以及优越性，接着对模糊神经网络的常见算法、结构确定、规则的提取等进行了阐述，指出了目前模糊神经网络的研究发展中还存在的一些问题，并对模糊神经网络的发展进行了展望。关键字：模糊控制；神经网络；模糊神经网络引言系统的复杂性与所要求的精确性之间存在尖锐的矛盾。为此，通过模拟人类学习和自适应能力，人们提出了智能控制的思想。控制理论专家Austrom（1991）在IFAC大会上指出：模糊逻辑控制、神经网络与专家控制是三种典型的智能控制方法。通常专家系统建立在专家经验上，并非建立在工业过程所产生的操作数据上，且一般复杂系统所具有的不精确性、不确定性就算领域专家也很难把握，这使建立专家系统非常困难。而模糊逻辑和神经网络作为两种典型的智能控制方法，各有优缺点。模糊逻辑与神经网络的融合——模糊神经网络由于吸取了模糊逻辑和神经网络的优点，避免了两者的缺点，已成为当今智能控制研究的热点之一了。 1 模糊神经网络的提出模糊集理论由美国著名控制论专家L.A.Zadeh于1965年创立[1]。1974年，英国著名学者E.H.Mamdani将模糊逻辑和模糊语言用于工业控制，提出了模糊控制论。至今，模糊控制已成功应用在被控对象缺乏精确数学描述及系统时滞、非线性严重的场合。人工神经网络理论萌芽于上世纪40年代并于80年代中后期重掀热潮，其基本思想是从仿生学的角度对人脑的神经系统进行功能化模拟。人工神经网络可实现联想记忆，分类和优化计算等功能，在解决高度非线性和严重不确定系统的控制问题方面，显示了巨大的优势和潜力模糊控制系统与神经网络系统具有整体功能的等效性[2]，两者都是无模型的估计器，都不需要建立任何的数学模型，只需要根据输入的采样数据去估计其需要的决策：神经网络根据学习算法，而模糊控制系统则根据专家提出的一些语言规则来进行推理决策。实际上，两者具有相同的正规数学特性，且共享同一状态空间[3]。另一方面，模糊控制系统与神经网络系统具有各自特性的互补性[。神经网络系统完成的是从输入到输出的“黑箱式”非线性映射，但不具备像模糊控制那样的因果规律以及模糊逻辑推理的将强的知识表达能力。将两者结合，后者正好弥补前者的这点不足，而神经网络的强大自学习能力则可避免模糊控制规则和隶属函数的主观性，从而提高模糊控制的置信度。因此，模糊逻辑和神经网络虽然有着本质上的不同，但由于两者都是用于处理不确定性问题，不精确性问题，两者又有着天然的联系。Hornik和White(1989)证明了神经网络的函数映射能力[4]；Kosko(1992)证明了可加性模糊系统的模糊逼近定理(FAT，Fuzzy Approximation Theorem)[5]；Wang和Mendel(1992)、Buckley和Hayashi(1993)、Dubots 和Grabish(1993)、Watkins(1994)证明了各种可加性和非可加性模糊系统的模糊逼近定理[6]。这说明模糊逻辑和神经网络有着密切联系，正是由于这类理论上的共性，才使模糊逻辑

第4章 SOM自组织特征映射神经网络

第4章 SOM 自组织特征映射神经网络生物学研究表明，在人脑的感觉通道上，神经元的组织原理是有序排列的。当外界的特定时空信息输入时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应的区域是连续映像的。生物视网膜中有许多特定的细胞对特定的图形比较敏感，当视网膜中有若干个接收单元同时受特定模式刺激时，就使大脑皮层中的特定神经元开始兴奋，输入模式接近，与之对应的兴奋神经元也接近；在听觉通道上，神经元在结构排列上与频率的关系十分密切，对于某个频率，特定的神经元具有最大的响应，位置相邻的神经元具有相近的频率特征，而远离的神经元具有的频率特征差别也较大。大脑皮层中神经元的这种响应特点不是先天安排好的，而是通过后天的学习自组织形成的。据此芬兰Helsinki 大学的Kohonen T.教授提出了一种自组织特征映射网络（Self-organizing feature Map ，SOM ），又称Kohonen 网络[1-5]。Kohonen 认为，一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式有不同的响应特征，而这个过程是自动完成的。SOM 网络正是根据这一看法提出的，其特点与人脑的自组织特性相类似。 4.1 竞争学习算法基础[6] 4.1.1 自组织神经网络结构 1．定义自组织神经网络是无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。 2．结构层次型结构，具有竞争层。典型结构：输入层＋竞争层。如图4-1所示。竞争层输入层图4-1 自组织神经网络结构

· 输入层：接受外界信息，将输入模式向竞争层传递，起“观察”作用。竞争层：负责对输入模式进行“分析比较”，寻找规律，并归类。 4.1.2 自组织神经网络的原理 1．分类与输入模式的相似性分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中，无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开来，实现模式样本的类内相似性和类间分离性。由于无导师学习的训练样本中不含期望输出，因此对于某一输入模式样本应属于哪一类并没有任何先验知识。对于一组输入模式，只能根据它们之间的相似程度来分为若干类，因此，相似性是输入模式的聚类依据。 2．相似性测量神经网络的输入模式向量的相似性测量可用向量之间的距离来衡量。常用的方法有欧氏距离法和余弦法两种。（1）欧式距离法设i X X ,为两向量，其间的欧式距离 T i i i X X X X X X d ))((--= -= （4-1） d 越小，X 与i X 越接近，两者越相似，当0=d 时，i X X =；以T d =（常数）为判据，可对输入向量模式进行聚类分析：由于312312,,d d d 均小于T ，465645,,d d d 均小于T ,而)6,5,4(1=>i T d i , )6,5,4(2=>i T d i , )6,5,4(3=>i T d i ，故将输入模式654321,,,,,X X X X X X 分为类1和类2两大类，如图4-2所示。（2）余弦法设i X X ,为两向量，其间的夹角余弦 i T X X XX = ?cos （4-2） ?越小，X 与i X 越接近，两者越相似；当?＝0时，?cos ＝1，i X X =；同样以0??=为判据可进行聚类分析。

模糊系统与神经网络结合的现状

模糊系统与神经网络结合的现状【摘要】本文首先介绍了模糊系统与神经网络概述，其次探讨了模糊和神经网络的结合形式、模糊系统与神经网络结合的现状及模糊神经网络的发展方向及存在问题。【关键词】模糊系统；神经网络；结合；现状一、前言随着我国经济的快速发展，我国的各项事业都取得了巨大的成就。其中模糊系统与神经网络的结合就是重要的体现，模糊系统与神经网络的结合在很多方面都得到了应用，同时也引起了更多学者研究其的愿望。相信模糊系统与神经网络的结合在未来会发展的更好。二、模糊系统与神经网络概述 1、模糊系统与神经网络的概念（1）、模糊系统概念模糊系统(Fuzzy System, 简称FS)是仿效人的模糊逻辑思维方法设计的系统, 方法本身明确地说明了系统在工作过程中允许数值量的不精确性存在。（2）、神经网络概念神经网络( Neural Network, 简称NN) 是由众多简单的神经元连接而成的网络。尽管每个神经元结构、功能都不复杂, 但网络的整体动态行为极为复杂, 可组成高度非线性动力学系统, 从而可表达许多复杂的物理系统。神经网络的研究从上世纪40年代初开始, 目前, 在世界范围已形成了研究神经网络前所未有的热潮。它已在控制、模式识别、图像和视频信号处理、金融证券、人工智能、军事、计算机视觉、优化计算、自适应滤波和A/D变换等方面获得了应用。 2、模糊系统与神经网络的异同（1）映射集及映射精度神经网络是用点到点的映射得到输入与输出的关系, 它的训练是确定量, 因而它的映射关系也是一一对应的; 模糊系统的输入、输出都是经过模糊化的量, 不是用明确的数来表示的, 其输入输出已模糊为一个隶属度的值,因此它是区域与区域间的映射, 可像神经网络一样映射一个非线性函数。

模糊控制与神经网络

BP神经网络 BP (Back Propagation)神经网络是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络。如图所示拓扑结构的单隐层前馈网络，一般称为三层前馈网或三层感知器，即：输入层、中间层（也称隐层）和输出层。它的特点是：各层神经元仅与相邻层神经元之间相互全连接，同层内神经元之间无连接，各层神经元之间无反馈连接，够成具有层次结构的前馈型神经网络系统。单计算层前馈神经网络只能求解线性可分问题，能够求解非线性问题的网络必须是具有隐层的多层神经网络。在人工神经网络发展历史中，很长一段时间里没有找到隐层的连接权值调整问题的有效算法。直到误差反向传播算法（BP算法）的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。神经网络神经网络是：思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1.信息是通过神经元上的兴奋模式分布储在网络上;2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。目前，主要的研究工作集中在以下几个方面：（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机馍拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。【人工神经网络的工作原理】人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。

竞争型神经网络与自组织神经网络

竞争型神经网络是基于无监督学习的神经网络的一种重要类型，作为基本的网络形式，构成了其他一些具有组织能力的网络，如学习向量量化网络、自组织映射网络、自适应共振理论网络等。与其它类型的神经网络和学习规则相比，竞争型神经网络具有结构简单、学习算法简便、运算速度快等特点。竞争型神经网络模拟生物神经网络系统依靠神经元之间的兴奋、协调与抑制、竞争的方式进行信息处理。一个竞争神经网络可以解释为：在这个神经网络中，当一个神经元兴奋后，会通过它的分支对其他神经元产生抑制，从而使神经元之间出现竞争。当多个神经元受到抑制，兴奋最强的神经细胞“战胜”了其它神经元的抑制作用脱颖而出，成为竞争的胜利者，这时兴奋最强的神经元的净输入被设定为 1，所有其他的神经元的净输入被设定为 0，也就是所谓的“成者为王，败者为寇”。一般说来，竞争神经网络包含两类状态变量：短期记忆变元（STM）和长期记忆变元（LTM）。STM 描述了快速变化的神经元动力学行为，而 LTM 描述了无监督的神经细胞突触的缓慢行为。因为人类的记忆有长期记忆（LTM）和短期记忆（STM）之分，因此包含长时和短时记忆的竞争神经网络在理论研究和工程应用中受到广泛关注。竞争性神经网络模型图自组织特征映射神经网络（简称SOM），是由输入层和输出层组成的单层神经网络，主要用于对输入向量进行区域分类。SOM是一种无导师聚类，能将一维输入模式在输出层映射成二维离散图形，此图形分布在网格中，网格大小由m*n 表示，并保持其拓扑结构不变，从而使有相似特征的神经元彼此靠近，不同特征的神经元彼此远离，最终实现区分识别样品的目的。SOM 通过学习输入向量的分布情况和拓扑结构，靠多个神经元的协同作用来完成模式分类。当神经网络接受外界输入模式时，神经网络就会将其分布在不同的对应区域，并且记忆各区域对输入模式的不同响应特征，使各神经元形成有序的空间分布。当输入不同的样品光谱时，网络中的神经元便随机兴奋，经过SOM 训练后神经元在输出层有序排列，作用相近的神经元相互靠近，作用不同的神经元相互远离。在神经网络的应用中，对于待识别的输入模式属于哪一类并没有任何先验知识，只能是把相似的模式样品划归为一类，而将不相似的分离开，从而实现样品的类内相似性和类间

模糊神经网络的基本原理与应用概述

模糊神经网络的基本原理与应用概述摘要：模糊神经网络（FNN）是将人工神经网络与模糊逻辑系统相结合的一种具有强大的自学习和自整定功能的网络,是智能控制理论研究领域中一个十分活跃的分支,因此模糊神经网络控制的研究具有重要的意义。本文旨在分析模糊神经网络的基本原理及相关应用。关键字：模糊神经网络，模糊控制，神经网络控制，BP算法。 Abstract:A fuzzy neural network is a neural network and fuzzy logic system with the combination of a powerful. The self-learning and self-tuning function of the network, is a very intelligent control theory research in the field of active branches. So the fuzzy neural network control research has the vital significance. The purpose of this paper is to analysis the basic principle of fuzzy neural networks and related applications. Key Words: Fuzzy Neural Network, Fuzzy Control, Neural Network Control, BP Algorithm.

1人工神经网络的基本原理与应用概述人工神经网络的概念人工神经网络(Artificial Neural Network,简称ANN)是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统,它使用大量简单的相连的人工神经元来模仿生物神经网络的能力,从外界环境或其它神经元获得信息,同时加以简单的运算,将结果输出到外界或其它人工神经元。神经网络在输入信息的影响下进入一定状态,由于神经元之间相互联系以及神经元本身的动力学特性,这种外界刺激的兴奋模式会自动地迅速演变成新的平衡状态,这样具有特定结构的神经网络就可定义出一类模式变换即实现一种映射关系。由于人工神经元在网络中不同的联接方式,就形成了不同的人工神经网络模式,其中误差反向传播网络(Back-Propagation Network,简称BP网络)是目前人工神经网络模式中最具代表性,应用得最广泛的一种模型【1,2】。人工神经网络研究的发展简史人工神经网络的研究己有近半个世纪的历史但它的发展并不是一帆风顺的,神经网络的研究大体上可分为以下五个阶段[3]。 (1) 孕育期(1956年之前):1943年Mcculloch与Pitts共同合作发表了“A logical calculus of ideas immanent in Nervous Activity”一文,提出了神经元数学模型(即MP模型)。1949年Hebb提出Hebb学习法则,对神经网络的发展做出了重大贡献。可以说,MP模型与学习规则为神经科学与电脑科学之间架起了沟通的桥梁,也为后来人工神经网络的迅速发展奠定了坚实的基础。 (2)诞生期(1957年一1968年):1960年Widrow提出了自适应线性元件模型,Rossenbaltt在1957年提出了第一种人工神经网络模式一感知机模式,由二元值神经元组成,该模式的产生激起了人工神经网络研究的又一次新高潮。(3)挫折期(1969年一1981年):1969年Minsky等人写的《感知机》一书以数学方法证明了当时的人工神经网络模式的学习能力受到很大限制。之后,人工神经网络的研究一直处于低潮。

自组织特征映射网络(SOM)课件

人工神经网络自组织特征映射网络简介二〇一二年十二月

目录： 1. 由自组织竞争神经网络谈起 2. 自组织特征映射网基本概念 3. 自组织特征映射网拓扑结构 4. 自组织特征映射网学习算法 5. 自组织特征映射网的应用

从自组织竞争神经网络谈起：此类网络是模拟生物神经系统“侧抑制”现象的一类人工神经网络。自组织特征映射网是此类网络的主要类型之一。在生物神经系统中，存在着一种“侧抑制”现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。这种“侧抑制”使神经细胞之间呈现出竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞会逐渐抑制周围神经细胞，其结果使其周围神经细胞兴奋度减弱，从而兴奋度最高的细胞是这次竞争的“胜者”，而其他神经细胞在竞争中失败。自组织竞争神经网络就是模拟上述生物神经系统功能的人工神经网络。如右图所示，输出层各神经元之间都有双向连接线，各连接线被赋予相应的权值。从而实现对生物网络神经元相互竞争和抑制现象的模拟。 x1x 2 x i ············

自组织竞争神经网络通过对“侧抑制”现象的模拟，具备自组织功能，能无导师学习。自组织功能无导师学习自组织竞争神经网络的一大特点是：具有自组织功能，能够自适应地改变网络参数和结构，从而实现无导师学习。自组织竞争网络无导师学习方式更类似于人类大脑神经网络的学习，大大拓宽了神经网络在模式识别和和分类上的应用。无导师指导的分类称为聚类，由于无导师学习的训练样本中不含有期望输出，因此没有任何先验的知识。特殊网络结构自组织竞争网的无导师指导学习是通过其特殊的网络结构实现的。自组织竞争网在结构上属于层次型网络，共同特点是都具有竞争层。自组织竞争网络的竞争层，各神经元之间存在横向连接，各连接被赋予权值。通过竞争学习规则，达到自组织，实现对输入样本的自动分类。特殊学习规则竞争学习规则：竞争层神经元之间相互竞争以求被激活，结果在每一轮竞争中只有一个神经元被激活。这个被激活的神经元称为“获胜神经元”，而其它神经元的状态被抑制。然后获胜神经元及其附近神经元的对应权值将被调整以反映竞争结果。主要的竞争学习规则有“胜者为王”和Kohonen规则等。“胜者为王”只修改获胜神经元权值，Kohonen规则修改获胜神经元邻域内各神经元权值。

第7章竞争神经网络

神经网络与模糊控制考试题及答案

模糊神经网络讲义

模糊神经网络技术研究的现状及展望

第4章 SOM自组织特征映射神经网络

模糊系统与神经网络结合的现状

相关系数,回归模型,自组织竞争神经网络

模糊控制与神经网络

竞争型神经网络与自组织神经网络

模糊神经网络的基本原理与应用概述

自组织特征映射网络(SOM)课件

相关文档

最新文档

第7章 竞争神经网络

神经网络与模糊控制考试题及答案

模糊神经网络讲义

模糊神经网络技术研究的现状及展望

第4章 SOM自组织特征映射神经网络

模糊系统与神经网络结合的现状

相关系数,回归模型,自组织竞争神经网络

模糊控制与神经网络

竞争型神经网络与自组织神经网络

模糊神经网络的基本原理与应用概述

自组织特征映射网络(SOM)课件

相关文档

最新文档

第7章竞争神经网络