2015复杂网络拓扑结构与演化模型研究综述_二_张方风
复杂网络及其在国内研究进展的综述
第17卷第4期2009年10月 系统科学学报 JOURNAL OF SYSTEMS SCIENCE Vo1.17No.4 oct ，2009 复杂网络及其在国内研究进展的综述 刘建香 （华东理工大学商学院上海200237） 摘要：从复杂网络模型的演化入手，在简要介绍复杂网络统计特征的基础上，对国内关于复杂网络理论及其应用的研究现状从两方面进行综述：一是对国外复杂网络理论及应用研究的介绍，包括复杂网络理论研究进展的总体概括、复杂网络动力学行为以及基于复杂网络理论的应用研究介绍；二是国内根植于本土的复杂网络的研究，包括复杂网络的演化模型，复杂网络拓扑性质、动力学行为，以及复杂网络理论的应用研究等。并结合复杂网络的主要研究内容,对今后的研究重点进行了分析。 关键词：复杂网络；演化；拓扑；动力学行为中图分类号：N941 文献标识码：A 文章编号：1005-6408（2009）04-0031-07 收稿日期：2009-01-05 作者简介：刘建香（1974—），女，华东理工大学商学院讲师，研究方向：系统工程。E-mail ：jxliu@https://www.sodocs.net/doc/0716250737.html, 0引言 系统是由相互作用和相互依赖的若干组成部分结合的具有特定功能的有机整体[1]。而网络是由节点和连线所组成的。如果用节点表示系统的各个组成部分即系统的元素，两节点之间的连线表示系统元素之间的相互作用，那么网络就为研究系统提供了一种新 的描述方式[2、3] 。复杂网络作为大量真实复杂系统的高度抽象[4、5]，近年来成为国际学术界一个新兴的研究热 点，随着复杂网络逐渐引起国内学术界的关注，国内已有学者开始这方面的研究，其中有学者对国外的研究进展情况给出了有价值的文献综述，而方锦清[6]也从局域小世界模型、含权网络与交通流驱动的机制、混合择优模型、动力学行为的同步与控制、广义的同步等方面对国内的研究进展进行了简要概括，但是到目前为止还没有系统介绍国内关于复杂网络理论及应用研究现状的综述文献。本文从复杂网络模型的演化入手，在简要介绍复杂网络统计特征的基础上，对国内研究现状进行综述，希望对国内关于复杂网络的研究起到进一步的推动作用。 1.复杂网络模型的发展演化 网络的一种最简单的情况就是规则网络 [7] ，它 是指系统各元素之间的关系可以用一些规则的结构来表示，也就是说网络中任意两个节点之间的联系遵循既定的规则。但是对于大规模网络而言由于其复杂性并不能完全用规则网络来表示。20世纪50年代末，Erdos 和Renyi 提出了一种完全随机的网络模型———随机网络（ER 随机网络），它指在由N 个节点构成的图中以概率p 随机连接任意两个节点而成的网络，即两个节点之间连边与否不再是确定的事，而是由概率p 决定。或简单地说，在由N 个节点构成的图中，可以存在条边，从中随机连接M 条边所构成的网络就叫随机网络。如果选择M =p ，这两种构造随机网络模型的方法就可以联系起来。规则网络和随机网络是两种极端的情况，对于大量真实的网络系统而言，它们既不是规则网络也不是随机网络，而是介于两者之间。1998年，Watts 和Strogatz [8]提出了WS 网络模型，通过以概率p 切断规则网络中原始的边并选择新的端点重新连接 31--
Hopfield神经网络综述
题目：Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfiel d神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfiel d神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
复杂网络研究概述,入门介绍
复杂网络研究概述 周涛柏文洁汪秉宏刘之景严钢 中国科学技术大学，近代物理系，安徽合肥：230026 摘要：近年来，真实网络中小世界效应和无标度特性的发现激起了物理学界对复杂网路的研究热潮。复杂网络区别于以前广泛研究的规则网络和随机网络最重要的统计特征是什么？物理学家研究复杂网络的终极问题是什么？物理过程以及相关的物理现象对拓扑结构是否敏感？物理学家进入这一研究领域的原因和意义何在？复杂网络研究领域将来可能会向着什么方向发展?本文将围绕上述问题，从整体上概述复杂网络的研究进展。 关键词：复杂网络小世界无标度拓扑性质 A short review of complex networks Zhou Tao Bai Wen-Jie Wang Bing-Hong? Liu Zhi-Jing Yan Gang Department of Modern Physics, University of Science and Technology of China, Hefei, 230026 Abstract: In recent years, the discoveries of small-world effect and scale-free property in real-life networks have attracted a lot of interest of physicists. Which are the most important statistical characteristics for complex networks that known from regular networks and random networks? What is the ultimate goal of the study of complex networks? Are physical processes sensitive to the topological structure of networks? What are the reason and meaning that physicist come into the research field on complex networks? What are the directions for future research? In the present paper, we concentrate on those questions above and give a general review about complex networks. Keyword: complex networks, small-world, scale-free, topological characters 1 引言 自然界中存在的大量复杂系统都可以通过形形色色的网络加以描述。一个典型的网络是由许多节点与连接两个节点之间的一些边组成的，其中节点用来代表真实系统中不同的个体，而边则用来表示个体间的关系，往往是两个节点之间具有某种特定的关系则连一条边，反之则不连边，有边相连的两个节点在网络中被看作是相邻的。例如，神经系统可以看作大量神经细胞通过神经纤维相互连接形成的网络[1]；计算机网络可以看作是自主工作的计算机通过通信介质如光缆、双绞线、同轴电缆等相互连接形成的网络[2]。类似的还有电力网络[1]、社会关系网络[1,3-4]、交通网络[5]等等。 数学家和物理学家在考虑网络的时候，往往只关心节点之间有没有边相连，至于节点到底在什么位置，边是长还是短，是弯曲还是平直，有没有相交等等都是他们不在意的。在这里，我们把网络不依赖于节点的具体位置和边的具体形态就能表现出来的性质叫做网络的拓扑性质，相应的结构叫做网络的拓扑结构。那么，什么样的拓扑结构比较适合用来描述真实的系统呢？两百多年来，对这个问题的研究经历了三个阶段。在最初的一百多年里，科学家们认为真实系统各因素之间的关系可以用一些规则的结构表示，例如二维平面上的欧几里德格网，它看起来像是格子体恤衫上的花纹；又或者最近邻环网，它总是会让你想到一群手牵着手围着篝火跳圆圈舞的姑娘。到了二十世纪五十年代末，数学家们想出了一种新的构造网
Hopfield神经网络综述
题目： Hopfield神经网络综述 一、概述： 1.什么是人工神经网络（Artificial Neural Network，ANN) 人工神经网络是一个并行和分布式的信息处理网络结构，该网络结构一般由许多个神经元组成，每个神经元有一个单一的输出，它可以连接到很多其他的神经元，其输入有多个连接通路，每个连接通路对应一个连接权系数。 人工神经网络系统是以工程技术手段来模拟人脑神经元（包括细胞体，树突，轴突）网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟：一是结构和实现机理；二是从功能上加以模拟。 根据神经网络的主要连接型式而言，目前已有数十种不同的神经网络模型，其中前馈型网络和反馈型网络是两种典型的结构模型。 1）反馈神经网络(Recurrent Network) 反馈神经网络，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：（1）.网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； （2）.系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络是一种动态网络，它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。 2.Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出，是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。在输入的激励下，会产生不断的状态变化。 反馈网络有稳定的，也有不稳定的，如何判别其稳定性也是需要确定的。对于一个Hopfield 网络来说，关键是在于确定它在稳定条件下的权系数。 下图中，第0层是输入，不是神经元；第二层是神经元。
复杂网络模型的matlab实现
function [DeD,aver_DeD]=Degree_Distribution(A) %% 求网络图中各节点的度及度的分布曲线 %% 求解算法：求解每个节点的度，再按发生频率即为概率，求P(k) %A————————网络图的邻接矩阵 %DeD————————网络图各节点的度分布 %aver_DeD———————网络图的平均度 N=size(A,2); DeD=zeros(1,N); for i=1:N % DeD(i)=length(find((A(i,:)==1))); DeD(i)=sum(A(i,:)); end aver_DeD=mean(DeD); if sum(DeD)==0 disp('该网络图只是由一些孤立点组成'); return; else figure; bar([1:N],DeD); xlabel('节点编号n'); ylabel('各节点的度数K'); title('网络图中各节点的度的大小分布图'); end figure; M=max(DeD); for i=1:M+1; %网络图中节点的度数最大为M,但要同时考虑到度为0的节点的存在性 N_DeD(i)=length(find(DeD==i-1)); % DeD=[2 2 2 2 2 2] end P_DeD=zeros(1,M+1); P_DeD(:)=N_DeD(:)./sum(N_DeD); bar([0:M],P_DeD,'r'); xlabel('节点的度 K'); ylabel('节点度为K的概率 P(K)'); title('网络图中节点度的概率分布图'); 平均路径长度 function [D,aver_D]=Aver_Path_Length(A) %% 求复杂网络中两节点的距离以及平均路径长度 %% 求解算法：首先利用Floyd算法求解出任意两节点的距离，再求距离的平均值得平均路
最新神经网络最新发展综述汇编
神经网络最新发展综述 学校：上海海事大学 专业：物流工程 姓名：周巧珍 学号：201530210155
神经网络最新发展综述 摘要：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。目前，模拟人脑复杂的层次化认知特点的深度学习成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。本文分8个方面综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。 关键词: 类脑智能；神经网络；深度学习；大数据 Abstract: As a typical realization of connectionism intelligence, neural network, which tries to mimic the information processing patterns in the human brain by adopting broadly interconnected structures and effective learning mechanisms, is an important branch of artificial intelligence and also a useful tool in the research on brain-like intelligence at present. Currently, as a way to imitate the complex hierarchical cognition characteristic of human brain, deep learning brings an important trend for brain-like intelligence. With the increasing number of layers, deep neural network entitles machines the capability to capture “abstract concepts” and it has achieved great success in various fields, leading a new and advanced trend in neural network research. This paper summarizes the latest progress in eight applications and existing problems considering neural network and points out its possible future directions. Key words : artificial intelligence; neural network; deep learning; big data 1 引言 实现人工智能是人类长期以来一直追求的梦想。虽然计算机技术在过去几十年里取得了长足的发展，但是实现真正意义上的机器智能至今仍然困难重重。伴随着神经解剖学的发展，观测大脑微观结构的技术手段日益丰富，人类对大脑组织的形态、结构与活动的认识越来越深入，人脑信息处理的奥秘也正在被逐步揭示。如何借助神经科学、脑科学与认知科学的研究成果，研究大脑信息表征、转换机理和学习规则，建立模拟大脑信息处理过程的智能计算模型，最终使机器掌握人类的认知规律，是“类脑智能”的研究目标。 类脑智能是涉及计算科学、认知科学、神经科学与脑科学的交叉前沿方向。类脑智能的
复杂网络中节点影响力挖掘及其应用研究
复杂网络中节点影响力挖掘及其应用研究 复杂网络结构和行为的交互作用使节点在网络的结构和功能上 具有不同的重要性。节点重要性的标准在不同的网络功能下各不相同。对于复杂网络上的传播行为,如疾病、信息、行为、故障等的传播, 重要节点是指能够激发信息等的大范围传播或阻止传播扩散至整个 系统的节点。这些节点称为网络中最有影响力的传播源。快速、准确地识别网络中有影响力的节点有助于利用有限资源实现传播控制,如 提升市场营销的范围、抑制流行病的爆发、阻止谣言的蔓延等。复杂网络节点中心性用于度量节点在网络中的重要性。本文基于中心性的思想,结合网络拓扑结构特征和传播动力学特性,研究真实复杂网络 中节点影响力排序及最有影响力的节点识别问题。鉴于κ-壳分解算 法被广泛地用于识别网络的核心结构和网络中最有影响力的节点,首 先研究了该方法在不同真实复杂网络上的适用性。通过大量真实网络上的模拟,发现与已有研究结论不同,并非在所有的真实网络中κ-壳 分解算法识别的网络核心节点都具有最高的传播影响力。在部分真实网络中,核心节点传播影响力非常低。为了揭示κ-壳分解算法识别最有影响力节点失效的原因,我们深入研究了真实网络宏观和微观结构 的差异,最终通过分析网络各壳层之间的连接特征,提出κ-壳分解算 法识别的网络核心可能是假核心,称为类核团。基于真核心和类核团 连接的差异,提出了壳层连接熵的定义,通过连接熵可以准确定位网 络中的类核团。本研究揭示了网络中存在的类核团将导致κ-壳分解 算法无法准确判定最有影响力的节点,并提出了类核团的识别方法。
这一研究成果对于利用该算法判定节点在网络中的核心位置从而识别有影响力的传播源具有重要意义。针对类核团导致κ-壳分解算法识别网络核心节点失效的问题,进一步研究如何消除类核团的负面影响,准确识别网络传播中最有影响力的节点。通过提取并对比网络真核心和类核团的局域连接结构,我们揭示了类核团具有类似派系的结构。为了量化真核心和类核团结构上的差异,定义了边的传播重要性,将传播重要性低于冗余阈值的边判定为网络中的冗余边,它们在传播中的贡献相对较小但却导致了类核团的形成。通过过滤网络中的冗余边,并在剩余图上实施κ-壳分解,新的节点核心性在度量节点影响力时准确性明显大幅度提升。这一研究结果揭示了真实复杂网络的局域结构对排序算法的影响,提高了最有影响力节点的识别准确性。发现冗余边对网络节点中心性的计算、社区划分、网络控制等基于网络的应用也有一定意义。在定义节点影响力排序指标时,节点的局域连接结构将影响排序指标的准确性。考虑到节点的重要性不仅取决于它自身的中心性,也与其邻居的中心性有关,我们提出一种新的节点影响力排序指标,称为邻居集中心性,并着重研究邻居集步数、衰减因子和传播概率对邻居集中心性排序性能的影响。研究发现在考虑邻居集对节点重要性的贡献时存在饱和效应,考虑节点两步以内邻居集能够最好地平衡排序准确性与所需的网络结构信息。本研究提出的排序方法能够比经典的度中心性和核心性更准确地预测节点的传播影响力。最后,我们基于网络的局域结构研究边的传播重要性与其局域结构的定量关系,并设计新的网络分层算法s-壳分解。研究发现边在传播中的
复杂网络理论及其研究现状
复杂网络理论及其研究现状 复杂网络理论及其研究现状 【摘要】简单介绍了蓬勃发展的复杂网络研究新领域，特别是其中最具代表性的是随机网络、小世界网络和无尺度网络模型；从复杂网络的统计特性、复杂网络的演化模型及复杂网络在社会关系研究中的应用三个方面对其研究现状进行了阐述。 【关键词】复杂网络无标度小世界统计特性演化模型 一、引言 20世纪末，以互联网为代表的信息技术的迅速发展使人类社会步入了网络时代。从大型的电力网络到全球交通网络，从Internet 到WWW，从人类大脑神经到各种新陈代谢网络，从科研合作网络到国际贸易网络等，可以说，人类生活在一个充满着各种各样的复杂网络世界中。 在现实社会中，许多真实的系统都可以用网络的来表示。如万维网（WWW网路）可以看作是网页之间通过超级链接构成的网络；网络可以看成由不同的PC通过光缆或双绞线连接构成的网络；基因调控网络可以看作是不同的基因通过调控与被调控关系构成的网络；科学家合作网络可以看成是由不同科学家的合作关系构成的网络。复杂网络研究正渗透到数理科学、生物科学和工程科学等不同的领域，对复杂网络的定性与定量特征的科学理解，已成为网络时代研究中一个极其重要的挑战性课题，甚至被称为“网络的新科学”。 二、复杂网络的研究现状 复杂网络是近年来国内外学者研究的一个热点问题。传统的对网络的研究最早可以追溯到18世纪伟大数学家欧拉提出的著名的“Konigsberg七桥问题”。随后两百多年中，各国的数学家们一直致力于对简单的规则网络和随机网络进行抽象的数学研究。规则网络过于理想化而无法表示现实中网络的复杂性，在20世纪60年代由Erdos和Renyi（1960）提出了随机网络。进入20世纪90年代，人们发现现实世界中绝大多数的网络既不是完全规则，也不是完全随机
人工神经网络综述
目录 1 人工神经网络算法的工作原理 (3) 2 人工神经网络研究内容 (4) 3 人工神经网络的特点 (5) 4 典型的神经网络结构 (6) 4.1 前馈神经网络模型 (6) 4.1.1 自适应线性神经网络(Adaline) (6) 4.1.1.1网络结构 (6) 4.1.1.2学习算法步骤 (7) 4.1.1.3优缺点 (7) 4.1.2单层感知器 (8) 4.1.2.1网络结构 (8) 4.1.2.2学习算法步骤 (9) 4.1.2.3优缺点 (9) 4.1.3多层感知器和BP算法 (10) 4.1.3.1网络结构： (10) 4.1.3.2 BP算法 (10) 4.1.3.3算法学习规则 (11) 4.1.3.4算法步骤 (11) 4.1.3.5优缺点 (12) 4.2反馈神经网络模型 (13) 4.2.1 Hopfield神经网络 (13) 4.2.1.1网络结构 (13) 4.2.1.2 学习算法 (15) 4.2.1.3 Hopfield网络工作方式 (15) 4.2.1.4 Hopfield网络运行步骤 (15) 4.2.1.5优缺点 (16) 4.2.2海明神经网络（Hamming） (16) 4.2.2.1网络结构 (16) 4.2.2.2学习算法 (17) 4.2.2.3特点 (18) 4.2.3双向联想存储器（BAM） (19) 4.2.3.1 网络结构 (19) 4.2.3.2学习算法 (19) 4.2.3.4优缺点 (21) 5.人工神经网络发展趋势以及待解决的关键问题 (22) 5.1 与小波分析的结合 (22) 5.1.1小波神经网络的应用 (23) 5.1.2待解决的关键技术问题 (23) 5.2混沌神经网络 (23) 5.2.1混沌神经网络的应用 (24) 5.2.2待解决的关键技术问题 (24)
小世界复杂网络模型研究
小世界复杂网络模型研究 摘要：复杂网络在工程技术、社会、政治、医药、经济、管理领域都有着潜在、广泛的应用。通过高级计算机网络课程学习，本文介绍了复杂网络研究历史应用，理论描述方法及阐述对几种网络模型的理解。 1复杂网络的发展及研究意义 1.1复杂网络的发展历程 现实世界中的许多系统都可以用复杂网络来描述，如社会网络中的科研合作网、信息网络中的万维网、电力网、航空网，生物网络中的代谢网与蛋白质网络。 由于现实世界网络的规模大，节点间相互作用复杂，其拓扑结构基本上未知或未曾探索。两百多年来，人们对描述真实系统拓扑结构的研究经历了三个阶段。在最初的一百多年里，科学家们认为真实系统要素之间的关系可以用一些规则的结构表示，例如二维平面上的欧几里德格网；从20世纪50年代末到90年代末，无明确设计原则的大规模网络主要用简单而易于被多数人接受的随机网络来描述，随机图的思想主宰复杂网络研究达四十年之久；直到最近几年，科学家们发现大量的真实网络既不是规则网络，也不是随机网络，而是具有与前两者皆不同的统计特性的网络，其中最有影响的是小世界网络和无尺度网络。这两种网络的发现，掀起了复杂网络的研究热潮。 2复杂网络的基本概念 2.1网络的定义 自随机图理论提出至今，在复杂网络领域提出了许多概念和术语。网络（Network）在数学上以图（Graph）来表示，图的研究最早起源于18世纪瑞士著名数学家Euler的哥尼斯堡七桥问题。复杂网络可以用图论的语言和符号精确简洁地加以描述。图论不仅为数学家和物理学家提供了描述网络的语言和研究的平台，而且其结论和技巧已经被广泛地移植到复杂网络的研究中。 网络的节点和边组成的集合。节点为系统元素，边为元素间的互相作用（关系）。若用图的方式表示网络，则可以将一个具体网络可抽象为一个由点集V和
基于人工神经网络预测探究文献综述
基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些
动态神经网络综述
动态神经网络综述 摘要 动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。 关键词：动态神经网络，模型，功能，算法，应用 Abstract Dynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion. Keywords: DNN, Models , Function , Algorithm , Application
1、绪论 人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。 神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。 本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。 2、DNN网络的基本模型和算法 根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。 反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示: 图2-1 反馈网络模型 反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 反馈网络根据信号的时间域的性质的分类为
开源软件的复杂网络分析及建模
第4卷第3期 复杂系统与复杂性科学 Vol.4No.3 2007年9月 C OMP LEX SYSTE M S AND COM P LEX I TY SC I E NCE Sep.2007 文章编号:1672-3813(2007)03-0001-09 开源软件的复杂网络分析及建模 郑晓龙,曾大军,李慧倩,毛文吉,王飞跃,戴汝为 (中国科学院自动化研究所复杂系统与智能科学重点实验室,北京100080) 摘要:开源软件现在变得越来越复杂。把开源软件看作复杂网络并进行研究,有助 于更好地理解软件系统。同时,开源软件是一种较为复杂的人工系统,通过对它们 的研究也可以推动复杂网络理论的应用。以一种基于源代码包的L inux操作系 统———Gent oo L inux操作系统为研究对象,我们把该系统中的软件包抽象成节点, 软件包之间的依赖关系抽象成边,以此建立复杂网络,并对其进行了分析。发现已 有模型不能很好地描述与预测Gent oo网的演化过程,因此,提出了一种新的演化模型。在该模型中,网络现有节点连接新节点的概率不但与现有节点的度有关系,而且也受到现有节点“年龄”的影响。还通过计算机仿真实验把仿真数据与Gent oo真实数据进行了比较,结果显示,新模型更为适合Gent oo网。 关键词:复杂网络;Gent oo;聚集系数;度分布;模型 中图分类号:N94;TP393;TP31文献标识码:A Ana lyz i n g and M odeli n g O pen Source Software a s Co m plex Networks ZHENG Xiao2l ong,ZENG Da2jun,L I Hui2qian,MAO W en2ji,WANG Fei2yue,DA I Ru2wei (The Key Laborat ory of Comp lex Syste m s and I ntelligence Science,I nstitute of Aut omati on, Chinese Academy of Sciences,Beijing100080,China) Abstract:Soft w are syste m s including those based on open2s ource code are becom ing increasingly com2 p lex.Studying the m as comp lex net w orks can p r ovide quantifiable measures and useful insights fr om the point of vie w of s oft w are engineering.I n the mean while,as one of the most comp lex man2made artifacts, they p r ovide a fruitful app licati on domain of comp lex syste m s theory.I n this paper,we analyze one of the most popular L inux meta packages/distributi ons called the Gent oo syste m.I n our analysis,we model s oft2 ware packages as nodes and dependencies a mong the m as arcs.Our e mp irical study shows that the resul2 ting Gent oo net w ork can not be exp lained by existing random graph models.This motivates our work in devel op ing a ne w model in which ne w nodes are connected t o old nodes with p r obabilities that depend not only on the degrees of the old nodes but als o the“ages”of these nodes.Thr ough si m ulati on,we de mon2 strate that our model has better exp lanat ory power than the existing models. Key words:comp lex net w orks;Gent oo;cluster coefficient;degree distributi on;model 收稿日期:2007-08-23 基金项目:国家自然科学基金委基金(60621001,60573078);科技部973项目(2006CB705500,2004CB318103);中国科学院、国家外国专家局,创新团队国际合作伙伴计划(2F05N01) 作者简介:郑晓龙(1982-),男,安徽人,博士研究生,研究方向为复杂网络与数据挖掘。
深度神经网络全面概述
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高 效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址： 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出 了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。 在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱， 但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下： ?Section II 给出了DNN 为什么很重要的背景、历史和应用。 ?Section III 给出了DNN 基础组件的概述，还有目前流行使用的DNN 模型。 ?Section IV 描述了DNN 研发所能用到的各种资源。 ?Section V 描述了处理DNN 用到的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生bit-wise identical 结果)。 ?Section VI 讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-data processing)，从而解决DNN 中数据流通时面临的吞吐量和能量消耗难题。 ?Section VII 描述了各种用来改进DNN 吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。 ?Section VIII 描述了对比DNN 设计时应该考虑的关键标准。
复杂网络的社区结构
第８卷第１期 复杂系统与复杂性科学ｖ０１．８Ｎｏ．１２０１１年３月ＣＯＭ呻ＬＥＸＳＹＳＴＥＭＳＡＮＤＣＯＭＰＬＥＸＩＴＹＳＣＩＥＮＣＥＭａｒ．２０１１文章编号：１６７２—３８１３（２０１１）０１一００５７—１４ 复杂网络的社区结构 程学旗，沈华伟 （中国科学院计算技术研究所，北京１００１９０） 摘要：社区结构作为真实复杂网络所普遍具有的一个重要拓扑特性，在最近１０ 内得到了广泛而深入的研究。回顾了近几年国内外社区结构研究的主要进展， 点介绍社区发现的研究历程和研究成果，并结合社会计算的背景展望了社区结研究的未来发展方向和潜在的应用价值。 关键词：社区结构；社区发现；模块度；社会计算 中图分类号：Ｎ９４文献标识码：Ａ ＣｏｍｍｕｎｉｔｙＳｔｒｕｃｔｕｒｅｏｆＣｏｍｐｌｅｘＮｅｔｗｏｒｋｓ ＣＨＥＮＧＸｕｅ－ｑｉ，（ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎ０１０９ｙ，ＣｈｉｎｅｓｅＳＨＥＮＨｕａ—ｗｅｉ ＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅ巧ｉｎｇ１００１９０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓａｃｏｍｍｏｎａｎｄｉｍｐｏｒｔａｎｔｔｏｐｏｌｏｇｉｃａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｒｅａｌｗｏｒｌｄｃｏｍｐｌｅｘｎｅｔｗｏｒｋｓ， ｃｏｍｍｕｎｉｔｙｓｔｒｕｃｔｕｒｅｈａｓｂｅｅｎｅｘｔｅｎｓｉＶｅｌｙｓｔｕｄｉｅｄｉｎｔｈｅｌａｓｔｄｅｃａｄｅ． Ｔｈｉｓｐａｐｅｒｒｅｖｉｅｗｓｔｈｅｍａｉｎｐｒｏｇｒｅｓｓｅｓｉｎｔｈｅｓｃｉｅｎｔｉｆｉｃｒｅｓｅａｒｃｈ ｏｎｃｏｍｍｕｎｉｔｙｓｔｒｕｃｔｕｒｅ．Ｅｓｐｅｃｉａｌｌｙ，ｔｈｉｓｐａｐｅｒｄｅｓｃｒｉｂｅｓｔｈｅｄｅＶｅｌｏｐｍｅｎｔａｔｔｈｅｄｅｔｅｃｔｉｏｎｏｆｃｏｍｍｕｎｉｔｙｓｔｒｕｃｔｕｒｅｆｒｏｍｖａｒｉｏｕｓｄｉｓｃｉｐｌｉｎｅｓ． Ｆｉｎａｌｌｙ，ｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｓｔｈｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｆｔｈｅｃｏｍｍｕｎｉｔｙ ｓｔｒｕｃｔｕｒｅａｎｄｔｈｅｐｏｔｅｎｔｉａｌａｐｐｌｉｃａｔｉｏｎｓ ｉｎｓｏｃｉａＩｃｏｍｐｕｔｉｎｇ．Ｋｅｙｗｏｒｄｓ：ｃｏｍｍｕｎｉｔｙｓｔｒｕｃｔｕｒｅ；ｃｏｍｍｕｎｉｔｙｄｅｔｅｃｔｉｏｎ；ｍｏｄｕｌａｒｉｔｙ；ｓｏｃｉａｌｃｏｍｐｕｔｉｎｇ ０引言 真实世界中的许多复杂系统可以表示成图或网络，包括社会网络、信息网络、生物网络和技术网络等［１剖。经验分析表明，这些复杂网络可以自然地分成一些节点组，使同一个节点组内的两个节点之间比不同节点组的两个节点之间更倾向于有边相连，网络的这种拓扑特性被称为社区结构，相应地，每个节点组被称为一个社区‘６’。 社区结构刻画了网络中连边关系的局部聚集特性，也体现了网络中连边的分布不均匀性。进一步，网络中的社区通常由功能相近或性质相似的网络节点组成，因此，社区被认为有助于揭示网络结构和功能之间的关系。卜引。以万维网（ＷｏｒｌｄｗｉｄｅＷｅｂ）为例，通过超链接紧密关联的网页形成一个个的社区，同一个社区的网页具有相近的话题［３刮。社区结构的示例如图１所示。 收稿日期：２０１０一】Ｏ一２９ 墓金项目：国家自然科学基金（６０８７３２４５，６０９３３００５） 作者简介：程学旗（１９７ｌ一），男，研究员，博导，主要研究方向为网络科学、海量信息检索和数据挖掘、社会计算、分布式计算和网络模拟仿真。 年重构