生成式对抗网络GAN的研究进展与展望

第43卷第3期自动化学报Vol.43,No.3 2017年3月ACTA AUTOMATICA SINICA March,2017

生成式对抗网络GAN的研究进展与展望

王坤峰1,2苟超1,3段艳杰1,3林懿伦1,3郑心湖4王飞跃1,5

摘要生成式对抗网络GAN(Generative adversarial networks)目前已经成为人工智能学界一个热门的研究方向.GAN 的基本思想源自博弈论的二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习的方式来训练.目的是估测数据样本的潜在分布并生成新的数据样本.在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等领域,GAN正在被广泛研究,具有巨大的应用前景.本文概括了GAN的研究进展,并进行展望.在总结了GAN的背景、理论与实现模型、应用领域、优缺点及发展趋势之后,本文还讨论了GAN与平行智能的关系,认为GAN可以深化平行系统的虚实互动、交互一体的理念,特别是计算实验的思想,为ACP(Arti?cial societies,computational experiments,and parallel execution)理论提供了十分具体和丰富的算法支持.

关键词生成式对抗网络,生成式模型,零和博弈,对抗学习,平行智能,ACP方法

引用格式王坤峰,苟超,段艳杰,林懿伦,郑心湖,王飞跃.生成式对抗网络GAN的研究进展与展望.自动化学报,2017, 43(3):321?332

DOI10.16383/j.aas.2017.y000003

Generative Adversarial Networks:The State of the Art and Beyond WANG Kun-Feng1,2GOU Chao1,3DUAN Yan-Jie1,3LIN Yi-Lun1,3

ZHENG Xin-Hu4WANG Fei-Yue1,5

Abstract Generative adversarial networks(GANs)have become a hot research topic in arti?cial intelligence.Inspired by the two-player zero-sum game,GAN is composed of a generator and a discriminator,both trained with the adversarial learning mechanism.The aim of GAN is to estimate the potential distribution of existing data and generate new data samples from the same distribution.Since its initiation,GAN has been widely studied due to its enormous prospect for applications,including image and vision computing,speech and language processing,information security,and chess game.In this paper we summarize the state of the art of GAN and look into its future.First of all,we survey the GAN s background,theoretic and implementation models,application?elds,advantages and disadvantages,and development trends.Then,we investigate the relation between GAN and parallel intelligence with the conclusion that GAN has a great potential in parallel systems especially in computational experiments,in terms of virtual-real interaction and integration. Finally,we clarify that GAN can provide speci?c and substantial algorithmic support for the ACP theory.

Key words Generative adversarial networks,generative models,zero-sum game,adversarial learning,parallel intelli-gence,ACP methodology

Citation Wang Kun-Feng,Gou Chao,Duan Yan-Jie,Lin Yi-Lun,Zheng Xin-Hu,Wang Fei-Yue.Generative adversarial networks:the state of the art and beyond.Acta Automatica Sinica,2017,43(3):321?332

收稿日期2017-02-01录用日期2017-03-01

Manuscript received February1,2017;accepted March1,2017国家自然科学基金(61533019,71232006,91520301)资助Supported by National Natural Science Foundation of China (61533019,71232006,91520301)

本文责任编委刘德荣

Recommended by Associate Editor LIU De-Rong

1.中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190中国

2.青岛智能产业技术研究院青岛266000中国

3.中国科学院大学北京100049中国

4.明尼苏达大学计算机科学与工程学院明尼阿波利斯MN55414美国

5.国防科学技术大学军事计算实验与平行系统技术研究中心长沙410073中国

1.The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing100190,China

2.Qingdao Academy of Intelligent Industries,Qingdao266000,China

3.University of Chinese Academy of Sciences,Beijing100049,China

4.De-partment of Computer Science and Engineering,University of

生成式对抗网络GAN(Generative adversarial networks)是Goodfellow等[1]在2014年提出的一种生成式模型.GAN在结构上受博弈论中的二人零和博弈(即二人的利益之和为零,一方的所得正是另一方的所失)的启发,系统由一个生成器和一个判别器构成.生成器捕捉真实数据样本的潜在分布,并生成新的数据样本;判别器是一个二分类器,判别输入是真实数据还是生成的样本.生成器和判别器均可以采用目前研究火热的深度神经网络[2].GAN的

Minnesota,Minneapolis,MN55414,USA 5.Research Cen-ter for Computational Experiments and Parallel Systems Tech-nology,National University of Defense Technology,Changsha 410073,China

322自动化学报43卷

优化过程是一个极小极大博弈(Minimax game)问题,优化目标是达到纳什均衡[3],使生成器估测到数据样本的分布.

在当前的人工智能热潮下,GAN 的提出满足了许多领域的研究和应用需求,同时为这些领域注入了新的发展动力.GAN 已经成为人工智能学界一个热门的研究方向,著名学者LeCun 甚至将其称为“过去十年间机器学习领域最让人激动的点子”.目前,图像和视觉领域是对GAN 研究和应用最广泛的一个领域,已经可以生成数字、人脸等物体对象,构成各种逼真的室内外场景,从分割图像恢复原图像,给黑白图像上色,从物体轮廓恢复物体图像,从低分辨率图像生成高分辨率图像等[4].此外,GAN 已经开始被应用到语音和语言处理[5?6]、电脑病毒监测[7]、棋类比赛程序[8]等问题的研究中.

本文综述了生成式对抗网络GAN 的最新研究进展,并对发展趋势进行展望.第1节介绍GAN 的提出背景.第2节描述GAN 的理论与实现模型,包括GNN 的基本原理、学习方法、衍生模型等.第3节列举GAN 在图像和视觉、语音和语言、信息安全等领域的典型应用.第4节对GAN 进行思考与展望,讨论GAN 与平行智能,特别是与计算实验的关系.最后,第5节对本文进行总结.

1GAN 的提出背景

本节介绍GAN 的提出背景,以便读者更好地理解GAN 的研究进展和应用领域.

1.1人工智能的热潮

近年来,随着计算能力的提高和各行业数据量的剧增,人工智能取得了快速发展,使得研究者对人工智能的关注度和社会大众对人工智能的憧憬空前提升[2,9].学术界普遍认为人工智能分为两个阶段:

感知阶段和认知阶段.在感知阶段,机器能够接收来自外界的各种信号,例如视觉信号、听觉信号等,并对此作出判断,对应的研究领域有图像识别、语音识别等.在认知阶段,机器能够对世界的本质有一定的理解,不再是单纯、机械地做出判断.基于多年的研究经验,本文作者认为人工智能的表现层次包括判断、生成、理解和创造及应用,如图1所示.一方面,这些层次相互联系相互促进;另一方面,各个层次之间又有很大的鸿沟,有待新的研究突破.

无论是普遍认为的人工智能两阶段还是本文作者总结的人工智能四个层次,其中都涉及理解这个环节.然而,理解无论对人类还是人工智能都是内在的表现,无法直接测量,只能间接从其他方面推测.如何衡量人工智能的理解程度,虽然没有定论,

但是著名学者Feynman 有句名言“What I cannot create,I do not understand.(不可造者,未能知也.)”这说明机器制造事物的能力从某种程度上取决于机器对事物的理解.而GAN 作为典型的生成式模型,其生成器具有生成数据样本的能力.这种能力在一定程度上反映了它对事物的理解.因此,GAN 有望加深人工智能的理解层面的研究.

图1

人工智能的研究层次

Fig.1

The levels of arti?cial intelligence

1.2生成式模型的积累

生成式模型不仅在人工智能领域占有重要地位,生成方法本身也具有很大的研究价值.生成方法和判别方法是机器学习中监督学习方法的两个分支.生成式模型是生成方法学习得到的模型.生成方法涉及对数据的分布假设和分布参数学习,并能够根据学习而来的模型采样出新的样本.本文认为生成式模型从研究出发点的角度可以分为两类:人类理解数据的角度和机器理解数据的角度.

从人类理解数据的角度出发,典型的做法是先对数据的显式变量或者隐含变量进行分布假设,然后利用真实数据对分布的参数或包含分布的模型进行拟合或训练,最后利用学习到的分布或模型生成新的样本.这类生成式模型涉及的主要方法有最大似然估计法、近似法[10?11]、马尔科夫链方法[12?14]等.从这个角度学习到的模型具有人类能够理解的分布,但是对机器学习来说具有不同的限制.例如,以真实样本进行最大似然估计,参数更新直接来自于数据样本,导致学习到的生成式模型受到限制.而采用近似法学习到的生成式模型由于目标函数难解一般只能在学习过程中逼近目标函数的下界,并不是直接对目标函数的逼近.马尔科夫链方法既可以用于生成式模型的训练又可以用于新样本的生成,但是马尔科夫链的计算复杂度较高.

从机器理解数据的角度出发,建立的生成式模型一般不直接估计或拟合分布,而是从未明确假设的分布中获取采样的数据[15],通过这些数据对模型进行修正.这样得到的生成式模型对人类来说缺乏

3期王坤峰等:生成式对抗网络GAN的研究进展与展望323

可解释性,但是生成的样本却是人类可以理解的.以此推测,机器以人类无法显式理解的方式理解了数据并且生成了人类能够理解的新数据.在GAN提出之前,这种从机器理解数据的角度建立的生成式模型一般需要使用马尔科夫链进行模型训练,效率较低,一定程度上限制了其系统应用.

GAN提出之前,生成式模型已经有一定研究积累,模型训练过程和生成数据过程中的局限无疑是生成式模型的障碍.要真正实现人工智能的四个层次,就需要设计新的生成式模型来突破已有的障碍.

1.3神经网络的深化

过去10年来,随着深度学习[16?17]技术在各个领域取得巨大成功,神经网络研究再度崛起.神经网络作为深度学习的模型结构,得益于计算能力的提升和数据量的增大,一定程度上解决了自身参数多、训练难的问题,被广泛应用于解决各类问题中.例如,深度学习技术在图像分类问题上取得了突破性的效果[18?19],显著提高了语音识别的准确率[20],又被成功应用于自然语言理解领域[21].神经网络取得的成功和模型自身的特点是密不可分的.在训练方面,神经网络能够采用通用的反向传播算法,训练过程容易实现;在结构方面,神经网络的结构设计自由灵活,局限性小;在建模能力方面,神经网络理论上能够逼近任意函数,应用范围广.另外,计算能力的提升使得神经网络能够更快地训练更多的参数,进一步推动了神经网络的流行.

1.4对抗思想的成功

从机器学习到人工智能,对抗思想被成功引入若干领域并发挥作用.博弈、竞争中均包含着对抗的思想.博弈机器学习[22]将博弈论的思想与机器学习结合,对人的动态策略以博弈论的方法进行建模,优化广告竞价机制,并在实验中证明了该方法的有效性.围棋程序AlphaGo[23]战胜人类选手引起大众对人工智能的兴趣,而AlphaGo的中级版本在训练策略网络的过程中就采取了两个网络左右互博的方式,获得棋局状态、策略和对应回报,并以包含博弈回报的期望函数作为最大化目标.在神经网络的研究中,曾有研究者利用两个神经网络互相竞争的方式对网络进行训练[24],鼓励网络的隐层节点之间在统计上独立,将此作为训练过程中的正则因素.还有研究者[25?26]采用对抗思想来训练领域适应的神经网络:特征生成器将源领域数据和目标领域数据变换为高层抽象特征,尽可能使特征的产生领域难以判别;领域判别器基于变换后的特征,尽可能准确地判别特征的领域.对抗样本[27?28]也包含着对抗的思想,指的是那些和真实样本差别甚微却被误分类的样本或者差异很大却被以很高置信度分为某一真实类的样本,反映了神经网络的一种诡异行为特性.对抗样本和对抗网络虽然都包含着对抗的思想,但是目的完全不同.对抗思想应用于机器学习或人工智能取得的诸多成果,也激发了更多的研究者对GAN的不断挖掘.

2GAN的理论与实现模型

2.1GAN的基本原理

GAN的核心思想来源于博弈论的纳什均衡.它设定参与游戏双方分别为一个生成器(Generator)和一个判别器(Discriminator),生成器的目的是尽量去学习真实的数据分布,而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器;为了取得游戏胜利,这两个游戏参与者需要不断优化,各自提高自己的生成能力和判别能力,这个学习优化过程就是寻找二者之间的一个纳什均衡.GAN 的计算流程与结构如图2所示.任意可微分的函数都可以用来表示GAN的生成器和判别器,由此,我们用可微分函数D和G来分别表示判别器和生成器,它们的输入分别为真实数据x和随机变量z. G(z)则为由G生成的尽量服从真实数据分布p data 的样本.如果判别器的输入来自真实数据,标注为1.如果输入样本为G(z),标注为0.这里D的目标是实现对数据来源的二分类判别:真(来源于真实数据x的分布)或者伪(来源于生成器的伪数据G(z)),而G的目标是使自己生成的伪数据G(z)在D上的表现D(G(z))和真实数据x在D上的表现D(x)一致,这两个相互对抗并迭代优化的过程使得D

和

图2GAN的计算流程与结构

Fig.2Computation procedure and structure of GAN

324自动化学报43卷

G的性能不断提升,当最终D的判别能力提升到一

定程度,并且无法正确判别数据来源时,可以认为这

个生成器G已经学到了真实数据的分布.

2.2GAN的学习方法

本节中我们讨论GAN的学习训练机制.

首先,在给定生成器G的情况下,我们考虑最

优化判别器D.和一般基于Sigmoid的二分类模型

训练一样,训练判别器D也是最小化交叉熵的过程,

其损失函数为:

Obj D(θD,θG)=?1

2

E x～p

data

(x)

[log D(x)]?

1 2E z～p

z

(z)

[log(1?D(g(z)))]

(1)

其中,x采样于真实数据分布p data(x),z采样于先验分布p z(z)(例如高斯噪声分布),E(·)表示计算期望值.这里实际训练时和常规二值分类模型不同,判别器的训练数据集来源于真实数据集分布p data(x) (标注为1)和生成器的数据分布p g(x)(标注为0)两部分.给定生成器G,我们需要最小化式(1)来得到最优解,在连续空间上,式(1)可以写为如下形式:

Obj D(θD,θG)=?1

2

x

p data(x)log(D(x))d x?

1 2

z

p z(z)log(1?D(g(z)))d z=

?1

2

x

[p data(x)log(D(x))+

p g(x)log(1?D(x))]d x

(2)

对任意的非零实数m和n,且实数值y∈[0,1],表达式

?m log(y)?n log(1?y)(3)

在

m

m+n

处得到最小值.因此,给定生成器G的情

况下,目标函数(2)在

D?

G (x)=

p data(x)

p data(x)+p g(x)

(4)

处得到最小值,此即为判别器的最优解.由式(4)可知,GAN估计的是两个概率分布密度的比值,这也是和其他基于下界优化或者马尔科夫链方法的关键不同之处.

另一方面,D(x)代表的是x来源于真实数据而非生成数据的概率.当输入数据采样自真实数据x时,D的目标是使得输出概率值D(x)趋近于1,而当输入来自生成数据G(z)时,D的目标是正确判断数据来源,使得D(G(z))趋近于0,同时G的目标是使得其趋近于1.这实际上就是一个关于G和D的零和游戏,那么生成器G的损失函数为Obj G(θG)=?Obj D(θD,θG).所以GAN的优化问题是一个极小—极大化问题,GAN的目标函数可以描述如下:

min

G

max

D

{f(D,G)=E x～p

data

(x)

[log D(x)]+

E z～p

z

(z)

[log(1?D(G(z)))]}

(5)

总之,对于GAN的学习过程,我们需要训练模型D来最大化判别数据来源于真实数据或者伪数据分布G(z)的准确率,同时,我们需要训练模型G 来最小化log(1?D(G(z))).这里可以采用交替优化的方法:先固定生成器G,优化判别器D,使得D的判别准确率最大化;然后固定判别器D,优化生成器G,使得D的判别准确率最小化.当且仅当p data=p g时达到全局最优解.训练GAN时,同一轮参数更新中,一般对D的参数更新k次再对G 的参数更新1次.

2.3GAN的衍生模型

自Goodfellow等[1]于2014年提出GAN以来,各种基于GAN的衍生模型被提出,这些模型的创新点包括模型结构改进、理论扩展及应用等.部分衍生模型的计算流程与结构如图3所示.

GAN在基于梯度下降训练时存在梯度消失的问题,因为当真实样本和生成样本之间具有极小重叠甚至没有重叠时,其目标函数的Jensen-Shannon 散度是一个常数,导致优化目标不连续.为了解决训练梯度消失问题,Arjovsky等[29]提出了Wasser-stein GAN(W-GAN).W-GAN用Earth-Mover代替Jensen-Shannon散度来度量真实样本和生成样本分布之间的距离,用一个批评函数f来对应GAN 的判别器,而且批评函数f需要建立在Lipschitz连续性假设上.另外,GAN的判别器D具有无限的建模能力,无论真实样本和生成的样本有多复杂,判别器D都能把它们区分开,这容易导致过拟合问题.为了限制模型的建模能力,Qi[30]提出了Loss-sensitive GAN(LS-GAN),将最小化目标函数得到的损失函数限定在满足Lipschitz连续性函数类上,作者还给出了梯度消失时的定量分析结果.需要指出,W-GAN和LS-GAN并没有改变GAN模型的结构,只是在优化方法上进行了改进.

GAN的训练只需要数据源的标注信息(真或伪),并根据判别器输出来优化.Odena[31]提出了

3期王坤峰等:生成式对抗网络GAN 的研究进展与展望

325

图3

GAN 衍生模型的计算流程与结构((a)GAN [1],W-GAN [29],LS-GAN [30];(b)Semi-GAN [31];(c)C-GAN [32];

(d)Bi-GAN [33];(e)Info-GAN [34];(f)AC-GAN [35];(g)Seq-GAN [6])

Fig.3

Computation procedures and structures of GAN-derived models

Semi-GAN,将真实数据的标注信息加入判别器D 的训练.更进一步,Conditional GAN (CGAN)[32]提出加入额外的信息y 到G 、D 和真实数据来建模,这里的y 可以是标签或其他辅助信息.传统GAN 都是学习一个生成式模型来把隐变量分布映射到复杂真实数据分布上,Donahue 等[33]提出一种Bidi-rectional GANs (BiGANs)来实现将复杂数据映射到隐变量空间,从而实现特征学习.除了GAN 的基本框架,BiGANs 额外加入了一个解码器Q 用于将真实数据x 映射到隐变量空间,其优化问题转换为

326自动化学报43卷

min G,Q max

D

f(D,Q,G).

InfoGAN[34]是GAN的另一个重要扩展.GAN

能够学得有效的语义特征,但是输入噪声变量z的特定变量维数和特定语义之间的关系不明确,而In-foGAN能够获取输入的隐层变量和具体语义之间的互信息.具体实现就是把生成器G的输入分为两部分z和c,这里z和GAN的输入一致,而c 被称为隐码,这个隐码用于表征结构化隐层随机变量和具体特定语义之间的隐含关系.GAN设定了p G(x)=p G(x|c),而实际上c与G的输出具有较强的相关性.用G(z,c)来表示生成器的输出,作者[34]提出利用互信息I(c;G(z,c))来表征两个数据的相关程度,用目标函数

min G max

D

{f I(D,G)=f(D,G)?λI(c;G(z,c))}

(6)

来建模求解,这里由于后验概率p(c|x)不能直接获取,需要引入变分分布来近似后验的下界来求得最优解.

Odena等[35]提出的Auxiliary Classi?er GAN (AC-GAN)可以实现多分类问题,它的判别器输出相应的标签概率.在实际训练中,目标函数则包含真实数据来源的似然和正确分类标签的似然,不再单独由判别器二分类损失来反传调节参数,可以进一步调节损失函数使得分类正确率更高,AC-GAN的关键是可以利用输入生成器的标注信息来生成对应的图像标签,同时还可以在判别器扩展调节损失函数,从而进一步提高对抗网络的生成和判别能力.

考虑到GAN的输出为连续实数分布而无法产生离散空间的分布,Yu等[6]提出了一种能够生成离散序列的生成式模型Seq-GAN.他们用RNN实现生成器G,用CNN实现判别器D,用D的输出判别概率通过增强学习来更新G.增强学习中的奖励通过D来计算,对于后面可能的行为采用了蒙特卡洛搜索实现,计算D的输出平均作为奖励值反馈.

3GAN的应用领域

作为一个具有“无限”生成能力的模型,GAN 的直接应用就是建模,生成与真实数据分布一致的数据样本,例如可以生成图像、视频等.

GAN可以用于解决标注数据不足时的学习问题,例如无监督学习、半监督学习等.GAN还可以用于语音和语言处理,例如生成对话、由文本生成图像等.本节从图像和视觉、语音和语言、其他领域三个方面来阐述GAN的应用.3.1图像和视觉领域

GAN能够生成与真实数据分布一致的图像.一个典型应用来自Twitter公司,Ledig等[36]提出利用GAN来将一个低清模糊图像变换为具有丰富细节的高清图像.作者用VGG网络[37]作为判别器,用参数化的残差网络[19]表示生成器,实验结果如图4所示,可以看到GAN生成了细节丰富的图像.

图4基于GAN的生成图像示例[36]

Fig.4Illustration of GAN-generated image[36]

GAN也开始用于生成自动驾驶场景.Santana 等[38]提出利用GAN来生成与实际交通场景分布一致的图像,再训练一个基于RNN的转移模型实现预测的目的,实验结果如图5所示.GAN可以用于自动驾驶中的半监督学习或无监督学习任务,还可以利用实际场景不断更新的视频帧来实时优化GAN 的生成器.

Gou等[39?40]提出利用仿真图像和真实图像作为训练样本来实现人眼检测,但是这种仿真图像与真实图像存在一定的分布差距.Shrivastava等[41]提出一种基于GAN的方法(称为SimGAN),利用无标签真实图像来丰富细化仿真图像,使得合成图像更加真实.作者引入一个自正则化项来实现最小化合成误差并最大程度保留仿真图像的类别,同时利用加入的局部对抗损失函数来对每个局部图像块进行判别,使得局部信息更加丰富.

3.2语音和语言领域

目前已经有一些关于GAN的语音和语言处理文章.Li等[5]提出用GAN来表征对话之间的隐式关联性,从而生成对话文本.Zhang等[42]提出基于GAN的文本生成,他们用CNN作为判别器,判别器基于拟合LSTM的输出,用矩匹配来解决优化问题;在训练时,和传统更新多次判别器参数再更新一次生成器不同,需要多次更新生成器再更新CNN判

3期王坤峰等:生成式对抗网络GAN的研究进展与展望

327

图5基于GAN的生成图像示例(奇数列为生成图像,偶数列为目标图像)[38]

Fig.5Another illustration of GAN-generated images(Odd columns show the generated images,and even columns show

the target images)[38]

别器.SeqGAN[6]基于策略梯度来训练生成器G,策略梯度的反馈奖励信号来自于生成器经过蒙特卡洛搜索得到,实验表明SeqGAN在语音、诗词和音乐生成方面可以超过传统方法.Reed等[43]提出用GAN基于文本描述来生成图像,文本编码被作为生成器的条件输入,同时为了利用文本编码信息,也将其作为判别器特定层的额外信息输入来改进判别器,判别是否满足文本描述的准确率,实验结果表明生成图像和文本描述具有较高相关性.

3.3其他领域

除了将GAN应用于图像和视觉、语音和语言等领域,GAN还可以与强化学习相结合,例如前述的SeqGAN[6].还有研究者将GAN和模仿学习融合[44?45]、将GAN和Actor-critic方法结合[46]等. Hu等[7]提出MalGAN帮助检测恶意代码,用GAN 生成具有对抗性的病毒代码样本,实验结果表明基于GAN的方法可以比传统基于黑盒检测模型的方法性能更好.Childambaram等[8]基于风格转换提出了一个扩展GAN的生成器,用判别器来正则化生成器而不是用一个损失函数,用国际象棋实验示例证明了所提方法的有效性.

4GAN的思考与展望

4.1GAN的意义和优点

GAN对于生成式模型的发展具有重要的意义. GAN作为一种生成式方法,有效解决了可建立自然性解释的数据的生成难题.尤其对于生成高维数据,所采用的神经网络结构不限制生成维度,大大拓宽了生成数据样本的范围.所采用的神经网络结构能够整合各类损失函数,增加了设计的自由度.GAN 的训练过程创新性地将两个神经网络的对抗作为训练准则并且可以使用反向传播进行训练,训练过程不需要效率较低的马尔科夫链方法,也不需要做各种近似推理,没有复杂的变分下界,大大改善了生成式模型的训练难度和训练效率.GAN的生成过程不需要繁琐的采样序列,可以直接进行新样本的采样和推断,提高了新样本的生成效率.对抗训练方法摒弃了直接对真实数据的复制或平均,增加了生成样本的多样性.GAN在生成样本的实践中,生成的样本易于人类理解.例如,能够生成十分锐利清晰的图

328自动化学报43卷

像,为创造性地生成对人类有意义的数据提供了可能的解决方法.

GAN 除了对生成式模型的贡献,对于半监督学习也有启发.GAN 学习过程中不需要数据标签.虽然GAN 提出的目的不是半监督学习,但是GAN 的训练过程可以用来实施半监督学习中无标签数据对模型的预训练过程.具体来说,先利用无标签数据训练GAN,基于训练好的GAN 对数据的理解,再利用小部分有标签数据训练判别器,用于传统的分类和回归任务.

4.2GAN 的缺陷和发展趋势

GAN 虽然解决了生成式模型的一些问题,并且对其他方法的发展具有一定的启发意义,但是GAN 并不完美,它在解决已有问题的同时也引入了一些新的问题.GAN 最突出的优点同时也是它最大的问题根源.GAN 采用对抗学习的准则,理论上还不能判断模型的收敛性和均衡点的存在性.训练过程需要保证两个对抗网络的平衡和同步,否则难以得到很好的训练效果.而实际过程中两个对抗网络的同步不易把控,训练过程可能不稳定.另外,作为以神经网络为基础的生成式模型,GAN 存在神经网络类模型的一般性缺陷,即可解释性差.另外,GAN 生成的样本虽然具有多样性,但是存在崩溃模式(Collapse mode)现象[4],可能生成多样的,但对于人类来说差异不大的样本.

虽然GAN 存在这些问题,但不可否认的是,GAN 的研究进展表明它具有广阔的发展前景.例如,Wasserstein GAN [29]彻底解决了训练不稳定问题,同时基本解决了崩溃模式现象.如何彻底解决崩溃模式并继续优化训练过程是GAN 的一个研究方向.另外,关于GAN 收敛性和均衡点存在性的理论推断也是未来的一个重要研究课题.以上研究方向是为了更好地解决GAN 存在的缺陷.从发展应用GAN 的角度,如何根据简单随机的输入,生成多样的、能够与人类交互的数据,是近期的一个应用发展方向.从GAN 与其他方法交叉融合的角度,如何将

GAN 与特征学习、模仿学习、强化学习等技术更好地融合,开发新的人工智能应用或者促进这些方法的发展,是很有意义的发展方向.从长远来看,如何利用GAN 推动人工智能的发展与应用,提升人工智能理解世界的能力,甚至激发人工智能的创造力是值得研究者思考的问题.4.3GAN 与平行智能的关系

王飞跃研究员[47?48]于2004年提出了复杂系统建模与调控的ACP (Arti?cial societies,compu-tational experiments,and parallel execution)理论和平行系统方法.平行系统强调虚实互动,构建人工系统来描述实际系统,利用计算实验来学习和评估各种计算模型,通过平行执行来提升实际系统的性能,使得人工系统和实际系统共同推进[49?50].ACP 理论和平行系统方法目前已经发展为更广义的平行智能理论[51].GAN 训练中真实的数据样本和生成的数据样本通过对抗网络互动,并且训练好的生成器能够生成比真实样本更多的虚拟样本.GAN 可以深化平行系统的虚实互动、交互一体的理念.GAN 作为一种有效的生成式模型,可以融入到平行智能研究体系.本节从以下几个方面讨论GAN 与平行智能的关系.

4.3.1GAN 与平行视觉

平行视觉[52]是ACP 理论在视觉计算领域的推广,其基本框架与体系结构如图6所示.平行视觉结合计算机图形学、虚拟现实、机器学习、知识自动化等技术,利用人工场景、计算实验、平行执行等理论和方法,建立复杂环境下视觉感知与理解的理论和方法体系.平行视觉利用人工场景来模拟和表示复杂挑战的实际场景,使采集和标注大规模多样性数据集成为可能,通过计算实验进行视觉算法的设计与评估,最后借助平行执行来在线优化视觉系统.其中产生虚拟的人工场景便可以采用GAN 实现,如图5所示.GAN 能够生成大规模多样性的图像数据集,与真实数据集结合起来训练视觉模型,有助于提高视觉模型的泛化能力.

图6

平行视觉的基本框架与体系结构[52]

Fig.6

Basic framework and architecture for parallel vision [52]

3期王坤峰等:生成式对抗网络GAN 的研究进展与展望329

4.3.2GAN 与平行控制

平行控制[53?55]是一种反馈控制,是ACP 理论在复杂系统控制领域的具体应用,其结构如图7所示.平行控制核心是利用人工系统进行建模和表示,通过计算实验进行分析和评估,最后以平行执行实现对复杂系统的控制.除了人工系统的生成和计算实验的分析,平行控制中的人工系统和实际系统平行执行的过程也利用GAN 进行模拟,一方面可以进行人工系统的预测学习和实际系统的反馈学习,另一方面可以进行控制单元的模拟学习和强化学习.

4.3.3GAN 与平行学习

平行学习[56]是一种新的机器学习理论框架,是ACP 理论在学习领域的体现,其理论框架如图8所示.平行学习理论框架强调:使用预测学习解决如何随时间发展对数据进行探索;使用集成学习解决如何在空间分布上对数据进行探索;使用指示学习解

决如何探索数据生成的方向.平行学习作为机器学习的一个新型理论框架,与平行视觉和平行控制关系密切.GAN 在大数据生成、基于计算实验的预测学习等方面都可以和平行学习结合发展.

5结论

本文综述了生成式对抗网络GAN 的研究进展.GAN 提出后,立刻受到了人工智能研究者的重视.GAN 的基本思想源自博弈论的二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习的方式来迭代训练,逼近纳什均衡.GAN 作为一种生成式模型,不直接估计数据样本的分布,而是通过模型学习来估测其潜在分布并生成同分布的新样本.这种从潜在分布生成“无限”新样本的能力,在图像和视觉计算、语音和语言处理、信息安全等领域具有重大的应用价值

.

图7

平行控制系统的结构[55]

Fig.7

Structure of parallel control systems

[55]

图8

平行学习的理论框架图[56]

Fig.8

Theoretical framework of parallel learning [56]

330自动化学报43卷

本文还展望了GAN的发展趋势,重点讨论了GAN与平行智能的关系,认为GAN可以深化平行系统的虚实互动、交互一体的理念,为ACP理论提供具体和丰富的算法支持.在平行视觉、平行控制、平行学习等若干平行系统中,GAN可以通过生成与真实数据同分布的数据样本,来支持平行系统的理论和应用研究.因此,GAN作为一种有效的生成式模型,可以融入到平行智能的研究体系.

References

1Goodfellow I,Pouget-Abadie J,Mirza M,Xu B,Warde-Farley D,Ozair S,Courville A,Bengio Y.Generative adver-sarial nets.In:Proceedings of the2014Conference on Ad-vances in Neural Information Processing Systems27.Mon-treal,Canada:Curran Associates,Inc.,2014.2672?2680

2Goodfellow I,Bengio Y,Courville A.Deep Learning.Cam-bridge,UK:MIT Press,2016.

3Ratli?L J,Burden S A,Sastry S S.Characterization and computation of local Nash equilibria in continuous games.

In:Proceedings of the51st Annual Allerton Conference on Communication,Control,and Computing(Allerton).Mon-ticello,IL,USA:IEEE,2013.917?924

4Goodfellow I.NIPS2016tutorial:generative adversarial networks.arXiv preprint arXiv:1701.00160,2016.

5Li J W,Monroe W,Shi T L,Jean S,Ritter A,Jurafsky D.

Adversarial learning for neural dialogue generation.arXiv preprint arXiv:1701.06547,2017.

6Yu L T,Zhang W N,Wang J,Yu Y.SeqGAN:sequence gen-erative adversarial nets with policy gradient.arXiv preprint arXiv:1609.05473,2016.

7Hu WW,Tan Y.Generating adversarial malware examples for black-box attacks based on GAN.arXiv preprint arXiv: 1702.05983,2017.

8Chidambaram M,Qi Y J.Style transfer generative adver-sarial networks:learning to play chess di?erently.arXiv preprint arXiv:1702.06762,2017.

9Bengio Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009,2(1):1?127

10Kingma D P,Welling M.Auto-encoding variational Bayes.

arXiv preprint arXiv:1312.6114,2013.

11Rezende D J,Mohamed S,Wierstra D.Stochastic back-propagation and approximate inference in deep generative models.arXiv preprint arXiv:1401.4082,2014.

12Hinton G E,Sejnowski T J,Ackley D H.Boltzmann Ma-chines:Constraint Satisfaction Networks that Learn.Tech-nical Report No.CMU-CS-84?119,Carnegie-Mellon Uni-versity,Pittsburgh,PA,USA,1984.

13Ackley D H,Hinton G E,Sejnowski T J.A learning al-gorithm for Boltzmann machines.Cognitive Science,1985, 9(1):147?16914Hinton G E,Osindero S,Teh Y W.A fast learning algo-rithm for deep belief nets.Neural Computation,2006,18(7): 1527?1554

15Bengio Y,Thibodeau-Laufer′E,Alain G,Yosinski J.Deep generative stochastic networks trainable by backprop.arXiv preprint arXiv:1306.1091,2013.

16Hinton G E,Salakhutdinov R R.Reducing the dimensional-ity of data with neural networks.Science,2006,313(5786): 504?507

17LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 521(7553):436?444

18Krizhevsky A,Sutskever I,Hinton G E.Imagenet classi?-cation with deep convolutional neural networks.In:Pro-ceedings of the25th International Conference on Neural In-formation Processing https://www.sodocs.net/doc/2514198129.html,ke Tahoe,Nevada,USA: ACM,2012.1097?1105

19He K M,Zhang X Y,Ren S Q,Sun J.Deep residual learn-ing for image recognition.In:Proceedings of the2016IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Las Vegas,NV,USA:IEEE,2016.770?778

20Hinton G,Deng L,Yu D,Dahl G E,Mohamed A R,Jaitly N, Senior A,Vanhoucke V,Nguyen P,Sainath T N,Kingsbury

B.Deep neural networks for acoustic modeling in speech

recognition:the shared views of four research groups.IEEE Signal Processing Magazine,2012,29(6):82?97

21Sutskever I,Vinyals O,Le Q V.Sequence to sequence learn-ing with neural networks.In:Proceedings of the2014Con-ference on Advances in Neural Information Processing Sys-tems27.Montreal,Canada:Curran Associates,Inc.,2014.

3104?3112.

22He D,Chen W,Wang L W,Liu T Y.A game-theoretic ma-chine learning approach for revenue maximization in spon-sored search.arXiv preprint arXiv:1406.0728,2014.

23Silver D,Huang A,Maddison C J,Guez A,Sifre L,van Den Driessche G,Schrittwieser J,Antonoglou I,Panneershelvam V,Lanctot M,Dieleman S,Grewe D,Nham J,Kalchbren-ner N,Sutskever I,Lillicrap T,Leach M,Kavukcuoglu K, Graepel T,Hassabis D.Mastering the game of go with deep neural networks and tree search.Nature,2016,529(7587): 484?489

24Schmidhuber J.Learning factorial codes by predictability minimization.Neural Computation,1992,4(6):863?879

25Ganin Y,Ustinova E,Ajakan H,Germain P,Larochelle H,Laviolette F,Marchand M,Lempitsky V.Domain-adversarial training of neural networks.Journal of Machine Learning Research,2016,17(59):1?35

26Chen W Z,Wang H,Li Y Y,Su H,Wang Z H,Tu C H, Lischinski D,Cohen-Or D,Chen B.Synthesizing training images for boosting human3D pose estimation.In:Pro-ceedings of the2016Fourth International Conference on3D Vision(3DV).Stanford,CA,USA:IEEE,2016.479?488 27Szegedy C,Zaremba W,Sutskever I,Bruna J,Erhan D, Goodfellow I,Fergus R.Intriguing properties of neural net-works.arXiv preprint arXiv:1312.6199,2013.

3期王坤峰等:生成式对抗网络GAN的研究进展与展望331

28McDaniel P,Papernot N,Celik Z B.Machine learning in adversarial settings.IEEE Security&Privacy,2016,14(3): 68?72

29Arjovsky M,Chintala S,Bottou L.Wasserstein GAN.arXiv preprint arXiv:1701.07875,2017.

30Qi G J.Loss-sensitive generative adversarial networks on Lipschitz densities.arXiv preprint arXiv:1701.06264,2017.

31Odena A.Semi-supervised learning with generative adver-sarial networks.arXiv preprint arXiv:1606.01583,2016.

32Mirza M,Osindero S.Conditional generative adversarial nets.arXiv preprint arXiv:1411.1784,2014.

33Donahue J,Kr¨a henb¨u hl P,Darrell T.Adversarial feature learning.arXiv preprint arXiv:1605.09782,2016.

34Chen X,Duan Y,Houthooft R,Schulman J,Sutskever I, Abbeel https://www.sodocs.net/doc/2514198129.html,GAN:interpretable representation learning by information maximizing generative adversarial nets.In: Proceedings of the2016Neural Information Processing Sys-tems.Barcelona,Spain:Department of Information Tech-nology IMEC,2016.2172?2180

35Odena A,Olah C,Shlens J.Conditional image synthe-sis with auxiliary classi?er GANs.arXiv preprint arXiv: 1610.09585,2016.

36Ledig C,Theis L,Husz′a r F,Caballero J,Cunningham A, Acosta A,Aitken A,Tejani A,Totz J,Wang Z H,Shi W Z.

Photo-realistic single image super-resolution using a genera-tive adversarial network.arXiv preprint arXiv:1609.04802, 2016.

37Simonyan K,Zisserman A.Very deep convolutional net-works for large-scale image recognition.arXiv preprint arXiv:1409.1556,2014.

38Santana E,Hotz G.Learning a driving simulator.arXiv preprint arXiv:1608.01230,2016.

39Gou C,Wu Y,Wang K,Wang F Y,Ji Q.Learning-by-synthesis for accurate eye detection.In:Proceedings of the 2016IEEE International Conference on Pattern Recognition (ICPR).Cancun,Mexico:IEEE,2016.

40Gou C,Wu Y,Wang K,Wang K F,Wang F Y,Ji Q.A joint cascaded framework for simultaneous eye detection and eye state estimation.Pattern Recognition,2017,67:23?31

41Shrivastava A,P?ster T,Tuzel O,Susskind J,Wang W D,Webb R.Learning from simulated and unsupervised images through adversarial training.arXiv preprint arXiv: 1612.07828,2016.

42Zhang Y Z,Gan Z,Carin L.Generating text via adversar-ial training.In:Proceedings of the2016Conference on Ad-vances in Neural Information Processing Systems29.Curran Associates,Inc.,2016.

43Reed S,Akata Z,Yan X C,Logeswaran L,Lee H,Schiele

B.Generative adversarial text to image synthesis.In:Pro-

ceedings of the33rd International Conference on Machine Learning.New York,NY,USA:ICML,2016.44Ho J,Ermon S.Generative adversarial imitation learning.

In:Proceedings of the2016Conference on Advances in Neu-ral Information Processing Systems29.Curran Associates, Inc.,2016.4565?4573

45Finn C,Christiano P,Abbeel P,Levine S.A connection be-tween generative adversarial networks,inverse reinforcement learning,and energy-based models.arXiv preprint arXiv: 1611.03852,2016.

46Pfau D,Vinyals O.Connecting generative adversarial net-works and actor-critic methods.arXiv preprint arXiv: 1610.01945,2016.

47Wang Fei-Yue.Parallel system methods for management and control of complex systems.Control and decision,2004, 19(5):485?489,514

(王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策, 2004,19(5):485?489,514)

48Wang https://www.sodocs.net/doc/2514198129.html,putational experiments for behavior analysis and decision evaluation of complex systems.Jour-nal of System Simulation,2004,16(5):893?897

(王飞跃.计算实验方法与复杂系统行为分析和决策评估.系统仿真学报,2004,16(5):893?897)

49Wang F Y,Zhang J,Wei Q L,Zheng X H,Li L.PDP: parallel dynamic programming.IEEE/CAA Journal of Au-tomatica Sinica,2017,4(1):1?5

50Bai Tian-Xiang,Wang Shuai,Shen Zhen,Cao Dong-Pu, Zheng Nan-Ning,Wang Fei-Yue.Parallel robotics and paral-lel unmanned systems:framework,structure,process,plat-form and applications.Acta Automatica Sinica,2017,43(2): 161?175

(白天翔,王帅,沈震,曹东璞,郑南宁,王飞跃.平行机器人与平行无人系统:框架、结构、过程、平台及其应用.自动化学报,2017, 43(2):161?175)

51Wang F Y,Wang X,Li L X,Li L.Steps toward parallel in-telligence.IEEE/CAA Journal of Automatica Sinica,2016, 3(4):345?348

52Wang Kun-Feng,Gou Chao,Wang Fei-Yue.Parallel vision: an ACP-based approach to intelligent vision computing.

Acta Automatica Sinica,2016,42(10):1490?1500

(王坤峰,苟超,王飞跃.平行视觉:基于ACP的智能视觉计算方法.自动化学报,2016,42(10):1490?1500)

53Wang Fei-Yue.On the modeling,analysis,control and man-agement of complex https://www.sodocs.net/doc/2514198129.html,plex Systems and Com-plexity Science,2006,3(2):26?34

(王飞跃.关于复杂系统的建模、分析、控制和管理.复杂系统与复杂性科学,2006,3(2):26?34)

54Wang Fei-Yue,Liu De-Rong,Xiong Gang,Cheng Chang-Jian,Zhao Dong-Bin.Parallel control theory of complex systems and https://www.sodocs.net/doc/2514198129.html,plex Systems and Complex-ity Science,2012,9(3):1?12

(王飞跃,刘德荣,熊刚,程长建,赵冬斌.复杂系统的平行控制理论及应用.复杂系统与复杂性科学,2012,9(3):1?12)

55Wang Fei-Yue.Parallel control:a method for data-driven and computational control.Acta Automatica Sinica,2013, 39(4):293?302

(王飞跃.平行控制:数据驱动的计算控制方法.自动化学报,2013, 39(4):293?302)

332自动化学报43卷

56Li Li,Lin Yi-Lun,Cao Dong-Pu,Zheng Nan-Ning,Wang Fei-Yue.Parallel learning—a new framework for machine learning.Acta Automatica Sinica,2017,43(1):1?8

(李力,林懿伦,曹东璞,郑南宁,王飞跃.平行学习—机器学习的一个新型理论框架.自动化学报,2017,43(1):1?8)

王坤峰中国科学院自动化研究所复杂

系统管理与控制国家重点实验室副研究

员.主要研究方向为智能交通系统,智能

视觉计算,机器学习.

E-mail:kunfeng.wang@https://www.sodocs.net/doc/2514198129.html,

(W ANG Kun-Feng Associate pro-

fessor at The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.His research interest covers intelligent transportation systems,intelli-gent vision computing,and machine learning.)

苟超中国科学院自动化研究所复杂

系统管理与控制国家重点实验室博士研

究生.主要研究方向为智能交通系统,图

像处理,模式识别.

E-mail:gouchao2012@https://www.sodocs.net/doc/2514198129.html,

(GOU Chao Ph.D.candidate at

The State Key Laboratory of Manage-ment and Control for Complex Systems,Institute of Au-tomation,Chinese Academy of Sciences.His research in-terest covers intelligent transportation systems,image pro-cessing,and pattern recognition.)

段艳杰中国科学院自动化研究所复杂

系统管理与控制国家重点实验室博士研

究生.主要研究方向为智能交通系统,机

器学习及应用.

E-mail:duanyanjie2012@https://www.sodocs.net/doc/2514198129.html,

(DUAN Yan-Jie Ph.D.candidate

at The State Key Laboratory of Man-agement and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences.Her research interest covers intelligent transportation systems,machine learning and its application.)

林懿伦中国科学院自动化研究所复杂

系统管理与控制国家重点实验室博士研

究生.主要研究方向为社会计算,智能交

通系统,深度学习和强化学习.

E-mail:linyilun2014@https://www.sodocs.net/doc/2514198129.html,

(LIN Yi-Lun Ph.D.candidate at

The State Key Laboratory of Manage-ment and Control for Complex Systems,Institute of Au-tomation,Chinese Academy of Sciences.His research in-terest covers social computing,intelligent transportation systems,deep learning and reinforcement learning.)

郑心湖明尼苏达大学计算机科学与工

程学院研究生.主要研究方向为社会计

算,机器学习,数据分析.

E-mail:zheng473@https://www.sodocs.net/doc/2514198129.html,

(ZHENG Xin-Hu Postgraduate in

the Department of Computer Science

and Engineering,University of Min-nesota,USA.His research interest covers social computing, machine learning,and data analytics.)

王飞跃中国科学院自动化研究所复杂

系统管理与控制国家重点实验室研究员.

国防科学技术大学军事计算实验与平行

系统技术研究中心主任.主要研究方向

为智能系统和复杂系统的建模、分析与

控制.本文通信作者.

E-mail:feiyue.wang@https://www.sodocs.net/doc/2514198129.html,

(W ANG Fei-Yue Professor at The State Key Labo-ratory of Management and Control for Complex Systems, Institute of Automation,Chinese Academy of Sciences.Di-rector of the Research Center for Computational Experi-ments and Parallel Systems Technology,National Univer-sity of Defense Technology.His research interest covers modeling,analysis,and control of intelligent systems and complex systems.Corresponding author of this paper.)

一文读懂生成对抗网络GANs(附学习资源)

一文读懂生成对抗网络GANs（附学习资源） 原文标题：AnIntuitive Introduction to Generative Adversarial Networks作者：KeshavDhandhania、ArashDelijani 翻译：申利彬校对：和中华本文约4000字，建议阅读10分钟。 本文以图像生成问题引出GAN模型，并介绍了GAN模型的数学原理和训练过程，最后提供了丰富的GAN学习资料。本文讨论生成对抗网络，简称GANs。在生成任务或更广泛的无监督学习中，GANs是为数不多在此领域表现较好的机器学习技术之一。特别是他们在图像生成相关任务上拥有出色表现。深度学习领域先驱Yann LeCun，称赞GAN是机器学习近十年来最好的想法。最重要的是，GAN相关核心概念很容易理解（事实上，读完本文后你就可以对它有个清晰的认识）。 我们将GANs应用在图像生成任务中，并以此来解释GANs，下面是本文的概要： 简单回顾深度学习图像生成问题生成任务中的关键问题生 成对抗网络挑战进一步阅读总结简单回顾深度学习 （前馈）神经网络示意图，棕色为输入层，黄色为隐藏层，红色为输出层我们先简单介绍一下深度学习。上图是神经网络示意图，它是由神经元组成，神经元之间通过边相互连

接，而且神经元按层排列，中间为隐藏层，输入层和输出层分别在左右两侧。神经元之间的连接边都有权重，每一个神经元都会根据与其连接的神经元的输入值加权求和，然后带入非线性激活函数中计算，这类激活函数有Sigmoid和ReLU。例如，第一层隐藏层神经元对来自输入层神经元的值进行加权求和，然后再应用ReLU函数。激活函数引入了非线性，它使神经网络可以模拟复杂的现象（多个线性层等价于一个线性层）。给一个特定的输入，我们依次计算每个神经元输出的值（也称为神经元的活性）。从左到右，我们利用前层计算好的值来逐层计算，最后得到输出层的值。然后根据输出层的值和期望值（目标值）定义一个损失函数，例如，均方误差损失函数。其中，x是输入，h（x）是输出，y 是目标值，总和包含数据集中所有数据点。在每步中，我们的目标是以合适的数值优化每条边的权重，从而尽可能降低损失函数的大小。我们计算出梯度值，然后利用梯度具体优化每一个权重。当我们计算出损失函数值，就可以用反向传播算法计算梯度。反向传播算法的主要结果是：利用链式求导法则和后一层参数的梯度值来计算这层的梯度。然后，我们通过与各个梯度成比例的量（即梯度下降）来更新每个权重。如果你想要进一步了解神经网络和反向传播算法的细节，我推荐你阅读Nikhil Buduma写的简单学习深度学习（Deep Learning in aNutshell）

【CN109903299A】一种条件式生成对抗网络的异源遥感图像配准方法及装置【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910262015.8 (22)申请日 2019.04.02 (71)申请人 中国矿业大学 地址 221008 江苏省徐州市铜山区大学路 中国矿业大学科研院 (72)发明人 杜文亮　周勇　赵佳琦　 (74)专利代理机构 南京瑞弘专利商标事务所 (普通合伙) 32249 代理人 梁天彦 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/33(2017.01) (54)发明名称 一种条件式生成对抗网络的异源遥感图像 配准方法及装置 (57)摘要 本发明公开了一种基于图像分割的条件式 生成对抗网络的异源遥感图像配准方法及装置， 根据两组异源遥感图像数据，获取训练样本；对 输入图像进行图像分割， 获得分割图像；构建基于图像分割的条件式生成对抗网络；构建图像块 的生成对抗网络；训练两个生成对抗网络；将生 成图像与待配准图像进行同源图像配准。本发明 能够约束生成对抗网络生成图像的空间信息一 致性，并提供全尺寸空间信息一致的图像转换解 决方案，将异源图像配准问题化简为同源图像配 准问题， 构建统一的异源遥感图像配准框架。权利要求书3页 说明书6页 附图3页CN 109903299 A 2019.06.18 C N 109903299 A

1.一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤： (1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像； (2)采用分割方法对图像进行图像分割，获得分割图像； (3)构建基于图像分割的条件式生成对抗网络I； (4)构建图像块生成对抗网络Ⅱ； (5)训练两个生成对抗网络； (6)将生成图像与待配准图像进行同源图像配准。 2.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k -means图像分割法。 3.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(3)中，基于图像分割的条件式生成对抗网络I包括一个生成器G 和一个判别器D， 满足： 其中：x为输入图像，y为对应输入图像x的目标图像，表示输入图像x和目标图像y 的对抗损失函数，D(x ,y)表示判别器D对输入图像x和目标图像y的判别结果，S(x)表示输入图像x经k -means图像分割法分割后获得的分割图像，G(x ,S(x))表示输入图像x与分割图像S(x)经生成器G后获得的生成图像，D(x ,G(x ,S(x)))表示判别器D对输入图像x和生成图像G (x ,S(x))的判别结果，表示数学期望，(x ,y)～p data (x ,y)表示变量(x ,y)服从数据分布p data (x ,y)，x～p data (x)表示变量x服从数据分布p data (x)。 4.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建图像块生成对抗网络Ⅱ包括如下步骤： (41)使用高斯差分函数特征点定位方法对目标图像进行特征点定位； (42)将目标图像的特征点定位位置在生成图像上共享； (43)提取目标图像和生成图像上相同特征点定位位置上的对应图像块； (44)使用图像块生成对抗网络Ⅱ对目标图像和生成图像中对应图像块进行判别。 5.根据权利要求4所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中条件式生成对抗网络I中的生成器。 6.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(5)中， 按照下面的损失函数训练两个生成对抗网络： 权　利　要　求　书1/3页2CN 109903299 A

生成式对抗网络的研究进展综述

自从1956年在达特茅斯会议诞生人工智能概念以来,人工智能的技术、理论都在不断发展,已经广泛应用在教育、交通、金融、医疗、家居、制造等领域[1]。机器学习(Machine Learning )是人工智能研究领域中最重要的分支之一,根据学习过程中的不同经验,机器学习算法可以大致分类为无监督(unsupervised )和监督(supervised )[2]。无监督学习是通往人工智能重要的一环,而生成式对抗网络(Generative Adversarial Networks ,GANs )是现阶段无监督学习最热门的技术,近几年来在图像生成、视频合成和语音处理等多个应用领域都取得了重大突破。 生成对抗网络的概念是在2014年6月由蒙特利尔大学Ian Goodfellow [3]等学者提出的,近几年来,Google 、Facebook 、Open AI 等AI 业界巨头也纷纷加入对GANs 的研究。2018年,GANs 被《麻省理工科技评论》评选为“全球十大突破性技术”之一[4]。1生成对抗网络的工作原理1.1生成式对抗网络的模型 GANs 的基本模型如图1所示,GAN 要同时训练一个生成网络G (Generator Network )和一个判别网络P (Discriminator Network )。生成网络G 需要输入一个服从先验概率分布pz (z )的随机噪声变量z ,输出的数据为G (z );然后将G (z )和真实样本Pdata (x )输入至判别模型D ,判别模型D 要判断输入数据是一个真实数据还是生成的数据G (z )。判别模型D 通过不断地学习来提高自己的判别能力,而生成器G 又通过不断地学习来提高自己的伪装能力。在训练过程中,生成式网络和判别式网络构成了一个动态的对抗过程,两者在迭代过程中不断优化,当 D 最后无法区别出真实数据和生成数据时,可认为生成式模型达到近似最优。GANs 的目标函数如下所示: minGmaxD V (D ,G )=Ex-Pdata (x )[logD (x )]+Ez ~Pz (z )[log (1-D (G (z )))] 1.2生成式对抗网络的优点 传统生成模型一般都需要进行马可夫链式的采样和推断,而GANs 避免了这个计算复杂度特别高的过程,直接进行采样和推断,从而提高了GANs 的应用效率。 GANs 的设计框架非常灵活,针对不同的任务可以设计不同类型的损失函数尤其是当数据的概率密度不可计算的时候,传统依赖于数据自然性解释的一些生成模型就无法工作,但GANs 的对抗训练机制在这种情况下依然可以使用。 GANs 可以和卷积神经网络CNN 、循环神经网络RNN 结合在一起。任何一个可微分的函数都可以用来构建G 和D ,因此也可以使用深度卷积网络DNN 来参数化生成模型。另外,GAN 和RNN 结合在一起,用来处理和描述一些连续的序列数据,应用在音乐数据或者是一些自然语言数据的建模和生成。2最新研究进展 初始的GANs 有一些缺陷,其可解释性非常差,收敛还存在不稳定的一些问题,生成器和判别器在训练中需要很好地平衡和同步。很多研究者针对GANs 的缺陷提出了改进和优化,2016年之后GitHub 中几乎每周都会有新的相关论文被提交上来,截止2018年10月GitHub 已经收有502篇关于GANs 的论文[5],表1为几个重要的改进模型及其主要改进和贡献。 表1 3生成式对抗网络的应用 自GANs 诞生以来,在图像、视频、文字等多个领域都得到广泛应用,并且还在不断地拓展。下面介绍一些代表性的应用实例。 生成式对抗网络的研究进展综述 伍 辉(湖北广播电视大学电信工程学院,湖北武汉430074) A Summary of Research Progress of Generative Countermeasure Network 摘要:生成对抗网络(GANs )是现阶段人工智能的研究热点,介绍了GANs 的模型原理,阐述其优点和缺陷及其改进模型,总结了GANs 在图像、文字、视频等领域的应用现状和研究进展。 关键词:人工智能,机器学习,无监督学习,生成对抗网络 Abstract 押Generating adversarial networks 穴GANs雪is a research hotspot in artificial intelligence at the present stage.This paper introduces the model principle of GANs熏expounds its advantages and disadvantages and its improvement model熏and summarizes the application status and research of GANs in image熏text熏video and other fields. Keywords 押artificial intelligence熏machine learning熏unsupervised learning熏Generative Adversarial Networks 图1GANs 模型 生成式对抗网络的研究进展综述 70

生成对抗网络概述

生成对抗网络概述 发表时间：2018-10-22T15:04:18.787Z 来源：《科技新时代》2018年8期作者：董美雪 [导读] 生成对抗网络（Generative Adversarial Nets，简称GAN）是深度学习中的一个重要模型 河南省禹州市第一高级中学河南禹州 461670 摘要：生成对抗网络（Generative Adversarial Nets，简称GAN）是深度学习中的一个重要模型。本文首先从GAN中的两个模型-生成模型和判别模型出发，介绍了其概念以及区别，并讲述了其工作原理和大致训练过程，最后从数学表达式解析生成模型和判别模型的优化工作。 关键词：深度学习；生成对抗网络；机器学习；神经网络 1.引言 GAN（Generative Adversarial Networks）是深度学习领域中“生成对抗网络”的简称，是深度学习领域的一个重要模型，也是人工智能研究的一个重要工具。蓬勃发展的人工智能和近年来炙手可热的GAN之间有什么关系呢？ 人工智能就是让机器具备观察和感知的能力，可以做到一定程度的理解和推理及获得自适应能力。如何让机器获得这些智能化能力呢？这种实现机器智能化的方法路径就是机器学习——即让机器模仿人类学习的过程，通过不断“学习”数据并总结规律，来做出智能的判断和决策行为。深度学习是机器学习的一种深度模式，是具有深层次神经网络结构的学习方式；GAN就是深度学习系统中非监督学习的一个重要方法，是一种探索神经网络概率空间的学习方法，是一种智能运算方法；它除了具有机器学习和深度学习的所有特点之外，还具有充分拟合数据、速度快、生成样本逼真等优点，它采用独特的生成模型（Generator）和判别模型（Discriminator）零和博弈的思维模式，通过一系列输入输出试验，最终取得理想效果[1]。 2.生成模型（Generator）和判别模型（Discriminator） GAN中有两个模型，分别是生成模型（Generator）和判别模型（Discriminator），它们有各自的功能。 2.1生成模型和判别模型的相同点及区别 生成模型（Generator）和判别模型（Discriminator）同样是接受输入，然后有一个输出，可以用一串复杂的函数表达输入输出映射关系；但是它们两者之间的关系却是一个负责伪装现实（生成模型），一个负责识破真相（判别模型）。生成模型的功能就像是一个样本生成器，输入一串随机数，然后输出可以以假乱真的样本集。判别模型实际上是一个二分类器（如同0-1分类器），将样本的类别分为真假两类，真用1表示，假用0表示。 2.2生成模型和判别模型的概念 如图1所示，图中左侧存在上下两层数据集，上层是真实数据集，下层就是由生成网络制造出来的数据集。 生成模型（Generator）是一个深度学习系统中的神经网络模型，该神经网络是由大量彼此相连、概念化的人造神经元组成的，这些神经元彼此之间传递着数据，输入是一组数据集Z，通过神经网络的训练以及相应权重的不断调整，输出的是一个图像数据集x。 判别模型（Discriminator）就是图中右半部分的神经网络结构，它同样是一个深度学习系统中的神经网络模型，大量彼此相连、概念化的人造神经元之间传递着数据。输入数据集，通过神经网络的训练以及相应权重的不断调整，输出一个概率值。假如输入的是真样本(真实数据集)，判别模型（Discriminator）输出概率值就接近1；输入的是假样本（制造数据集），判别模型（Discriminator）输出概率值就接近0，可以通俗的理解为概率值大于0.5的是真，小于0.5的是假；或者概率值大于0.5的可以接受，小于0.5的不予接受——判别网络的目的是要判别出来，输入的数据集是来自真实样本集还是假样本集。而生成网络的目的却是制造出一系列不断改进的假样本，直到判别网络无法判断出是真样本还是假样本[2]。 图1.GAN模型 2.3生成网络与判别网络在GAN中的工作原理 生成网络与判别网络的目的正好是相反的，GAN（Generative Adversarial Networks）中的生成“对抗”网络涵义也由此而来。设计者可以以追求以假乱真的样本为目的，通过不断调整改进生成网络，制造更逼真的样本，令判别网络能力不足以区分真假样本；也可以以追求提高判别网络能力为目的，不断调整改进判别网络能力，令其准确判别，明辨真伪；生成网络和判别网络共同提高，在此消彼长中共同提升。从输出的数值来解释，也就是当生成网络生成的假样本输入到判别网络之后，当判别网络难辨真假时，判别网络给出的数值接近0.5，达到了纳什平衡。 生成模型（Generator）和判别模型（Discriminator）的有机结合，形成了完美的生成对抗网络。 2.4生成模型与判别模型的训练/优化 那么，如何训练生成对抗网络的两个模型呢？生成模型与判别模型是独立的两个模型，需要单独交替迭代训练。 首先，对于生成网络模型来说，输入一组初始数据就会输出一个假样本集，这个输出的假样本集很容易被判别网络识别，那么设置其标签为0；同样的道理，就可以设置真样本集标签为1。 为了判别生成网络最终输出数据集的真伪程度，需要联合判别网络提供误差数值，这样一次次的交替训练才能达到训练生成网络的目

生成对抗网络

一、生成对抗网络（GAN） 我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。这个框架相当于一个极小化极大的双方博弈。在任意函数G和D的空间中存在唯一的解，其中G恢复训练数据分布，并且D处处都等于1/2。在G 和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品进行定性和定量评估来展示这个框架的潜力。 1.1目标函数 GAN的目标函数： 从判别器D的角度，他希望自己可以尽可能的区分真是样本和虚假样本，因此希望D（x）尽可能的大，D（G（x））尽可能的小，即V（D,G）尽可能的大。从生成器的角度看，他希望自己尽可能的骗过D，也就是希望D（G（x））尽可能的大，即V（D,G）尽可能的小。两个模型相对抗，最后达到全局最优。 图中，黑色曲线是真实样本的概率分布函数，绿色曲线是虚假样本的概率分布函数，蓝色曲线是判别器D的输出，它的值越大表示这个样本越有可能是真实样本。最下方的数噪声z，它映射到了x。 我们可以看到，一开始，虽然G(z)和x是在同一个特征空间里的，但它的的差异很大，这时，虽然鉴别真实样本和虚假样本的模型D性能也不强，但它很容易就能把两者区分开来，而随着训练的推进，虚假样本的分布住建与真实样本重合，D虽然也在不断更新，但也已经力不从心了。 最后黑线和绿线几乎重合，模型达到了最优状态，这时D的输出对弈任意样本都是0.5. 1.2最优化问题表达