基于深度卷积网络的图像超分辨率--译文 董超
基于深度卷积网络的图像超分辨率
摘要：提出一种深度学习方法单一图像超分辨率(SR)。我们的方法直接学习一个端到端的低/高分辨率图像之间的映射。映射表示为卷积神经网络(CNN)的深处低分辨率图像作为输入和输出的高分辨率。我们进一步证明传统基于稀疏编码的SR方法也可以被视为一个深卷积网络。但与传统方法的是分别处理每个组件,我们的方法共同优化所有层。我们深CNN还一个轻量级的结构,展示了先进的修复质量,为达到快速的实际在线使用。我们将探讨不同的网络结构和参数设置来实现性能和速度之间权衡。此外,我们扩展我们的网络同时应对三个颜色通道,并显示更好的整体重建质量。
1介绍
单一图像超分辨率(SR)[20],旨在恢复高分辨率图像从一个低分辨率图像,是计算机的一个经典问题愿景。这个问题本质上是不适定的因为多样性存在对于任何给定的低分辨率的解决方案像素。换句话说,它是一个欠定的逆问题,并不是唯一的解决方案。这样的通常由约束减轻问题解空间的先验信息。学习先验,最近主要是采用最先进的方法基于实例的[46]策略。这些方法要么利用内部相似性的图像[5],[13],[16],[19],[47],或者从外部学习映射函数低收入和高分辨率的范例对[2],[4],[6],[15],[23],[25],[37],[41],[42],[ 47],[48],[50],[51]。外部的基于基于实例的方法可以制定通用图像超分辨率,或者可以设计合适领域特定的任务,例如,人脸幻觉[30],[50],根据训练样本提供。
基于稀疏编码的方法[49],[50]老代表外部基于实例的方法之一。这涉及几个步骤的解决途径。首先,人口出现的重叠的块输入图像和预处理(如。,减去的意思是和归一化)。这些块然后编码由一个低分辨率的字典。稀疏的系数传入的高分辨率字典重建高分辨率块。重叠重建块聚合(如。通过加权平均)来产生最终的输出。这个途径通过基于最外部的实例的方法共享,特别注意学习和优化词典[2],[49]、[50]或构建有效的映射功能[25]、[41]、[42],[47]。然而,其余的途径已经很少优化或步骤考虑在一个统一的优化框架。
在本文中,我们表明,上述途径相当于深卷积神经网络[27](更多细节在3.2节)。出于这事实上,我们考虑一个卷积神经网络直接学习一个端到端的低收入和之间的映射高分辨率图像。我们的方法从根本上不同于现有外部基于实例的方法,在我们这没有明确学习词典[41],[49]、[50]或繁殖[2]、[4]为建模的块空间。这些都是隐式地实现通过隐藏层。此外,块提取和聚合也制定了卷积层,所以在优化。在我们的方法中,整个SR途径完全是通过学习,很少的前/后处理。
我们命名该模型超分辨率卷积神经网络(SRCNN)1。被提议的SRCNN 有一些吸引人的属性。首先,它的结构是故意设计简单,然而, 相比之下最先进的基于实例的方法，提供了优越的
准确性。
图1所示。该超分辨率卷积神经网络(SRCNN)超过双三次的基线通过几个训练迭代,并优于基于稀疏编码的方法(SC)[50]与温和培训。性能可以进一步提高更多的训练迭代。提供了更多的细节4.1.1节(Set5数据集和一个升级的因素3)。该方法提供了视
觉吸引力重建图像。
图1显示了一个例子的比较。第二,中等数量的滤波器和层,我们的方法实现速度快为实际在线使用即使在一个CPU。我们的方法比基于实例的数量方法,因为它是完全前馈和不需要解决优化问题上使用。第三,实验表明,修复质量网络可以进一步改善，当(i)更大和更多不同的数据集，和/或当(2)一个更大的和更深入的模型被使用。相反,更大的数据集/模型可以对现有基于实例方法的挑战。此外,该网络可以应付三个通道的彩色图像同时实现超分辨率提高性能。
总的来说,本研究的贡献主要是在三个方面:
1)提出了一种完全卷积神经网络图像超分辨率。网络直接学习一个端到端的高低分辨率图像之间的映射,除了优化只有很少的前/后处理。
2)我们之间建立一个关系基于深度学习的SR法和传统基于稀疏编码的SR方法。这种关系为网络结构的设计提供了指导。
3)我们证明深度学习是有用的经典计算机视觉的超限分辨问题,质量好,所能达到的水平速度。
提出了一种初步版本的这项工作早期的[11]。目前的工作增加了初始版本在重要的方面。首先,我们改善SRCNN引入大的滤波器大小的非线性映射通过添加非线性映射层,探索更深层次的结构层。其次,我们延长SRCNN处理三个颜色通道(YCbCr或RGB同时颜色空间)。实验中,我们证明,可以提高性能相比单通道网络。第三,大量的新被添加到分析和直观的解释最初的结果。我们也扩展原始实验从Set5[2]和Set14[51]测试图像BSD200[32](200个测试图像)。此外,我们与许多最近发表的方法和确认我们的模型仍然优于现有方法不同的评价指标。
2相关工作
2.1图像超分辨率
根据图像先验,单幅图片超分辨率算法可以分为四种类型：预测模型,基于边缘的方法,图像统计方法和基于块(或基于实例)的方法。这些方法已经彻底研究,评估在杨的工作[46]。其中,基于实例的方法实现的最先进的性能。
内部基于实例的方法利用自相似性特征并生成范例块输入图像。这是Glasner首次提出的工作[16],和几个改进的变异[13],[45]提出了加快实现。外部基于实例方法学习低/ 高分辨率块从外部数据集之间的映射。这些研究不同于如何学习一个紧凑的字典或多个空间来联系低/高分辨率块,和如何表示计划可以进行在这样的空间。弗里曼的先驱工作等。[14],字典是直接呈现低/高分辨率块对,最近邻域(NN)的输入块是发现在低分辨率的空间,其相应的高分辨率块用于重建。Chang等。
[4]引入流形嵌入技术替代最近邻域策略。在杨工作[49],[50],上述最近邻域通信的进步更复杂的稀疏编码形成。其他映射等功能内核回归,简单函数,随机森林和锚定社区回归提出了进一步提高映射精度和速度。基于稀疏编码的方法及其几种改进[41],[42]、[48]等在如今先进的几种SR方法当中。在这些方法中,块是重点优化;块提取和聚合步骤视为前/后处理和处理分别。
大多数的SR算法关注灰度或单通道图像超分辨率。对于彩色图像,上述方法首先将问题转化到不同的颜色空间(YCbCr或YUV),SR只有在亮度通道。也有工作同时试图super-resolve
所有渠道。例如,金和Kwon[25]和DAI et al[7]应用他们的模型到每个RGB通道和他们相结合生成最终的结果。然而,没有一个分析了SR性能不同的渠道及恢复所有三个渠道的必要性。
2.2卷积神经网络
卷积神经网络(CNN历经几十年[27]和cnn部分由于其成功的形象分类，最近显示出爆炸性流行[18]、[26]。他们也被成功地应用于其他计算机视觉领域,如对象检测[34]、[40]、[52],人脸识别[39]行人检测[35]。有几个因素的中央在这个进步重要性:(i)有效训练实现在现代强大的gpu[26],(ii)提出的修正的线性单元(ReLU)[33]使得收敛更快,同时还提出了好质量[26],(iii)方便地访问大量的培训数据(如ImageNet[9])用于训练更大的模型。我们的方法也受益于这些进展。
2.3图像恢复深度学习
有一些使用深度学习的研究图像恢复的技术。所有层的多层感知器(MLP)全(卷积)相比,适用于自然图像去噪post-deblurring去噪[36]和[3]。更多的与我们的工作密切相关,卷积神经网络应用于自然图像去噪[22]和消除嘈杂的模式(污垢/雨)[12]。这些修复或多或少是denoising-driven问题。崔等。
[5]提出将auto-encoder网络嵌入超分辨概念下途径内部基于样本方法[16]。深度模型不是特别设计为一个端到端解决方案,因为每一层级联的要求独立的自相似性搜索过程和auto-encoder 的优化。在相反,该SRCNN优化端到端映射。此外,SRCNN更快的速度。它不仅是一种定量方法优越,但也实际有用的。
3卷积神经网络超分辨率
3.1制定
考虑一个低分辨率的图像,我们第一次使用双立方插值来提升它到所需的尺寸,是我们唯一perform预处理。让我们表示插值的图像作为y .我们的目标是恢复从Y图像F(Y)尽可能相似地面真理的高分辨率图像x方便演示,我们仍然叫Y“低分辨率”形象,虽然有相同的大小作为x,我们希望学习一个映射F,概念上包括三个操作:
1)块提取和表示:这个操作从低分辨率图像提取(重叠)块Y和代表每个块高维向量。这些向量组成组特征图,等于数量向量的维数。
2)非线性映射:此操作非线性把每个高维向量映射到另一个高维向量。每个映射向量是高分辨率的概念上的表示块。这些向量构成另一组特性地图。
3)重建:此操作集合以上高分辨率patch-wise表示来生成最终的高分辨率图像。这图像将类似于地面真理X。
我们将显示所有这些操作形成一个卷积神经网络。网络的概述如图2所示。接下来我们详细的定义每个操作。
3.1.1块提取和表示
在图像恢复(如一个受欢迎的策略。[1])人口中提取的块,然后由一组pre-trained基如PCA、DCT,哈雾等等代表他们。这个相当于卷积滤波器的图像由一组,这是一个基础。在我们的配方中,我们涉及这些基地的优化的优化网络。在形式上,第一层表示为一个操作F1
F1(Y) = max(0; W1 ?Y + B1) ;
(1)
W1和B1分别代表了滤波器和偏见,和“?”表示卷积操作。这里,W1对应n1滤波器的支持c f1××f1,其中c是在输入图像通道的数量,f1是一个滤波器的空间大小。直观地说,W1将n1卷积用于图像,每个卷曲内核大小 c f1××f1。输出组成n1特征图。B1是n1-dimensional向量的每个元素与一个滤波器。我们应用修正线性单元(ReLU 马克斯(0,x))滤波器[33]responses4。
3所示。双立方插值也是一个卷积操作,所以它可以作为卷积层制定。然而,输出的大小这一层是大于输入大小,所以有部分的跨步。来利用流行的优化实现
作为cuda-convnet[26],我们排除这“层”学习。
图2所示。给定一个低分辨率的图像Y,第一个卷积层SRCNN提取一组特征图。第二层地图这些特性非线性映射到高分辨率块表示。最后一层结合预测在一个空间附近生成
最终的高分辨率图像F(Y)
3.1.2非线性映射
第一层每一个块提取一个n1-dimensional特性。在第二次手术,我们每个地图这些n1-dimensional向量n2-dimensional一个。这相当于应用n2的滤波器一个简单的空间支持1×1。这个解释是只有效期为1×1滤波器。但它很容易推广到更大的滤波器3×3或5×5。在这种情况下,非线性的映射不是在输入图像的一个块;相反,在一个3×3或5×5“块”地图的功能。的第二层是操作:
F2(Y)= max(0;W2?F1(Y)+ B2):(2)
这里W2包含n2滤波器的大小n1×f2 ×f2,和B2是n2维。每个输出的n2维向量是一个高分辨率的概念上的表示块,将用于重建。
可以添加更多的卷积层增加非线性。但这可以增加模型的复杂性(n2××f2 f2×n2参数一层),因此需要更多的训练时间。我们将探索更深层次的结构通过引入额外的4.3.3节中非线性映射层。
3.1.3重建
在传统的方法,预测重叠高分辨率块通常平均生产最后的完整图像。平均可以考虑作为一个预定义的滤波器在一组特征图(每个职位的“夷为平地”向量形式highresolution块)。出于这一点,我们定义一个卷积层产生最终的高分辨率图片
:F(Y)= W3?F2(Y)+ B3:(3
W3对应c n2×f3×f3滤波器的大小,和B3 c-dimensional向量。
如果表示的高分辨率块在图像域(即。,我们可以简单地重塑表示形成的块),我们期望的滤波器的行为像一个平均滤波器;如果表示在一些其他领域的高分辨率块(如。系数的一些基地),我们预计W3像首先投射系数上图像域,然后平均。无论哪种方式,W3一组线性滤波器。
有趣的是,尽管上述三个操作出于不同的直觉,他们都导致相同的形式作为一个回旋的层。我们把所有三个操作结合在一起,形成一个卷积神经网络(图2)。在这个模型中,所有的过滤权重和偏见进行了优化。尽管简洁的整体结构,我们仔细SRCNN模型由绘画丰富的经验了从超分辨率的显著进展[49],[50]。在下一节中,我们详细描述了关系。
3.2 基于稀疏编码方法的关系
我们表明,基于稀疏编码的SR方法[49],[50]可以视为一个卷积神经网络。图3显示了一个例子。
在基于稀疏编码的方法,让我们考虑一下提取一个f1×f1低分辨率块输入图像。稀疏编码的能手,Feature-Sign[29],将第一个项目块到(低分辨率)字典。如果字典大小是n1,这相当于应用n1线性滤波器(f1×f1)输入图像(平均减法也是线性的操作也会被吸收)。随着中对此进行了阐述图3的左部。
稀疏编码解算器将迭代过程n1系数。这个解算器的输出是n2系数,通常n2 = n1在稀疏的情况下编码。这些n2系数的表示高分辨率块。在这个意义上,稀疏编码解决者的行为作为一种特殊的非线性映射运营商的空间支持1×1。看到中间图3的一部分。然而,稀疏编码的能手不是前馈,即。,它是一种迭代算法。在相反,我们的非线性算子是完全前馈,可以有效地计算。如果我们设置f2 = 1,那么我们可以视为pixel-wise非线性算子全层。值得注意的是,“稀疏SRCNN编码解决者”指的是第一个两层,但不只是第二层或激活功能(ReLU)。因此,非线性操作在SRCNN也是通过优化学习过程。
图3所示。说明基于稀疏编码的卷积神经网络方法的观点。
上面的n2系数(稀疏编码后)然后投射到另一个(高分辨率)字典产生一个高分辨率块。重叠高分辨率块然后取平均值。如前所述上图,这相当于线性运算上n2特征图。如果用于高分辨率块重建的大小f3×f3,那么线性滤波器有一个等价的空间大小f3×f3的支持。看到正确的图3的一部分。
上面的讨论表明,sparse-codingbased SR方法可以被视为一种卷积神经网络(不同的非线性映射)。但并非所有的操作被认为是基于稀疏编码的SR的优化方法。相反,在我们的卷积神经网络,低分辨率字典、高分辨率字典,非线性映射,意味着减法和在一起平均,都参与了滤波器来进行优化。所以我们的方法优化端到端映射包括所有操作。
上面的比喻也能帮助我们设计hyperparameters。例如,我们可以设置滤波器的大小最后一层比第一层的小,因此我们更加依赖中央部分highresolution块(极端,如果f3 = 1,使用没有平均的中心像素)。我们也可以设置n2 < n1,因为它是稀疏的。一个典型的和基本的设置是f1 = 9,f2 = 1,f3 = 5,n1 = 64,和n2 = 32(我们评估更多的设置实验部分)。总的来说,估计利用高分辨率的像素信息的(9 + 5 - 1)2 = 169像素。显然,这些信息利用重建相对比用于现有外部基于实例的方法,如。使用(5 + 5 - 1)2 = 81 pixels5[15],[50]。这是一个的原因SRCNN给性能优越3.3培训
端到端映射函数F学习需要网络参数的估计Θ=fW1;W2 W3、B1、B2;B3g。这是通过重构图像之间的损失最小化F(Y;Θ)和相应的地面实况highresolution x给定一组高分辨率图像fXig及其相应的低分辨率图像fYig 图像,我们使用均方误差(MSE)损失函数:
L(Θ)= 1nnX我= 1jjF(易建联;Θ)- Xijj2;(4)
其中n是训练样本的数量。使用MSE损失函数支持高PSNR。的PSNR 值为定量评估是一种广泛使用的度量吗图像恢复质量,至少是部分相关感知质量。值得注意到的是卷积神经网络不排除使用其他种类的损失函数,如果失去功能可诱导的。如果一个更好的感知动机指标培训期间,它是灵活的网络适应这一指标。相反,这种灵活性一般是对传统的“手工”方法难以实现。尽管该模型培训有利于PSNR值高,我们还观察到令人满意的性能评估模型时使用选择评价指标。、SSIM MSSIM(见4.1.1节)。
损失最小化使用随机梯度下降法与标准反向传播[28]。特别是,权重矩阵更新
?i+1 = 0:9 · ?i - η · @L@W …i; W i …+1 = W i … + ?i+1; (5)
在“f1;2,3 g和我的指标层和迭代,η是学习速率,和@W @L”我的导数。每一层的过滤权重通过初始化从与零均值高斯分布随机和标准偏差0.001(偏见和0)。的4学习速率是打败第一两层和纯最后一层。我们实证发现较小的学习率在过去的网络层是很重要的收敛(类似于去噪情况下[22]) 在训练阶段,fXig地面实况图像准备为fsub×fsub×c-pixel子图片随机从训练图像裁剪。我们通过“子图片”意味着这些样本被视为“图像”,而小比“块”,在这个意义上,“块”是重叠的,需要一些平均后处理“子图片”不需要。合成的低分辨率fYig样品,我们模糊子图像的高斯内核,业者进行升级的因素,和高档的通过双立方插值相同的因素。
为了避免边界效应在训练,所有的卷积层没有填充,和网络产生一个更小的输出(fsub——f1,f2,f3 + 3)2×c)。MSE损失函数是评价的差异习的中心像素与网络的输出。虽然我们在训练
中使用一个固定的图像大小,卷积神经网络可以应用于图像在测试期间任意大小的。
我们实现我们的模型使用cuda-convnet包[26]。我们也试过咖啡包[24]观察到相似的性能。
4实验
我们首先研究使用不同的数据集的影响对模型的性能。接下来,我们检查滤波器学会了我们的方法。然后,我们探索不同网络的体系结构设计,研究超分辨率性能和因素之间的关系像深度,滤波器,滤波器的大小。随后,我们将我们的方法和最近state-ofthe-arts定量和定性。后[42],超分辨率只应用于亮度通道(Y通道YCbCr颜色空间)在章节4.1 -4.4,所以c = 1在第一/最后一层,和性能(如。、PSNR和SSIM)评估在Y通道。在最后,我们将扩展网络处理彩色图像和评估的性能在不同的频道。4.1培训数据
如文献所示,深度学习受益于大数据训练。为了便于比较,我们使用一个相对较小的训练集[41],[50],由91年的图片,和一个大训练集,由395909图像ILSVRC 2013 ImageNet分区检测培训。培训子图片的大小fsub = 33。因此,91 -图像数据集可以分解到24800年子图片,从原始图像中提取的步幅14。而ImageNet提供超过500万子图片甚至使用了33。我们用基本的网络设置,即。f1 = 9,f2 = 1,f3 = 5,n1 = 64,和n2 = 32。我们使用Set5[2]作为验证集,我们观察到类似的趋势如果我们使用较大的Set14[51]。升级的因素是3。我们使用基于稀疏编码的方法[50]基线,达到平均PSNR值为31.42dB
使用不同的培训测试收敛曲线集如图4所示。培训时间在ImageNet差不多在91 -图像数据集反向传播的数量是一样的。可以观察到,相同数量的反向传播(即。8×108),SRCNN + ImageNet达到32.52分贝,高于32.39 dB产生了91年的训练图像。积极的结果表明SRCNN性能可能进一步提高使用更大的训练集,但是大数据的影响并不一样令人印象深刻所示的高层视力问题[26]。这是主要是因为,91年的图片已经足够可变性的自然图像捕获。在另一方面,我们的SRCNN是一个相对较小的网络(8032参数),不能overfit 91图像(24800个样本)。尽管如此,我们采用ImageNet,它包含更多样的数据,作为默认培训在接下来的实验。
4.2学习超分辨率的滤波器。
图5显示的例子学习第一层滤波器训练在ImageNet 3升级的因素。请查阅我们发表实现升级2和4的因素。有趣的是,每个滤波器其特定的功能。例如,g和滤波器h就像高斯拉普拉斯算子/滤波器,滤波器- e就像边缘探测器在不同方向,滤波器f是像一个纹理提取器。示例特征图不同的层如图6所示。很明显,特征图的第一层包含不同的结构(如。在不同方向的边缘),而的第二层主要是不同的强度。
4.3模型和性能的权衡
基于基本的网络设置(即。f1 = 9,f2 = 1,f3 = 5,n1 = 64,和n2 = 32),我们将逐步修改这些参数调查的一些最好的性能和速度之间权衡,研究性能和参数之间的关系
图4所示。培训ImageNet大得多的数据集超过91张图片的使用提高了性能。
图5所示。图中显示的第一层滤波器训练与一个升级的因素ImageNet 3。滤波器是组织基于各自的差异。
图6所示。不同层特征图的示例。
4.3.1滤波器数量
一般来说,性能将提高如果我们增加网络width6,即。,添加更多的滤波器运行时间的成本。具体地说,基于我们的网络默认设置的n1 = 64和n2 = 32岁,我们的行为两个实验:一个是与一个更大的网络n1 = 128和n2 = 64,(2)另一种是较小的网络和n1 = 32和n2 =
16。类似于4.1节,我们也训练两个模型ImageNet和测试3 Set5升级的因素。结果观察到在8×108反向传播如表1所示。它是清楚,优越的性能可以通过增加宽度。然而,如果一个恢复速度快需要一个小网络宽度优先,哪个仍然可以取得更好的性能比sparsecoding-based方法(31.42 dB)。
表1使用不同的结果在SRCNN过滤数据。培训执行ImageNet同时评估是在Set5数据集上进行。
4.3.2滤波器的大小
在本节中,我们检查网络灵敏度不同大小的滤波器。在以前的实验中,我们设置滤波器尺寸f1 = 9,= 1 f2和f3 = 5,网络可以表示为9-1-5。首先,是一致的基于稀疏编码的方法,我们固定滤波器的大小第二层是f2 = 1,并扩大滤波器的大小其他层f1 = 11和f3 = 7(11-1-7)。所有其他的设置与4.1节保持不变。结果有一个升级的因素3 Set5 32.57 dB,这是略高于32.52 dB在4.1节。这表明相当大的滤波器大小掌握丰富的结构信息,进而导致更好的结果。
然后我们进一步研究网络与一个更大的滤波器第二层的大小。具体来说,我们修复滤波器的大小f1 = 9,f3 = 5,扩大第二个滤波器的大小层(我)f2 = 3(9-3-5)和(2)f2 = 5(9-5-5)。收敛曲线在图7中显示使用一个更大的滤波器尺寸可以显著提高性能。具体来说,通过9 - 3 -平均PSNR值5和9-5-5在Set5 8×108反向传播分别为32.66 dB和32.75 dB。研究结果显示利用邻域信息的映射阶段是有益的。然而,部署速度也会降低与一个更大的滤波器的大小。例如,的数量参数为9-1-5、9-3-5和9-5-5是8032,24416年分别为57184。9-5-5几乎的复杂性9-3-5的两倍,但性能改进边际。因此,网络规模的选择应该是性能和之间的平衡速度。
4.3.3层数
最近的研究他和太阳[17]表明,CNN受益于增加网络的深度吗适度。在这里,我们试着更深层次的结构通过添加另一个非线性映射层,n22 = 16滤波器的大小——f22 = 1。我们进行三个控制实验,即。,9-1-1-5,9-1-1-5,9-5-1-5,添加一个附加层9-1-5、9-3-5和9-5-5,分别。初始化方案和学习速率的附加层第二层是一样的。从图13(a),13 8(b)和(c),我们可以观察到但是网络收敛慢于三层网络。然而,如果有足够的训练时间,更深层次的网络将最终赶上和收敛于三层的。
超分辨率的深层结构的有效性是发现明显不如图片所示分类[17]。此外,我们发现更深网络并不总是导致更好的性能。具体地说,如果我们添加一个额外的层n22 = 32滤波器在9-1-5网络,那么性能就会降低和不能超过三层网络(见图9(a))。如果我们通过添加两个非线性映射层更深n22 = 32和n23 = 16滤波器9-1-5,那么我们必须设置一个较小的学习速率确保收敛,但我们仍然不观察优越性能经过一个星期的培训(见图9(a))。我们也试图扩大额外的滤波器的大小层——f22 = 3,探索两个深层结构- 9 - 33 - 5和9-3-3-3。然而,从收敛曲线如图9所示(b),这两个网络没有显示更好的结果比9-3-1-5网络
图8所示。对比三层和基础课网络。
所有这些实验表明,它不是“越深“在这个深度模型超分辨率越好。它可能是由于训练的难度。我们的美国有线电视新闻网网络不包含池层或接触层,因此,敏感的初始化参数和学习速度。当我们去更深层次的(如。,4或5层),我们发现很难设置合适的学习速率保证收敛。即使它是收敛的,网络可能会陷入一个坏局部最小值,学到了什么滤波器的多样性甚至给予足够的培训时间。这种现象也在[16],在那里不当增加了深度会导致精度饱和或退化的图像分类。为什么“更深不是更好”,仍然是一个悬而未决的问题,这就需要调查,以便更好地理解渐变和培训动力
学在深架构。因此,我们仍然采用三层网络在接下来的实验。
4.4比较先进的
在本节中,我们展示了定量和定性我们的方法的结果相比,最先进的方法。我们采用该模型具有良好的performancespeed权衡:三层网络与f1 = 9,f2 =5,f3 = 5,n1 = 64,和n2 = 32 ImageNet训练。为每个升级因素 2 f2;3,4 g,我们特定的训练网络factor7。比较。我们比较我们与先进SR饮片SRCNN方法:
?杨的SC -稀疏coding-based方法等。[50]?
不+米歇尔-邻居嵌入+局部线性的嵌入方法[4]?
ANR——固定社区回归方法[41]
?+ -调整后固定社区回归方法[42],和
?KK -[25]中描述的方法,实现了最佳的性能在外部examplebased方法,根据全面在杨等进行评价的工作[46]的
实现都是公开的作者提供的代码,所有图像downsampled使用相同的双三次的内核。
测试集。Set5[2](5)图像,Set14[51](图片14日)和BSD200[32](200张照片)8用于评估升级的性能因素2、3和4。
评价指标。除了广泛使用的PSNR值和SSIM[43]指标外,我们还采用另一个四评价矩阵,即信息保真度准则(IFC)[38],噪声质量测量(NQM)[8],加权峰值信噪比(WPSNR)和多尺度结构相似度指数(MSSSIM)[44]获得高的相关性与人类知觉的分数报道[46]。
4.4.1的定量和定性评估
如表2所示,3和4,拟议中的SRCNN收益率最高的分数在大多数experiments9评价矩阵。请注意,我们的SRCNN结果基于检查点的8×108反向传播。具体来说,升级因子3,平均收益在PSNR值通过SRCNN 0.15 dB,0.17 dB,0.13 dB,高于下一个最好的方法,一个+[42],在这三个数据集。当我们看一看评价指标,我们观察到SC,令我们吃惊的是,比双立方插值得到更低的分数国际金融公司和NQM。很明显,SC的结果比双立方插值的视觉上赏心悦目。这表明这两个指标可能并不真实揭示了图像质量。因此,不管这两个指标,SRCNN之间达到最佳的性能所有方法和扩展的因素。
值得指出的是,SRCNN超过的双三次的基线的一开始学习阶段(见图1),适度训练,SRCNN优于现有最先进的方法(见图4)。然而,性能远未收敛。我们猜想,可以获得更好的结果较长的训练时间(参见图10)。
图14、15和16显示了超分辨率的结果一个升级的因素的不同方法3。是可以被观察到,SRCNN产生尖锐的边缘比其他方法没有任何明显的工件整个图像。
此外,我们报告最近的另一个深刻的学习崔的图像超分辨率方法(DNC)等艾尔。[5]。他们采用不同的内核(高斯模糊滤波器的标准偏差0.55),我们训练一个特定的网络(9-5-5)使用相同的模糊和DNC内核公平的定量比较。升级的因素3,训练集是91 -图像数据集。从收敛曲线如图11所示,我们观察我们的SRCNN超过DNC只有7×107backprops,可以获得更大的利润较长的训练时间。这也证明了端到端学习优于DNC,即使模型已经“深度”。10/24/11运行时间。
图12显示了运行时间比较的几个最先进的方法,以及它们的恢复Set14性能。所有基线方法得到从相应的作者的MATLAB +墨西哥人实现,而我们是在纯c++。我们配置文件所有算法的运行时间使用相同的机(Intel CPU 3.10 GHz和16 GB的内存)。请注意,我们的方法是高度的处理时间线性测试图像分辨率,因为所有图片通过相同数量的旋转。我们的方法之间总是会有取舍
的性能和速度。为了展示这一点,我们的火车三个网络的比较,9-1-5,9-3-5,9-5-5。很明显,9 -1 - 5网络是最快的,而它仍然达到更好性能比下一个最先进的A +。其他方法是几次甚至数量级相比9-1-5网络慢。注意速度差距不是主要由不同的MATLAB / c++实现,而是需要解决的其他方法复杂的优化问题上使用(如。,稀疏的编码或嵌入),而我们的方法是完全前馈。9-5-5网络实现最佳性能,但运行时间的成本。的测试时间CNN可以进一步加速的速度在许多方面,例如,近似或简化训练网络[10],[21],[31],可能微乎其微降解性能
4.5实验的颜色通道
在之前的实验中,我们遵循传统super-resolve彩色图像的方法。具体来说,我们首先将彩色图像转换为YCbCr 空间。SR算法只应用于Y频道,Cb,Cr 通道是高档双立方插值。有趣的是找出如果超分辨率如果我们共同考虑所有可以提高性能在这个过程中三个频道。
我们的方法是灵活的接受更多的渠道在不改变学习机制和网络设计。特别是,它可以很容易地处理三个通道同时通过设置输入通道c = 3。在接下来的实验中,我们将探讨不同培训策略彩色图像超分辨率随后评估他们的表现不同频道。
实现细节。培训的执行91 -图像数据集,进行了测试Set5[2]。网络设置:c = 3,f1 = 9,f2 = 1,f3 = 5,n1 = 64,和n2 = 32。正如我们已经证明SRCNN在不同尺度的有效性,我们只在这里评估3升级的性能因素。
比较。我们比较我们的方法与stateof-art颜色SR方法- KK[25]。我们也尝试不同学习策略进行比较:
?Y只:这是我们的基本方法,这是一个单通道(c = 1)网络只在训练亮度通道。Cb,Cr通道使用双立方插值高档。
?YCbCr:培训执行的三个频道YCbCr空间。
?Y pre-train:第一,保证上的性能Y 频道,我们只使用MSE Y的通道输给pre-train网络。然后我们使用所有渠道的MSE来调整参数。
?CbCr pre-train:我们使用Cb的MSE,Cr输给pre-train网络渠道,调整参数在所有频道。
?RGB:培训的三个通道上执行RGB空间
结果如表5所示,我们有后观察。(我)如果我们直接上火车YCbCr渠道,比这更糟的结果双立方插值。培训分为一个糟糕的地方最低,由于固有的不同的特征Y和Cb的Cr频道。(2)如果我们pre-trainY或Cb,Cr渠道,最终性能改善,但是还没有比“Y”的彩色图像(见表5的最后一列,在PSNR值计算在RGB颜色空间)。这表明,Cb,Cr渠道可以减少训练时Y通道的性能表现在一个统一的网络。(3)我们注意到,Cb,Cr 有更高的渠道为“Y pre-train PSNR值”比“CbCr pre-train”。原因在于Cb之间的差异,Cr渠道和Y通道。视觉、Cb、Cr频道比Y更模糊的通道,从而不影响将采样的过程。当我们pre-trainCb,Cr 渠道,只有少数滤波器激活。然后训练很快就会陷入一个坏的在微调局部最小值。另一方面,如果我们在Y pre-train 频道,更多的滤波器激活,Cb的性能,将Cr通道被推高得多。图13显示了Cb,Cr渠道的第一层滤波器“Y pre-train”所示的模式很大程度上不同于哪一个图5。在RGB(iv)培训渠道实现在彩色图像的最佳结果。不同于YCbCr频道,RGB通道展览高相互之间的交互作用。拟议中的SRCNN能够利用这种自然通讯渠道之间的重建。因此,模型达到类似的结果在Y通道“Y”,并更好的结果在Cb,Cr渠道比双立方插值。(v)在KK[25],超分辨率分别应用在每个RGB通道。当我们变换结果YCbCr空间,PSNR值Y的通道作为
“Y”类似,但是,Cb,Cr渠道比双立方插值贫穷。结果表明该算法偏Y通道。总的来说,我们的方法在RGB通道达到更好的性能比KK和singlechannel 网络(“Y”)。它也是值得注意的改善与单通道网络并不重要(即。0.07 dB)。这表明Cb,Cr渠道几乎帮助改善的性能。
5结论
我们提出了一种新颖的深度学习的方法针对单一图像超分辨率(SR)。我们表明,常规基于稀疏编码的SR方法12新配方深层卷积神经网络。SRCNN 建议的方法,学习一个端到端的低收入和高分辨率图像之间的映射,一些额外的优化以外的前/后处理。和一个轻量级的结构,SRCNN取得比最先进的方法性能优越。我们猜想这额外的性能可以进一步通过探索更多的滤波器和不同的培训策略。此外,拟议的结构,以其简单性和鲁棒性的优点,可以应用其他低层次视觉问题,如图像去模糊或同时SR +去噪。一个也可以调查网络,以应对不同的升级因素。
基于深度卷积神经网络的图像分类
SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, % classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words: Convolution neural network(CNN), image classification, Batch Normalization, Dropout
一文读懂生成对抗网络GANs(附学习资源)
一文读懂生成对抗网络GANs（附学习资源） 原文标题：AnIntuitive Introduction to Generative Adversarial Networks作者：KeshavDhandhania、ArashDelijani 翻译：申利彬校对：和中华本文约4000字，建议阅读10分钟。 本文以图像生成问题引出GAN模型，并介绍了GAN模型的数学原理和训练过程，最后提供了丰富的GAN学习资料。本文讨论生成对抗网络，简称GANs。在生成任务或更广泛的无监督学习中，GANs是为数不多在此领域表现较好的机器学习技术之一。特别是他们在图像生成相关任务上拥有出色表现。深度学习领域先驱Yann LeCun，称赞GAN是机器学习近十年来最好的想法。最重要的是，GAN相关核心概念很容易理解（事实上，读完本文后你就可以对它有个清晰的认识）。 我们将GANs应用在图像生成任务中，并以此来解释GANs，下面是本文的概要： 简单回顾深度学习图像生成问题生成任务中的关键问题生 成对抗网络挑战进一步阅读总结简单回顾深度学习 （前馈）神经网络示意图，棕色为输入层，黄色为隐藏层，红色为输出层我们先简单介绍一下深度学习。上图是神经网络示意图，它是由神经元组成，神经元之间通过边相互连
接，而且神经元按层排列，中间为隐藏层，输入层和输出层分别在左右两侧。神经元之间的连接边都有权重，每一个神经元都会根据与其连接的神经元的输入值加权求和，然后带入非线性激活函数中计算，这类激活函数有Sigmoid和ReLU。例如，第一层隐藏层神经元对来自输入层神经元的值进行加权求和，然后再应用ReLU函数。激活函数引入了非线性，它使神经网络可以模拟复杂的现象（多个线性层等价于一个线性层）。给一个特定的输入，我们依次计算每个神经元输出的值（也称为神经元的活性）。从左到右，我们利用前层计算好的值来逐层计算，最后得到输出层的值。然后根据输出层的值和期望值（目标值）定义一个损失函数，例如，均方误差损失函数。其中，x是输入，h（x）是输出，y 是目标值，总和包含数据集中所有数据点。在每步中，我们的目标是以合适的数值优化每条边的权重，从而尽可能降低损失函数的大小。我们计算出梯度值，然后利用梯度具体优化每一个权重。当我们计算出损失函数值，就可以用反向传播算法计算梯度。反向传播算法的主要结果是：利用链式求导法则和后一层参数的梯度值来计算这层的梯度。然后，我们通过与各个梯度成比例的量（即梯度下降）来更新每个权重。如果你想要进一步了解神经网络和反向传播算法的细节，我推荐你阅读Nikhil Buduma写的简单学习深度学习（Deep Learning in aNutshell）
基于深度卷积神经网络的人脸识别研究
基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。
其中，b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = x x x x x e e e e z z f e z z f - - - + - = = + = = ) tanh( ) ( 1 1 ) ( ) (σ 卷积神经网路的基本结构
简单的池化过程： 2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。
【CN109903299A】一种条件式生成对抗网络的异源遥感图像配准方法及装置【专利】
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910262015.8 (22)申请日 2019.04.02 (71)申请人 中国矿业大学 地址 221008 江苏省徐州市铜山区大学路 中国矿业大学科研院 (72)发明人 杜文亮 周勇 赵佳琦 (74)专利代理机构 南京瑞弘专利商标事务所 (普通合伙) 32249 代理人 梁天彦 (51)Int.Cl. G06T 7/11(2017.01) G06T 7/33(2017.01) (54)发明名称 一种条件式生成对抗网络的异源遥感图像 配准方法及装置 (57)摘要 本发明公开了一种基于图像分割的条件式 生成对抗网络的异源遥感图像配准方法及装置， 根据两组异源遥感图像数据，获取训练样本；对 输入图像进行图像分割， 获得分割图像；构建基于图像分割的条件式生成对抗网络；构建图像块 的生成对抗网络；训练两个生成对抗网络；将生 成图像与待配准图像进行同源图像配准。本发明 能够约束生成对抗网络生成图像的空间信息一 致性，并提供全尺寸空间信息一致的图像转换解 决方案，将异源图像配准问题化简为同源图像配 准问题， 构建统一的异源遥感图像配准框架。权利要求书3页 说明书6页 附图3页CN 109903299 A 2019.06.18 C N 109903299 A
1.一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：包括如下步骤： (1)从两组异源遥感图像数据中获取成对的训练样本，两组异源遥感图像数据中的数据互为一一匹配，成对的训练样本中的两张图像分别为两组异源遥感图像数据中一一匹配的数据，将成对的训练样本中的两张图像分别称为输入图像和目标图像； (2)采用分割方法对图像进行图像分割，获得分割图像； (3)构建基于图像分割的条件式生成对抗网络I； (4)构建图像块生成对抗网络Ⅱ； (5)训练两个生成对抗网络； (6)将生成图像与待配准图像进行同源图像配准。 2.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(2)中，对图像进行图像分割，采用的分割方法为k -means图像分割法。 3.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(3)中，基于图像分割的条件式生成对抗网络I包括一个生成器G 和一个判别器D， 满足： 其中：x为输入图像，y为对应输入图像x的目标图像，表示输入图像x和目标图像y 的对抗损失函数，D(x ,y)表示判别器D对输入图像x和目标图像y的判别结果，S(x)表示输入图像x经k -means图像分割法分割后获得的分割图像，G(x ,S(x))表示输入图像x与分割图像S(x)经生成器G后获得的生成图像，D(x ,G(x ,S(x)))表示判别器D对输入图像x和生成图像G (x ,S(x))的判别结果，表示数学期望，(x ,y)～p data (x ,y)表示变量(x ,y)服从数据分布p data (x ,y)，x～p data (x)表示变量x服从数据分布p data (x)。 4.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(4)中，构建图像块生成对抗网络Ⅱ包括如下步骤： (41)使用高斯差分函数特征点定位方法对目标图像进行特征点定位； (42)将目标图像的特征点定位位置在生成图像上共享； (43)提取目标图像和生成图像上相同特征点定位位置上的对应图像块； (44)使用图像块生成对抗网络Ⅱ对目标图像和生成图像中对应图像块进行判别。 5.根据权利要求4所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(44)中，图像块生成对抗网络Ⅱ中的生成器采用步骤(3)中条件式生成对抗网络I中的生成器。 6.根据权利要求1所述的基于图像分割的条件式生成对抗网络的异源遥感图像配准方法，其特征在于：所述步骤(5)中， 按照下面的损失函数训练两个生成对抗网络： 权 利 要 求 书1/3页2CN 109903299 A
使用卷积神经网络的图像样式转换
《使用卷积神经网络的图像样式转换的研究》 院系信息工程学院 专业电子与通信工程 班级信研163 提交时间：2016年11月28日
使用卷积神经网络的图像样式转换的研究 湖北省武汉，430070 摘要：以不同的风格样式渲染图像的内容一直都是一个十分困难的图像处理任务。也可以说，以前主要限制因素是不知如何明确表示内容信息。在这里我们使用图像表示导出优化的能够识别对象的卷积神经网络，这使得高级图像信息显示。我们引入了一种可以分离和重组自然图像的图像内容和艺术风格的神经算法。这个算法允许我们生成高质量的新目标图像，它能将任意照片的内容与许多众所周知的艺术品的风格相结合。我们的结果提供了对卷积神经网络学习的深度图像表示的新理解，并且展示了他们的高水平图像合成和操纵的能力。 关键词：卷积神经网络；图像处理；神经算法 The Study of Image Style Transfer Using Convolutional Neural Networks LiWenxing School of Science,Wuhan University of Technology,Wuhan 430070,China Abstract: Rendering the content of an image in a different style has always been a difficult image processing task. It can also be said that the main limiting factor in the past is that I do not know how to clearly express the content information. Here we use an image representation to derive an optimized, object-aware convolutional neural network, which allows advanced image information to be displayed. We introduce a neural algorithm that can separate and reconstruct the image content and artistic style of natural images. This algorithm allows us to generate high-quality new target images that combine the content of any photo with the style of many well-known works of art. Our results provide a new understanding of the depth image representation of convolution neural network learning and demonstrate their ability to synthesize and manipulate high-level images. Keywords: Convolutional Neural Network;Image Processing;Neural algorithm
基于卷积神经网络的图像识别研究
第14期 2018年7月No.14July，2018 1 算法原理 卷积神经网络的卷积层最重要部分为卷积核[1-2]。卷积核不仅能够使各神经元间连接变少，还可以降低过拟合误 差[3]。 子采样过程就是池化过程。进行卷积过程是将卷积核与预测试图像进行卷积，子采样能够简化网络模型，降低网络模型复杂程度，从而缩减参数。 在图像识别时，首先需要对输入图像初始化，然后将初始化后图像进行卷积和采样，前向反馈到全连接层，通过变换、即可计算进入输出层面，最终通过特征增强效果和逻辑之间的线性回归判断是否符合图像识别期望效果，往复循环，每循环一次就迭代一次，进而对图像进行识别。流程如图1所示。 图1 卷积神经网络模型流程 2 卷积神经网络 卷积神经网络主要包括3个层次[4]，它由输入层、隐藏 层、输出层共同建立卷积神经网络模型结构。2.1 卷积层 卷积层的作用是提取特征[2]。卷积层的神经元之间进行 局部连接，为不完全连接[5]。 卷积层计算方法公式如下。()r array M a λ+ 其中λ为激活函数，array 是灰度图像矩阵， M 表示卷积核， 表示卷积， a 表示偏置值大小。G x 方向和G y 方向卷积核。 本文卷积神经网络模型中设定的卷积核分为水平方向和竖直方向。卷积层中卷积核通过卷积可降低图像边缘模糊程度，使其更为清晰，效果更好、更为显著。经过S 型函数激活处理之后，进行归一化后图像灰度值具有层次感，易于突出目标区域，便于进一步处理。2.2 全连接层 该层主要对信息进行整理与合并，全连接层的输入是卷积层和池化层的输出。在视觉特征中，距离最近点颜色等特征最为相似，像素同理。全连接如图2所示。 图2 全连接 3 实验结果与分析 本文采用数据集库是MSRA 数据集，该数据集共包含1 000张图片。实验环境为Matlab2015a 实验环境，Windows 7以上系统和无线局域网络。本文从MSRA 数据集中选取其中一张进行效果分析。卷积神经网络模型识别效果如图3所示。 作者简介：谢慧芳（1994— ），女，河南郑州人，本科生；研究方向：通信工程。 谢慧芳，刘艺航，王 梓，王迎港 （河南师范大学，河南 新乡 453007） 摘 要：为降低图像识别误识率，文章采用卷积神经网络结构对图像进行识别研究。首先，对输入图像进行初始化；然后，初 始化后的图像经卷积层与该层中卷积核进行卷积，对图像进行特征提取，提取的图像特征经过池化层进行特征压缩，得到图像最主要、最具代表性的点；最后，通过全连接层对特征进行综合，多次迭代，层层压缩，进而对图像进行识别，输出所识别图像。与原始算法相比，该网络构造可以提高图像识别准确性，大大降低误识率。实验结果表明，利用该网络模型识别图像误识率低至16.19%。关键词：卷积神经网络；卷积核；特征提取；特征压缩无线互联科技 Wireless Internet Technology 基于卷积神经网络的图像识别研究
生成对抗网络概述
生成对抗网络概述 发表时间：2018-10-22T15:04:18.787Z 来源：《科技新时代》2018年8期作者：董美雪 [导读] 生成对抗网络（Generative Adversarial Nets，简称GAN）是深度学习中的一个重要模型 河南省禹州市第一高级中学河南禹州 461670 摘要：生成对抗网络（Generative Adversarial Nets，简称GAN）是深度学习中的一个重要模型。本文首先从GAN中的两个模型-生成模型和判别模型出发，介绍了其概念以及区别，并讲述了其工作原理和大致训练过程，最后从数学表达式解析生成模型和判别模型的优化工作。 关键词：深度学习；生成对抗网络；机器学习；神经网络 1.引言 GAN（Generative Adversarial Networks）是深度学习领域中“生成对抗网络”的简称，是深度学习领域的一个重要模型，也是人工智能研究的一个重要工具。蓬勃发展的人工智能和近年来炙手可热的GAN之间有什么关系呢？ 人工智能就是让机器具备观察和感知的能力，可以做到一定程度的理解和推理及获得自适应能力。如何让机器获得这些智能化能力呢？这种实现机器智能化的方法路径就是机器学习——即让机器模仿人类学习的过程，通过不断“学习”数据并总结规律，来做出智能的判断和决策行为。深度学习是机器学习的一种深度模式，是具有深层次神经网络结构的学习方式；GAN就是深度学习系统中非监督学习的一个重要方法，是一种探索神经网络概率空间的学习方法，是一种智能运算方法；它除了具有机器学习和深度学习的所有特点之外，还具有充分拟合数据、速度快、生成样本逼真等优点，它采用独特的生成模型（Generator）和判别模型（Discriminator）零和博弈的思维模式，通过一系列输入输出试验，最终取得理想效果[1]。 2.生成模型（Generator）和判别模型（Discriminator） GAN中有两个模型，分别是生成模型（Generator）和判别模型（Discriminator），它们有各自的功能。 2.1生成模型和判别模型的相同点及区别 生成模型（Generator）和判别模型（Discriminator）同样是接受输入，然后有一个输出，可以用一串复杂的函数表达输入输出映射关系；但是它们两者之间的关系却是一个负责伪装现实（生成模型），一个负责识破真相（判别模型）。生成模型的功能就像是一个样本生成器，输入一串随机数，然后输出可以以假乱真的样本集。判别模型实际上是一个二分类器（如同0-1分类器），将样本的类别分为真假两类，真用1表示，假用0表示。 2.2生成模型和判别模型的概念 如图1所示，图中左侧存在上下两层数据集，上层是真实数据集，下层就是由生成网络制造出来的数据集。 生成模型（Generator）是一个深度学习系统中的神经网络模型，该神经网络是由大量彼此相连、概念化的人造神经元组成的，这些神经元彼此之间传递着数据，输入是一组数据集Z，通过神经网络的训练以及相应权重的不断调整，输出的是一个图像数据集x。 判别模型（Discriminator）就是图中右半部分的神经网络结构，它同样是一个深度学习系统中的神经网络模型，大量彼此相连、概念化的人造神经元之间传递着数据。输入数据集，通过神经网络的训练以及相应权重的不断调整，输出一个概率值。假如输入的是真样本(真实数据集)，判别模型（Discriminator）输出概率值就接近1；输入的是假样本（制造数据集），判别模型（Discriminator）输出概率值就接近0，可以通俗的理解为概率值大于0.5的是真，小于0.5的是假；或者概率值大于0.5的可以接受，小于0.5的不予接受——判别网络的目的是要判别出来，输入的数据集是来自真实样本集还是假样本集。而生成网络的目的却是制造出一系列不断改进的假样本，直到判别网络无法判断出是真样本还是假样本[2]。 图1.GAN模型 2.3生成网络与判别网络在GAN中的工作原理 生成网络与判别网络的目的正好是相反的，GAN（Generative Adversarial Networks）中的生成“对抗”网络涵义也由此而来。设计者可以以追求以假乱真的样本为目的，通过不断调整改进生成网络，制造更逼真的样本，令判别网络能力不足以区分真假样本；也可以以追求提高判别网络能力为目的，不断调整改进判别网络能力，令其准确判别，明辨真伪；生成网络和判别网络共同提高，在此消彼长中共同提升。从输出的数值来解释，也就是当生成网络生成的假样本输入到判别网络之后，当判别网络难辨真假时，判别网络给出的数值接近0.5，达到了纳什平衡。 生成模型（Generator）和判别模型（Discriminator）的有机结合，形成了完美的生成对抗网络。 2.4生成模型与判别模型的训练/优化 那么，如何训练生成对抗网络的两个模型呢？生成模型与判别模型是独立的两个模型，需要单独交替迭代训练。 首先，对于生成网络模型来说，输入一组初始数据就会输出一个假样本集，这个输出的假样本集很容易被判别网络识别，那么设置其标签为0；同样的道理，就可以设置真样本集标签为1。 为了判别生成网络最终输出数据集的真伪程度，需要联合判别网络提供误差数值，这样一次次的交替训练才能达到训练生成网络的目
基于深度卷积神经网络的图像分类
Equation Chapter 1 Section 1 令狐采学 SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较年夜的影响。为改良卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论阐发，并通过年夜量的比较实验，得出了影响卷积网络性能的因素。结合理论阐发及比较实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等办法，在CIFAR10数据集上取得了88.1%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, 88.1% classification accuracy is achieved on CIFAR10 dataset. Which improves the classification effect of convolution neural network. Key Words:Convolution neural network(CNN), image classification, Batch Normalization,Dropout 目录 基于卷积神经网络的自然图像分类技术研究- 1 - 1引言-2- 2卷积神经网络的模型阐发-3- 2.1网络基本拓扑结构- 3 - 2.2卷积和池化- 4 - 2.3激活函数- 5 - 2.4 Softmax分类器与价格函数- 6 - 2.5学习算法- 7 - 2.6 Dropout- 9 - 2.7 Batch Normalization- 10 - 3模型设计与实验阐发-10- 3.1 CIFAR10数据集- 10 - 3.2 模型设计- 11 -
基于深度卷积神经网络的目标检测
第35卷 第8期 福 建 电 脑 Vol. 35 No.8 2019年8月 Journal of Fujian Computer Aug. 2019 ——————————————— 程胜月，男，1995生，硕士研究生，研究方向为深度学习。E-mail:2968365693@https://www.sodocs.net/doc/6f11278526.html, 。张德贤，男，1961生，博士，研究方向为模式识别、人工智能信息处理。 基于深度卷积神经网络的目标检测 程胜月 张德贤 (河南工业大学信息科学与工程学院 郑州 450001) 摘 要 目标检测是计算机视觉领域中最基本、最具挑战性的课题之一，由于传统检测方法已经不能满足其在精度和速度上需求，深度学习利用其对图像特征强大地分析处理能力，逐渐成为目标检测的主流方向。本文首先对主流卷积神经网络框架进行简述，其次对目标检测中的几种重要的方法具体分析，最后对未来可能的发展方向进行讨论。 关键词 目标检测；卷积神经网络；RCNN ；YOLO ；SSD 中图法分类号 TP183 DOI:10.16707/https://www.sodocs.net/doc/6f11278526.html,ki.fjpc.2019.08.009 Target Detection Based on Deep Convolutional Neural Networks CHENG Shengyue, ZHANG Dexian (School of Information Science and Engineering, Henan University of Technology, Zhengzhou,China, 450001) 1引言 目标检测作为计算机视觉的基本问题之一，是 许多其他计算机视觉任务的基础，如实例分割、图像处理、对象跟踪等[1]。目前，目标检测已广泛应用于无人驾驶、安防监管、视频分析等领域。 传统目标检测方法包含预处理、窗口滑动、特征提取、特征选择、特征分类、后处理等步骤。而卷积神经网络本身具有特征提取、特征选择和特征分类的功能，所以在现在计算能力充足的情况下得到充分发展。 2主流深度卷积网络的发展 1998年Yann LeCun 提出的LeNet-5网络是首次成功应用于数字识别问题的卷积神经网络。但是由于当时计算能力不足，未能受到重视。直到2012年AlexNet 在ImageNet 图像分类任务竞赛中获得冠军，目标检测才迎来深度卷积神经网络的时代。 2.1 AlexNet AlexNet 由5个卷积层和3个全连接层组成，使用数据增广和Dropout 防止过拟合，并且提出了 局部响应归一化来提高模型的泛化能力。 2.2 VGGNet VGGNet 获得了2014年ILSVRC 比赛的亚军和目标定位的冠军。到目前为止，VGGNet 依然被广泛使用来提取图像的特征。VGGNet 主要是证明了增加网络的深度可以提高最终的性能。 2.3 GoogleNet GoogleNet 分析得出增加网络的深度和宽度可以提升性能，但同时不可避免的增加参数，造成过拟合和计算量过大。因此提出Inception 结构将稀疏矩阵聚类成相对稠密的子空间矩阵提高计算性能。 2.2 ResNet ResNet 指出随着卷积神经网络深度的增加，却出现梯度消失现象造成准确率的下降。ResNet 通过恒等映射解决深层网络梯度消失问题，大幅度提升深度卷积网络的性能。 3目标检测算法 手工设计特征的目标检测方法在2010年左右
基于深度卷积网络的图像超分辨率--译文 董超
基于深度卷积网络的图像超分辨率 摘要：提出一种深度学习方法单一图像超分辨率(SR)。我们的方法直接学习一个端到端的低/高分辨率图像之间的映射。映射表示为卷积神经网络(CNN)的深处低分辨率图像作为输入和输出的高分辨率。我们进一步证明传统基于稀疏编码的SR方法也可以被视为一个深卷积网络。但与传统方法的是分别处理每个组件,我们的方法共同优化所有层。我们深CNN还一个轻量级的结构,展示了先进的修复质量,为达到快速的实际在线使用。我们将探讨不同的网络结构和参数设置来实现性能和速度之间权衡。此外,我们扩展我们的网络同时应对三个颜色通道,并显示更好的整体重建质量。 1介绍 单一图像超分辨率(SR)[20],旨在恢复高分辨率图像从一个低分辨率图像,是计算机的一个经典问题愿景。这个问题本质上是不适定的因为多样性存在对于任何给定的低分辨率的解决方案像素。换句话说,它是一个欠定的逆问题,并不是唯一的解决方案。这样的通常由约束减轻问题解空间的先验信息。学习先验,最近主要是采用最先进的方法基于实例的[46]策略。这些方法要么利用内部相似性的图像[5],[13],[16],[19],[47],或者从外部学习映射函数低收入和高分辨率的范例对[2],[4],[6],[15],[23],[25],[37],[41],[42],[ 47],[48],[50],[51]。外部的基于基于实例的方法可以制定通用图像超分辨率,或者可以设计合适领域特定的任务,例如,人脸幻觉[30],[50],根据训练样本提供。 基于稀疏编码的方法[49],[50]老代表外部基于实例的方法之一。这涉及几个步骤的解决途径。首先,人口出现的重叠的块输入图像和预处理(如。,减去的意思是和归一化)。这些块然后编码由一个低分辨率的字典。稀疏的系数传入的高分辨率字典重建高分辨率块。重叠重建块聚合(如。通过加权平均)来产生最终的输出。这个途径通过基于最外部的实例的方法共享,特别注意学习和优化词典[2],[49]、[50]或构建有效的映射功能[25]、[41]、[42],[47]。然而,其余的途径已经很少优化或步骤考虑在一个统一的优化框架。 在本文中,我们表明,上述途径相当于深卷积神经网络[27](更多细节在3.2节)。出于这事实上,我们考虑一个卷积神经网络直接学习一个端到端的低收入和之间的映射高分辨率图像。我们的方法从根本上不同于现有外部基于实例的方法,在我们这没有明确学习词典[41],[49]、[50]或繁殖[2]、[4]为建模的块空间。这些都是隐式地实现通过隐藏层。此外,块提取和聚合也制定了卷积层,所以在优化。在我们的方法中,整个SR途径完全是通过学习,很少的前/后处理。 我们命名该模型超分辨率卷积神经网络(SRCNN)1。被提议的SRCNN 有一些吸引人的属性。首先,它的结构是故意设计简单,然而, 相比之下最先进的基于实例的方法，提供了优越的
生成对抗网络
一、生成对抗网络（GAN） 我们提出了一个通过对抗过程估计生成模型的新框架，在新框架中我们同时训练两个模型：一个用来捕获数据分布的生成模型G，和一个用来估计样本来自训练数据而不是G的概率的判别模型D，G的训练过程是最大化D产生错误的概率。这个框架相当于一个极小化极大的双方博弈。在任意函数G和D的空间中存在唯一的解，其中G恢复训练数据分布，并且D处处都等于1/2。在G 和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品进行定性和定量评估来展示这个框架的潜力。 1.1目标函数 GAN的目标函数： 从判别器D的角度，他希望自己可以尽可能的区分真是样本和虚假样本，因此希望D（x）尽可能的大，D（G（x））尽可能的小，即V（D,G）尽可能的大。从生成器的角度看，他希望自己尽可能的骗过D，也就是希望D（G（x））尽可能的大，即V（D,G）尽可能的小。两个模型相对抗，最后达到全局最优。 图中，黑色曲线是真实样本的概率分布函数，绿色曲线是虚假样本的概率分布函数，蓝色曲线是判别器D的输出，它的值越大表示这个样本越有可能是真实样本。最下方的数噪声z，它映射到了x。 我们可以看到，一开始，虽然G(z)和x是在同一个特征空间里的，但它的的差异很大，这时，虽然鉴别真实样本和虚假样本的模型D性能也不强，但它很容易就能把两者区分开来，而随着训练的推进，虚假样本的分布住建与真实样本重合，D虽然也在不断更新，但也已经力不从心了。 最后黑线和绿线几乎重合，模型达到了最优状态，这时D的输出对弈任意样本都是0.5. 1.2最优化问题表达
基于深度卷积神经网络的人脸识别研究定稿版
基于深度卷积神经网络的人脸识别研究 HUA system office room 【HUA16H-TTMS2A-HUAS8Q8-HUAH1688】
基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。 其中， b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = 卷积神经网路的基本结构简单的池化过程：
2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。 TensorFlow的系统架构如下图所示 TensorFlow的编程模式 系统本地模式和分布式模式示意图 3.提出了基于改进的MyVGGNet和MySqueezeNet网络的人脸识别。首先分析了模型VGGNet-16和SqueezeNe的网络结构及相关参数，然后本文提出将原VGGNet-16和SqueezeNe的网络结构和参数进行优化，并在每个卷积层和激励层之间添加批归一化层，在VGGNet-16网络末尾用1个1 * 1的卷积层代替三个全连接层，还增加全局平均池化层，得到新的MyVGGNet和MySqueezeNet模型，最后在LFW数据集上分别获得9 4.3%和9 5.1%的准确率。 VGGNet-16 网络结构框图 MyVGGNet 网络框图 MyVGGNet网络训练时LFW测试集的准确率走势图 MyVGGNet网络在LFW上的ROC曲线图 4.提出了基于二叉树型融合网络BTreeFuseNet_v1和BTreeFuseNet_v2的人脸识别。首先对深度神经网络的优化问题和融合原理作了分析；然后结合残差学习，融入分支并行、融合和级联三种结构，采用ReLU函数、BN层、Dropout层、哈维尔方法和截断高斯函数初始化方法、Adam优化器等技巧，构建了两个层次深度为22和19的网络模型
卷积神经网络
卷积神经网络 摘要：卷积神经网络是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细阐述了卷积神经网络的网络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例，简单介绍了卷积神经网络在工程上的应用，并给出了设计思路和网络结构。 关键字：模型；结构；训练算法；人脸检测；形状识别 0 引言 卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 1 卷积神经网络的发展历史 1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化形，在其后的应用研究中，Fukushima将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方面得到了大规模的应用。 通常神经认知机包含两类神经元，即承担特征抽取的S-元和抗变形的C-元。S-元中涉及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模式的反应程度。许多学者一直致力于提高神经认知机的性能的研究：在传统的神经认知机中，每个S-元的感光区中由C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模糊效果要比中央来得大，S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希望得到的是，训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变得越来越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C-元层的改进型神经认知机。 Trotin 等人提出了动态构造神经认知机并自动降低闭值的方法[1]，初始态的神经认知机各层的神经元数目设为零，然后会对于给定的应用找到合适的网络规模。在构造网络过程中，利用一个反馈信号来预测降低阈值的效果，再基于这种预测来调节阈值。他们指出这种自动阈值调节后的识别率与手工设置阈值的识别率相若，然而，上述反馈信号的具体机制并未给出，并且在他们后来的研究中承认这种自动阈值调节是很困难的【8】。 Hildebrandt将神经认知机看作是一种线性相关分类器，也通过修改阈值以使神经认知机成为最优的分类器。Lovell应用Hildebrandt的训练方法却没有成功。对此，Hildebrandt解释的是，该方法只能应用于输出层，而不能应用于网络的每一层。事实上，Hildebrandt没有考虑信息在网络传播中会逐层丢失。 Van Ooyen和Niehuis为提高神经认知机的区别能力引入了一个新的参数。事实上，该参数作为一种抑制信号，抑制了神经元对重复激励特征的激励。多数神经网络在权值中记忆训练信息。根据Hebb学习规则，某种特征训练的次数越多，在以后的识别过程中就越容易