【CN110059582A】基于多尺度注意力卷积神经网络的驾驶员行为识别方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910242262.1

(22)申请日 2019.03.28

(71)申请人 东南大学

地址 211189 江苏省南京市江宁区东南大

学路2号

(72)发明人 路小波　胡耀聪　陆明琦　

(74)专利代理机构 南京苏高专利商标事务所

(普通合伙) 32204

代理人 王安琪

(51)Int.Cl.

G06K 9/00(2006.01)

G06K 9/62(2006.01)

G06N 3/04(2006.01)

(54)发明名称

基于多尺度注意力卷积神经网络的驾驶员

行为识别方法

(57)摘要

本发明公开了一种基于多尺度注意力卷积

神经网络的驾驶员行为识别方法，包括如下步

骤：(1)拍摄驾驶员行为识别的图像数据集；(2)

对拍摄得到的驾驶员行为数据集做数据增强并

将增强得到的样本同时纳入训练数据中；(3)构

建神经网络模型，包括三个模块，分别为：多尺度

卷积模块、注意力模块和分类模块；(4)训练多尺

度注意力卷积神经网络；使用Pytorch开源工具

搭建网络模型，使用随机梯度下降方法优化网络

参数；(5)对多列卷积神经网络进行测试。本发明

将多尺度模型和注意力机制引入到驾驶员行为

识别任务中用于提取具有区分度的行为细粒度

特征表示，可进一步提高驾驶员行为识别准确

率。权利要求书4页 说明书9页 附图3页CN 110059582 A 2019.07.26

C N 110059582

A

权　利　要　求　书1/4页CN 110059582 A

1.一种基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，包括如下步骤：

(1)拍摄驾驶员行为识别的图像数据集；

(2)对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入训练数据中；

(3)构建神经网络模型，包括三个模块，分别为：多尺度卷积模块、注意力模块和分类模块；

(4)训练多尺度注意力卷积神经网络；使用Pytorch开源工具搭建网络模型，使用随机梯度下降方法优化网络参数；

(5)对多列卷积神经网络进行测试。

2.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(1)中，驾驶员行为涵盖6种不同的驾驶行为，包括C0：安全驾驶；C1:脱离方向盘驾驶；C2：打电话驾驶；C3:低头看手机；C4：抽烟驾驶；C5：与乘客交谈。

3.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(2)中，对拍摄得到的驾驶员行为数据集做数据增强并将增强得到的样本同时纳入训练数据中具体包括如下步骤：

(21)采用随机裁剪的数据增强方法，将输入的图像归一化为256×256，随机选取224×224的图像块作为训练样本；

(22)采用基于图像内容变换的数据增强方法，包含小角度旋转、镜像、加噪和高斯平滑；

(23)若训练集中包含K个训练样本，则记为X＝{χ1,χ2,...χN}，而对于训练集中的第n个样本表示为χk＝{I k,l k}，其中I k表示第k个三通到图像，尺寸为为224×224×3，l k表示其对应的类别标签。

4.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(3)中，多尺度卷积模块以原始图像为输入，采用不同尺度的卷积核对图像进行逐层滤波，最大值选择单元作为每个多尺度卷积块的激励函数，以自适应的融合逐层的多尺度信息已初步提取行为特征；注意力模块对行为特征进行细化，该模块通过学习像素级权重矩阵和通道级权重矩阵获取行为特征的像素级显著性和通道级显著性，并使用软注意的策略对行为特征进行细化；分类模块通过全连接层和softmax层对驾驶员行为进行分类。

5.如权利要求1所述的基于多尺度注意力卷积神经网络的驾驶员行为识别方法，其特征在于，步骤(3)中，构建神经网络模型具体包括如下步骤：

(31)设计的网络框架以224×224×3的原始图像作为输入，第一层为基础卷积层，用64个7×7×3的卷积核对原始图像进行滤波，最大值池化层将输入降维成56×56×64的特征图，其具体表示如下：

x bc＝σ(I*W+b) (1)

F bc＝down(x bc) (2)

其中*表示卷积操作，θbc＝{W,b}表示基础卷积层权值和阈值参数，σ(·)表示ReLU激励函数，down(·)表示最大值池化操作，F bc表示基础卷积层的输出特征图；

2

基于深度卷积神经网络的图像分类

SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程

基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, % classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words: Convolution neural network(CNN), image classification, Batch Normalization, Dropout

卷积神经网络CNN原理、改进及应用

一、简介 卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。 1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。 Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网络模型3579。类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。 因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。直到2006年，Hinton终于一鸣惊人，在《科学》上发表文章，使得CNN再度觉醒，并取得长足发展。随后，更多的科研工作者对该网络进行了改进。其中，值得注意的是Krizhevsky等人提出的一个经典的CNN架构，相对于图像分类任务之前的方法，在性能方面表现出了显著的改善2674。他们方法的整体架构，即AlexNet[9]（也叫ImageNet），与LeNet-5相似，但具有更深的结构。它包括8个学习层（5个卷积与池化层和3个全连接层），前边的几层划分到2个GPU上，（和ImageNet是同一个）并且它在卷积层使用ReLU作为非线性激活函数，在全连接层使用Dropout减少过拟合。该深度网络在ImageNet 大赛上夺冠，进一步掀起了CNN学习热潮。 一般地，CNN包括两种基本的计算，其一为特征提取，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。这两种操作形成了CNN的卷积层。此外，卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，即池化层，这种特有的两次特征提取结构减小了特征分辨率。

基于深度卷积神经网络的人脸识别研究

基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。

其中，b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = x x x x x e e e e z z f e z z f - - - + - = = + = = ) tanh( ) ( 1 1 ) ( ) (σ 卷积神经网路的基本结构

简单的池化过程： 2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。

一种基于卷积神经网络的图像分类方法

F 福建电脑 UJIAN COMPUTER 福建电脑2018年第2期 基金项目：国家级大学生创新训练计划项目（201610719001）；陕西省大学生创新训练计划项目（1495）。 0引言 图像分类就是利用计算机模拟人类对图像的理解和认知,自动根据图像的内容将图片划分到合适的类别中,它在智能识别、目标检测和信息搜索等计算机视觉领域有着广泛的应用,图像分类问题也一直是计算机视觉的基本问题。目前,关于图像分类的研究大多集中在医学图像、遥感图像等专业领域,而对于自然图像分类的研究较少,虽然分类的算法如K 最近邻算法[1]、决策树算法[2]、神经网络算法[3]、支持向量机算法[4]和一些混合算法[5]能达到较可观的分类效果,但对大数据库的分类,存在训练时间长,准确度低、易出现过拟合等缺点。 由于卷积神经网络[6](Convolutional Neural Network,CNN )具有输入图像不需预处理;特征提取和模式分类同时在训练中产生;权重共享减少了网络训练参数;很强的抗干扰能力等优点。本文首先分析探讨了卷积神经网络结构、原理,提出了一种改进的卷积神经网络,设计了基于该模型的图像分类算法,实验结果表明该模型能提取出大数据库中图像明显特征,可精确地对图像集进行分类。 1卷积神经网络及其改进 CNN 是将卷积运算引入到深度学习模型,属于多层前馈神经网络模型,但与传统不同的是它的输入是二维模式,可以直接处理二维模式,其连接权是二维权矩阵,称为卷积核,基本操作是二维离散卷积和池化。简单地说,CNN 就是能够自动的对于一张图片学习出最好的卷积核以及这些卷积核的组合方式。 1.1CNN 结构 CNN 一般由卷积层、池化层、全连接层和一个输出层(或分类器)组成。每层由多个二维平面块组成,每个平面块由多个独立神经元组成,如图1所示。 卷积层通过卷积运算提取图像的不同特征,包含若干组CNN 训练的参数,即进行学习的卷积核,当前层的卷积核对输入的一组图片做卷积运算,再经过激活函数得到新的特征图像,通常采用卷积离散型将输入原始图像的像素输出为新的像素点,可由公式(1)计算得出: (1) 其中,M β表示输入特征图像的子集;W γαβ表示卷积核;γ表 示网络层数;b γβ表示输出特征映射的偏置,f 表示激活函数,最常用的是sigmoid 函数与双曲正切函数。 卷积层后一般接入池化层来减小数据量,通过池化把输入的特征图像分割为不重叠的矩形区域,而对相应的矩形区域做运算,常见的有最大池化和均值池化。经过交替的卷积层和池化层之后,已经获得了高度抽象的特征图像,全连接层把得到的多个特征映射转化为一个特征向量以完全连接的方式输出,最后对提取的特征进行分类。 1.2CNN 工作原理 在CNN 中,通过神经网络的梯度反向传播算法实现对参数的学习训练,属于有监督学习。在进行学习训练过程中,输入信号的训练输出和实际输出会有一定误差,误差在梯度下降算法中逐层传播,逐层更新网络参数。假设样例(x ,y )的损失函数为C (W ,b ;x ,y ),如式(2)。 (2)为防止过拟合,需增加,L 2范数,如式(3)。 (3) 其中,h W ,b (x )为输入样本x 经过CNN 后的输出,y 为样本的标签真值,λ为控制强度。为了使代价函数尽可能的小,因此需要不断更新每一层的权重W 和偏置项b ,任意一层(假设为γ层)的权重更新如式(4)。 (4) 1.3CNN 的改进 在处理大数据集方面,由于卷积层和池化层数较少,获得的特征图相对不足,因此达不到较好的分类效果。针对该缺点,依据CNN 的卷积层和池化层设置灵活性,不同的结构设置会得到不同结果的特点,对传统CNN 进行了两方面的改进,一方面将卷积层和池化层层数分别增至3层,提高了各层提取图像特征的能力,使分类效果得到改善;另一方面设置卷积核大小为5×5,扫描的步长为2,在提高训练效率的同时也保证了分类精确度。 2基于改进CNN 的图像分类 一种基于卷积神经网络的图像分类方法 张琳林，曹军梅 （延安大学计算机学院陕西延安716000） 【摘要】利用卷积神经网络是深度学习的一种高效识别模型的思想， 将卷积神经网络应用于图像分类中，避免对图像进行复杂的预处理的同时也提高了图像分类的准确度。在分析卷积神经网络结构、 原理及特点的基础上，提出了一种改进的卷积神经网络模型，设计了基于该模型的图像分类算法， 并在大数据库CIFA Ｒ-10下进行实验验证，表明图像分类的准确度高，总结了网络模型对图像分类结果的影响因素。 【关键词】卷积神经网络；图像分类；卷积；池化；特征图像图1CNN 的基本结 构 DOI:10.16707/https://www.sodocs.net/doc/9113592270.html,ki.fjpc.2018.02.021 46··

基于卷积神经网络的图像识别研究

第14期 2018年7月No.14July，2018 1 算法原理 卷积神经网络的卷积层最重要部分为卷积核[1-2]。卷积核不仅能够使各神经元间连接变少，还可以降低过拟合误 差[3]。 子采样过程就是池化过程。进行卷积过程是将卷积核与预测试图像进行卷积，子采样能够简化网络模型，降低网络模型复杂程度，从而缩减参数。 在图像识别时，首先需要对输入图像初始化，然后将初始化后图像进行卷积和采样，前向反馈到全连接层，通过变换、即可计算进入输出层面，最终通过特征增强效果和逻辑之间的线性回归判断是否符合图像识别期望效果，往复循环，每循环一次就迭代一次，进而对图像进行识别。流程如图1所示。 图1 卷积神经网络模型流程 2 卷积神经网络 卷积神经网络主要包括3个层次[4]，它由输入层、隐藏 层、输出层共同建立卷积神经网络模型结构。2.1 卷积层 卷积层的作用是提取特征[2]。卷积层的神经元之间进行 局部连接，为不完全连接[5]。 卷积层计算方法公式如下。()r array M a λ+ 其中λ为激活函数，array 是灰度图像矩阵， M 表示卷积核， 表示卷积， a 表示偏置值大小。G x 方向和G y 方向卷积核。 本文卷积神经网络模型中设定的卷积核分为水平方向和竖直方向。卷积层中卷积核通过卷积可降低图像边缘模糊程度，使其更为清晰，效果更好、更为显著。经过S 型函数激活处理之后，进行归一化后图像灰度值具有层次感，易于突出目标区域，便于进一步处理。2.2 全连接层 该层主要对信息进行整理与合并，全连接层的输入是卷积层和池化层的输出。在视觉特征中，距离最近点颜色等特征最为相似，像素同理。全连接如图2所示。 图2 全连接 3 实验结果与分析 本文采用数据集库是MSRA 数据集，该数据集共包含1 000张图片。实验环境为Matlab2015a 实验环境，Windows 7以上系统和无线局域网络。本文从MSRA 数据集中选取其中一张进行效果分析。卷积神经网络模型识别效果如图3所示。 作者简介：谢慧芳（1994— ），女，河南郑州人，本科生；研究方向：通信工程。 谢慧芳，刘艺航，王 梓，王迎港 （河南师范大学，河南 新乡 453007） 摘 要：为降低图像识别误识率，文章采用卷积神经网络结构对图像进行识别研究。首先，对输入图像进行初始化；然后，初 始化后的图像经卷积层与该层中卷积核进行卷积，对图像进行特征提取，提取的图像特征经过池化层进行特征压缩，得到图像最主要、最具代表性的点；最后，通过全连接层对特征进行综合，多次迭代，层层压缩，进而对图像进行识别，输出所识别图像。与原始算法相比，该网络构造可以提高图像识别准确性，大大降低误识率。实验结果表明，利用该网络模型识别图像误识率低至16.19%。关键词：卷积神经网络；卷积核；特征提取；特征压缩无线互联科技 Wireless Internet Technology 基于卷积神经网络的图像识别研究

基于深度卷积神经网络的图像分类

Equation Chapter 1 Section 1 令狐采学 SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程

基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较年夜的影响。为改良卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论阐发，并通过年夜量的比较实验，得出了影响卷积网络性能的因素。结合理论阐发及比较实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等办法，在CIFAR10数据集上取得了88.1%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, 88.1% classification accuracy is achieved on CIFAR10 dataset. Which improves the classification effect of convolution neural network. Key Words:Convolution neural network(CNN), image classification, Batch Normalization,Dropout 目录 基于卷积神经网络的自然图像分类技术研究- 1 - 1引言-2- 2卷积神经网络的模型阐发-3- 2.1网络基本拓扑结构- 3 - 2.2卷积和池化- 4 - 2.3激活函数- 5 - 2.4 Softmax分类器与价格函数- 6 - 2.5学习算法- 7 - 2.6 Dropout- 9 - 2.7 Batch Normalization- 10 - 3模型设计与实验阐发-10- 3.1 CIFAR10数据集- 10 - 3.2 模型设计- 11 -

一文读懂卷积神经网络

一文读懂卷积神经网络 自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、 cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。 第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。 第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。 第三点，Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。 接下来话不多说，直接奔入主题开始CNN之旅。 卷积神经网络简介（Convolutional Neural Networks，简称CNN） 卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。 一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个

基于卷积神经网络的人脸识别

《计算机系统项目综合实践》课程报告报告题目：基于卷积神经网络的人脸识别 组长：班级：*学号：*姓名：* 在本项实践中的贡献百分比： 40 % 组员1：班级： * 学号： * 姓名：* 在本项实践中的贡献百分比： 35 % 组员2：班级： * 学号：* 姓名：* 在本项实践中的贡献百分比： 25 % 日期： 2019/12/18

一、课程实践目标和内容概述：（各组员对本部分内容撰写的贡献比例，组长：组员1：组员2 = 20% ： 20% ： 60%） 1. 打算设计和实现一个什么样的计算机综合系统？该系统有什么功能？为什么选择该系统作为实践内容？ 基于卷积神经网络的人脸识别。 通过10个人的420张192*168大小单一色彩图片对系统进行训练，从而使系统能够识别这十个人，在通过220张人脸的图片进行识别，统计识别精度，通过调整参数不断使测试精度达到最优，获得使测试精度达到最大的参数集合。 人脸识别应用在生活中十分广泛，卷积神经网络用于人脸识别是一种基于特征的方法，区别于传统的人工特征提取和针对特征的高性能分类器设计，它的优点是通过逐层卷积降维进行特征提取，然后经过多层非线性映射，使网络可以从未经特殊处理的训练样本中，自动学习形成适应该识别任务的特征提取器和分类器，该方法降低了对训练样本的要求，而且网络的层数越多，学习到的特征更具有全局性。因此，我们小组打算将该系统作为实践内容。 2. 运用什么程序设计语言或开发工具实现系统？为什么采用这种开发语言或工具？ 运用MATLAB实现。 MATLAB具有封装的卷积神经网络，我们只需要对其设置层数和参数即可。而且MATLAB将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，

一文读懂卷积神经网络CNN

一文读懂卷积神经网络CNN ★据说阿尔法狗战胜李世乭靠的是卷积神经网络算法，所以小编找到了一篇介绍该算法的文章，大家可以看一看。★ 自去年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第一点，在学习Deep learning 和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。第三点，Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。接下来话不多说，直接奔入主题开始

CNN之旅。卷积神经网络简介（Convolutional Neural Networks，简称CNN）卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel 和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网 络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后，更多的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”，该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid 函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少

基于深度卷积神经网络的目标检测

第35卷 第8期 福 建 电 脑 Vol. 35 No.8 2019年8月 Journal of Fujian Computer Aug. 2019 ——————————————— 程胜月，男，1995生，硕士研究生，研究方向为深度学习。E-mail:2968365693@https://www.sodocs.net/doc/9113592270.html, 。张德贤，男，1961生，博士，研究方向为模式识别、人工智能信息处理。 基于深度卷积神经网络的目标检测 程胜月 张德贤 (河南工业大学信息科学与工程学院 郑州 450001) 摘 要 目标检测是计算机视觉领域中最基本、最具挑战性的课题之一，由于传统检测方法已经不能满足其在精度和速度上需求，深度学习利用其对图像特征强大地分析处理能力，逐渐成为目标检测的主流方向。本文首先对主流卷积神经网络框架进行简述，其次对目标检测中的几种重要的方法具体分析，最后对未来可能的发展方向进行讨论。 关键词 目标检测；卷积神经网络；RCNN ；YOLO ；SSD 中图法分类号 TP183 DOI:10.16707/https://www.sodocs.net/doc/9113592270.html,ki.fjpc.2019.08.009 Target Detection Based on Deep Convolutional Neural Networks CHENG Shengyue, ZHANG Dexian (School of Information Science and Engineering, Henan University of Technology, Zhengzhou,China, 450001) 1引言 目标检测作为计算机视觉的基本问题之一，是 许多其他计算机视觉任务的基础，如实例分割、图像处理、对象跟踪等[1]。目前，目标检测已广泛应用于无人驾驶、安防监管、视频分析等领域。 传统目标检测方法包含预处理、窗口滑动、特征提取、特征选择、特征分类、后处理等步骤。而卷积神经网络本身具有特征提取、特征选择和特征分类的功能，所以在现在计算能力充足的情况下得到充分发展。 2主流深度卷积网络的发展 1998年Yann LeCun 提出的LeNet-5网络是首次成功应用于数字识别问题的卷积神经网络。但是由于当时计算能力不足，未能受到重视。直到2012年AlexNet 在ImageNet 图像分类任务竞赛中获得冠军，目标检测才迎来深度卷积神经网络的时代。 2.1 AlexNet AlexNet 由5个卷积层和3个全连接层组成，使用数据增广和Dropout 防止过拟合，并且提出了 局部响应归一化来提高模型的泛化能力。 2.2 VGGNet VGGNet 获得了2014年ILSVRC 比赛的亚军和目标定位的冠军。到目前为止，VGGNet 依然被广泛使用来提取图像的特征。VGGNet 主要是证明了增加网络的深度可以提高最终的性能。 2.3 GoogleNet GoogleNet 分析得出增加网络的深度和宽度可以提升性能，但同时不可避免的增加参数，造成过拟合和计算量过大。因此提出Inception 结构将稀疏矩阵聚类成相对稠密的子空间矩阵提高计算性能。 2.2 ResNet ResNet 指出随着卷积神经网络深度的增加，却出现梯度消失现象造成准确率的下降。ResNet 通过恒等映射解决深层网络梯度消失问题，大幅度提升深度卷积网络的性能。 3目标检测算法 手工设计特征的目标检测方法在2010年左右

卷积神经网络n代码解析

deepLearnToolbox-master是一个深度学习matlab包，里面含有很多机器学习算法，如卷积神经网络CNN，深度信念网络DBN，自动编码AutoEncoder（堆栈SAE，卷积CAE）的作者是Rasmus Berg Palm)代码下载：rasmusbergpalm/DeepLearnToolbox 这里我们介绍deepLearnToolbox-master中的CNN部分。 DeepLearnToolbox-master中CNN内的函数： 调用关系为： 该模型使用了mnist的数字作为训练样本，作为cnn的一个使用样例， 每个样本特征为一个28*28=的向量。 网络结构为： 让我们来看看各个函数： 一、Test_example_CNN: (1) 三、 (2) 四、 (2) 五、 (2) 五、 (2) 六、 (3) 一、Test_example_CNN: Test_example_CNN: 1设置CNN的基本参数规格，如卷积、降采样层的数量，卷积核的大小、降采样的降幅 2cnnsetup函数初始化卷积核、偏置等

3cnntrain函数训练cnn，把训练数据分成batch，然后调用 cnnff完成训练的前向过程， cnnbp计算并传递神经网络的error，并计算梯度（权重的修改量） cnnapplygrads把计算出来的梯度加到原始模型上去 4cnntest函数，测试当前模型的准确率 该模型采用的数据为， 含有70000个手写数字样本其中60000作为训练样本，10000作为测试样本。 把数据转成相应的格式，并归一化。 设置网络结构及训练参数 初始化网络，对数据进行批训练，验证模型准确率 绘制均方误差曲线 二、 该函数你用于初始化CNN的参数。 设置各层的mapsize大小， 初始化卷积层的卷积核、bias 尾部单层感知机的参数设置 * bias统一设置为0 权重设置为：-1~1之间的随机数/sqrt（6/（输入神经元数量+输出神经元数量））

基于深度卷积神经网络的人脸识别研究定稿版

基于深度卷积神经网络的人脸识别研究 HUA system office room 【HUA16H-TTMS2A-HUAS8Q8-HUAH1688】

基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。 其中， b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = 卷积神经网路的基本结构简单的池化过程：

2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。 TensorFlow的系统架构如下图所示 TensorFlow的编程模式 系统本地模式和分布式模式示意图 3.提出了基于改进的MyVGGNet和MySqueezeNet网络的人脸识别。首先分析了模型VGGNet-16和SqueezeNe的网络结构及相关参数，然后本文提出将原VGGNet-16和SqueezeNe的网络结构和参数进行优化，并在每个卷积层和激励层之间添加批归一化层，在VGGNet-16网络末尾用1个1 * 1的卷积层代替三个全连接层，还增加全局平均池化层，得到新的MyVGGNet和MySqueezeNet模型，最后在LFW数据集上分别获得9 4.3%和9 5.1%的准确率。 VGGNet-16 网络结构框图 MyVGGNet 网络框图 MyVGGNet网络训练时LFW测试集的准确率走势图 MyVGGNet网络在LFW上的ROC曲线图 4.提出了基于二叉树型融合网络BTreeFuseNet_v1和BTreeFuseNet_v2的人脸识别。首先对深度神经网络的优化问题和融合原理作了分析；然后结合残差学习，融入分支并行、融合和级联三种结构，采用ReLU函数、BN层、Dropout层、哈维尔方法和截断高斯函数初始化方法、Adam优化器等技巧，构建了两个层次深度为22和19的网络模型

深度神经网络全面概述

深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由 IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助 DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署 DNN 的关键。 论文地址： 本文旨在提供一个关于实现 DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个 DNN 综述——讨论了支持 DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低 DNN 计算成本。本文也会对帮助研究者和从业者快速上手 DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的 DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解 DNN 的关键设计考量;通过基准和对比指标评估不同的 DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同 DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础 [1]。由于 DNN 在语音识别 [2] 和图像识别 [3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些 DNN 被部署到了从自动驾驶汽车 [4]、癌症检测 [5] 到复杂游戏 [6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而 DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而 DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是 GPU)，已经成为许多 DNN 处理的砥柱，但提供对 DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对 DNN、理解 DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下： Section II 给出了 DNN 为什么很重要的背景、历史和应用。 Section III 给出了 DNN 基础组件的概述，还有目前流行使用的 DNN 模型。 Section IV 描述了 DNN 研发所能用到的各种资源。 Section V 描述了处理 DNN 用到的各种硬件平台，以及在不影响准确率的情况下改进吞吐量(thoughtput)和能量的各种优化方法(即产生 bit-wise identical 结果)。 Section VI 讨论了混合信号回路和新的存储技术如何被用于近数据处理(near-data processing)，从而解决 DNN 中数据流通时面临的吞吐量和能量消耗难题。 Section VII 描述了各种用来改进 DNN 吞吐量和能耗的联合算法和硬件优化，同时最小化对准确率的影响。 Section VIII 描述了对比 DNN 设计时应该考虑的关键标准。

基于深度卷积神经网络模型的文本情感分类

第45卷第$期V o l.45 N o.3计算机工程 C o m p u te r E n g in e e rin g 2019年3月 M a rc h2019 ?开发研究与工程应用?文章编号：1000#428(2019)0$-0$00-09文献标志码：A中图分类号：TP183 基于深度卷积神经网络模型的文本情感分类 周锦峰，叶施仁，王晖 (常州大学信息科学与工程学院，江苏常州213164) 摘要：为高效提取不同卷积层窗口的文本局部语义特征，提出一种深度卷积神经网络（C N N)模型。通过堆叠多 个卷积层，提取不同窗口的局部语义特征。基于全局最大池化层构建分类模块，对每个窗口的局部语义特征计算 情感类别得分，综合类别得分完成情感分类标注。实验结果表明，与现有C N N模型相比，该模型具有较快的文本 情感分类速度。 关键词：情感分析；情感分类标注；深度学习；卷积神经网络；词向量 中文引用格式：周锦峰，叶施仁，王晖.基于深度卷积神经网络模型的文本情感分类[J].计算机工程，2019，45(3):300-308. 英文引用格式：Z H O U J in fe n g，Y E S h ire n，W A N G H u i. T ext sentim ent classification based on deep con volution al neural netw ork m o d e l*J].Com puter E n g in e e rin g，2019，45 (3) ：300-308. Text Sentiment Classification Based on Deep Convolutional Neural Network Model Z H O U J in fe n g，Y E S h ire n，W A N G H u i (School of Inform ation Science and E ngineering，Changzhou Universit;^，C hangzhou，Jiangsu 213164，C hina) [A b s tr a c t]This paper proposes a d e e p C o nvo lutio na l N eural N e tw ork(C N N)m odel to e ffic ie n tly extract semantic features o f d iffe re n t con volution al layer w indow s fo r te x t.The m odel avoids m anually specifying m u ltip le w indo w sizes and retains local semantic features o f diffe re n t w indow s by stacking a n u m b e r o f con volution al l C lassification m odules are b u ilt based on t he G lobal M a x P ooling(G M P)layer to calculate the category score f local semantic features o f each w in d o w.The m odel synthesizes these category scores to com plete the sentiment classification annotation.E xperim ental results show that the m odel has faster text sentim ent classificat o f other C N N m odels. [K e y w o r d s]sentim ent analysis;sentim ent classification a n n o ta tion;deep le a rn in g;C o nvo lutio na l N eural N e tw ork (C N N) ；w ord vector D O I:10.19678/j.issn.1000-3428.0050043 〇概述 情感分析主要通过人类书写的文本分析和研究 人的意见、情感、评价、态度和情绪，是自然语言处理 (N a tu ra l La ng ua ge P ro c e ss in g，N L P)中最热门的研究 领域之一，并在数据挖掘、W e b挖掘和文本挖掘等应 用范畴得到广泛研究[16]。例如，分析电商平台上对 已购商品的点评，群众对政府新颁布的政策法规的 讨论以及消费者对新产品或服务的反馈等。每天数 以亿计的用户文本信息包含了丰富的用户观点和情 感极性，从中可以挖掘和分析出大量的知识和模式。 深度学习为经典数据挖掘任务提供了新的手 段。卷积神经网络（C o n v o lu tio n a l N e u ra l N e tw o rk，C N N)是一种用于处理具有网状拓扑结构数据的深度神经网络（D eep N e u ra l N e tw o r k，D N N)。C N N 通过卷积操作，组合低层特征形成更加抽象的高层特 征，使模型能够针对目标问题，自动学习特征。在文 本情感分类应用中，C N N能够有效避免传统机器学 习方法所面临的样本特征表达稀疏、计算复杂等问题[4]。 目前，以C N N为基础的文本情感分类方法多数 是通过学习文本的一种窗口或多种窗口局部语义信 息，然后提取文本最大语义特征进行情感划分。此 类方法在文本情感分类标注领域已取得较好的效 果。但是目前在文本情感分类标注领域[56]，甚至在 N L P的其他分类问题中[860]，使用的C N N模型多数 采用一个或多个卷积层并行的结构。C N N模型解 决情感分类标注问题时，为了充分捕捉语义的距离 基金项目：国家自然科学基金（61272367);江苏省科技厅项目（BY2015027-12)。 作者简介：周锦峰（1978—），男，硕士，主研方向为机器学习、自然语言处理；叶施仁，副教授、博士；王晖（通信作者），讲师、博士。收稿日期：2018-01-10修回日期：2018-02-27E-m a i l：zhouzhou9076@ https://www.sodocs.net/doc/9113592270.html,