特征融合与objectness加强的显著目标检测
多特征描述及局部决策融合的人脸识别
第43卷第9期 光电工程V ol.43, No.9 2016年9月Opto-Electronic Engineering Sept, 2016 文章编号：1003-501X(2016)09-0001-08 多特征描述及局部决策融合的人脸识别 任福继1，2，李艳秋1，2，胡敏1，2，许良凤1，2 ( 1. 合肥工业大学计算机与信息学院，合肥 230009； 2. 情感计算与先进智能机器安徽省重点实验室，合肥 230009 ) 摘要：提出一种多特征描述及局部决策融合的人脸识别方法。首先利用独立成分分析算法构造全局互补子空间,对待测样本进行粗分类。然后利用三种不同定义的纹理描述算法构造局部互补子空间，获取粗分类难识别样本的后验概率值，最后依据其大小设置等级分数，得到待测样本在局部互补子空间上的精确分类。在ORL、Yale和FERET人脸库上的实验结果表明，本文方法能较好的描述图像特征且具有较高的识别率和较低的时间复杂度，与其他方法对比也表明了本文方法的有效性。 关键词：信号处理；多特征描述；决策融合；互补子空间；人脸识别 中图分类号：TP391.4 文献标志码：A doi：10.3969/j.issn.1003-501X.2016.09.001 Face Recognition Method Based on Multi Features Description and Local Fusion Classification Decision REN Fuji1,2，LI Yanqiu1,2，HU Min1,2，XU Liangfeng1,2 ( 1. School of Computer and Information, Hefei University of Technology, Hefei 230009, China; 2. Anhui Key Laboratory of Affective Computing and Advanced Intelligent Machines, Hefei 230009, China ) Abstract: A face recognition method is proposed based on multi features description and local fusion decision. Firstly, we use Independent Component Analysis (ICA) to construct the global complementary subspace to roughly classify the test samples. Then the texture descriptor algorithms under three different definitions are used to construct local complementary subspace to obtain the posterior probability of sample which is difficult to classify by rough classification. Finally, we get the precise classification result of test sample on the local complementary subspace through setting grade scores based on the value of the posterior probability. The experimental results on ORL, Yale and FERET face database show that the proposed method better describes characteristics of the image and has lower time complexity and higher recognition rate. Compared with other methods, it also proves its effectiveness on the face recognition. Key words: information processing; multi features description; fusion decision; complementary space; face recognition 0 引 言 人脸识别[1-3]是近几年来一个热门的研究课题，人脸图像的描述和分类是识别的两个主要步骤。根据无免费午餐(NFL)定理，不存在某单一算法能在任何情况下都优于其他算法，因此研究图像的多特征和多分类器融合[4-6]成为当下一个主流的发展方向。利用全局和局部特征来描述人脸是目前常用的方法。全局特征主要描述和表达人脸整体属性和信息，局部特征则主要描述面部图像细节变化信息，往往反映物体的一些 收稿日期：2015-09-01；收到修改稿日期：2016-01-14 基金项目：国家自然科学基金重点资助项目(61432004)；国家自然科学青年基金(61300119)；安徽省自然科学基金项目(1408085MKL16) 作者简介：任福继(1959-)，男(汉族)，四川南充人。教授，主要研究方向为计算机视觉、模式识别、信号与信息处理及情感识别。 E-mail：ren@is.tokushima-u.ac.jp。 通信作者：李艳秋(1988-)，女(汉族)，安徽淮北人。博士研究生，主要研究方向为图像处理、模式识别、智能计算。E-mail:liyanqiu2012@https://www.sodocs.net/doc/842186235.html,。 https://www.sodocs.net/doc/842186235.html,
结合域变换和轮廓检测的显著性目标检测
第30卷第8期计算机辅助设计与图形学学报Vol.30No.8 2018年8月Journal of Computer-Aided Design & Computer Graphics Aug. 2018结合域变换和轮廓检测的显著性目标检测 李宗民1), 周晨晨1), 宫延河1), 刘玉杰1), 李华2) 1) (中国石油大学(华东)计算机与通信工程学院青岛 266580) 2) (中国科学院计算技术研究所智能信息处理重点实验室北京 100190) (lizongmin@https://www.sodocs.net/doc/842186235.html,) 摘要: 针对多层显著性图融合过程中产生的显著目标边缘模糊、亮暗不均匀等问题, 提出一种基于域变换和轮廓检测的显著性检测方法. 首先选取判别式区域特征融合方法中的3层显著性图融合得到初始显著性图; 然后利用卷积神经网络计算图像显著目标外部轮廓; 最后使用域变换将第1步得到的初始显著性图和第2步得到的显著目标轮廓图融合. 利用显著目标轮廓图来约束初始显著性图, 对多层显著性图融合产生的显著目标边缘模糊区域进行滤除, 并将初始显著性图中检测缺失的区域补充完整, 得到最终的显著性检测结果. 在3个公开数据集上进行实验的结果表明, 该方法可以得到边缘清晰、亮暗均匀的显著性图, 且准确率和召回率、F-measure, ROC以及AUC等指标均优于其他8种传统显著性检测方法. 关键词: 显著性目标; 卷积神经网络; 轮廓检测; 域变换融合 中图法分类号:TP391.41 DOI: 10.3724/SP.J.1089.2018.16778 Saliency Object Detection Based on Domain Transform and Contour Detection Li Zongmin1), Zhou Chenchen1), Gong Yanhe1), Liu Yujie1), and Li Hua2) 1)(College of Computer & Communication Engineering , China University of Petroleum, Qingtao 266580) 2) (Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190) Abstract: In order to solve the problem of edge blur and brightness non-uniformity of salient object in the process of multi-level saliency maps integration, this paper proposes a saliency detection method based on domain transform and contour detection. Firstly, we obtain initial saliency map by integrate three saliency maps using DRFI method. Then, the salient object contour of image are computed by convolutional neural network. Finally, we use domain transform to blend the initial saliency map and the salient object contour. Under the constraints of the salient object contour, we can filter out the errors in the initial saliency map and compensate the missed region. The experimental results on three public datasets demonstrates that our method can produce a pixel-wised clearly saliency map with brightness uniformity and outperform other eight state-of-the-art saliency detection methods in terms of precision-recall curves, F-measure, ROC and AUC. Key words: salient object; convolutional neural network; contour detection; domain transform fuse 人类视觉系统可以快速定位图像中的显著区域, 显著性检测就是通过模拟人类大脑的视觉 收稿日期: 2017-07-10; 修回日期: 2017-09-12. 基金项目: 国家自然科学基金(61379106, 61379082, 61227802); 山东省自然科学基金(ZR2013FM036, ZR2015FM011). 李宗民(1965—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形学与图像处理、模式识别; 周晨晨(1992—), 女, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 宫延河(1989—), 男, 硕士研究生, 主要研究方向为计算机图形学与图像处理; 刘玉杰(1971—), 男, 博士, 副教授, CCF会员, 主要研究方向为计算机图形图像处理、多媒体数据分析、多媒体数据库; 李华(1956—), 男, 博士, 教授, 博士生导师, CCF会员, 主要研究方向为计算机图形图像处理. 万方数据
目标检测与识别
采用视频图像的运动目标检测与识别 相关调研 目标检测是计算机视觉的一个重要组成部分,在军事及工业等领域有着重要的应用前景。运动目标的检测方法主要有光流法,差值法。光流法的计算量很大,实时性和应用性较差。而图像差值法比较简单,实时性较好,是目前应用最广泛,最成功的运动目标检测的方法。图像差值法可分为两类,一类是用序列图像的每一帧与一个固定的静止的参考帧做图像差分,但自然场景不是静止不变的,因而必须不断的更新背景。另一类是用序列图像的两帧进行差分,这种方法无法检测出两帧图像中重合的部分,只能检测出目标的一部分信息。在绝大多数视频监控图像应用中,每一个像素都可以用一个或多个高斯模型近似,因此,高斯背景模型是绝大多数目标检测方法常用的基本模型。 智能视频服务器是飞瑞斯在多年视频分析技术优势的基础上，推出的一系列具有智能视频分析功能的DVS 视频编码设备。智能视频服务器基于DSP、ARM等核心平台，完成前端标准的H.264高压缩率编码，同时完成智能分析功能。 智能视频服务器的最大的创新点在于，这一系列DVS不仅仅提供视频监控的功能，能通过飞瑞斯核心的智能视频分析技术，来感知视频场景内的环境、人和物，并挖掘其中的人(物)行为、状态、身份信息、数量、轨迹等更深层次的元数据信息。 智能视频服务器赋予了视频监控系统智慧的大脑，从此视频监控不仅仅是能看得到，而且还能自己思考，提供更为智能的应用。
https://www.sodocs.net/doc/842186235.html,/products_20_26.html?bdclkid=BztEJhpzcR34JE_Ft948PGoNuxuK0gsc zre7HPa3EhvUMBqk3J
基于全局对比度的显著性区域检测
基于全局对比度的显著性区域检测 Ming-Ming Cheng1Guo-Xin Zhang1 Niloy J. Mitra2 Xiaolei Huang3Shi-Min Hu1 1TNList, Tsinghua University 2 KAUST 3 Lehigh University 摘要 视觉显著性的可靠估计能够实现即便没有先验知识也可以对图像适当的处理，因此在许多计算机视觉任务中留有一个重要的步骤，这些任务包括图像分割、目标识别和自适应压缩。我们提出一种基于区域对比度的视觉显著性区域检测算法，同时能够对全局对比度差异和空间一致性做出评估。该算法简易、高效并且产出满分辨率的显著图。当采用最大的公开数据集进行评估时，我们的算法比已存的显著性检测方法更优越，具有更高的分辨率和更好的召回率。我们还演示了显著图是如何可以被用来创建用于后续图像处理的高质量分割面具。 1 引言 人们经常毫不费力地判断图像区域的重要性，并且把注意力集中在重要的部分。由于通过显著性区域可以优化分配图像分析和综合计算机资源，所以计算机检测图像的显著性区域存在着重要意义。提取显著图被广泛用在许多计算机视觉应用中，包括对兴趣目标物体图像分割[13, 18]、目标识别[25]、图像的自适应压缩[6]、内容感知图像缩放[28, 33,30, 9]和图像检索[4]等。 显著性源于视觉的独特性、不可预测性、稀缺性以及奇异性，而且它经常被归因于图像属性的变化，比如颜色、梯度、边缘和边界等。视觉显著性是通过包括认知心理学[26, 29]、神经生物学[8, 22]和计算机视觉[17, 2]在内的多学科研究出来的，与我们感知和处理视觉刺激密切相关。人类注意力理论假设人类视力系统仅仅详细处理了部分图像，同时保持其他的图像基本未处理。由Treisman和Gelade [27]，Koch和Ullman [19]进行的早期工作，以及随后由Itti，Wolfe等人 提出的注意力理论提议将视觉注意力分为两个阶段：快速的、下意识的、自底向 上的、数据驱动显著性提取；慢速的、任务依赖的、自顶向下的、目标驱动显著
目标检测综述教学内容
一、传统目标检测方法 如上图所示，传统目标检测的方法一般分为三个阶段：首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。下面我们对这三个阶段分别进行介绍。 (1) 区域选择这一步是为了对目标的位置进行定位。由于目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以最初采用滑动窗口的策略对整幅图像进行遍历，而且需要设置不同的尺度，不同的长宽比。这种穷举的策略虽然包含了目标所有可能出现的位置，但是缺点也是显而易见的：时间复杂度太高，产生冗余窗口太多，这也严重影响后续特征提取和分类的速度和性能。（实际上由于受到时间复杂度的问题，滑动窗口的长宽比一般都是固定的设置几个，所以对于长宽比浮动较大的多类别目标检测，即便是滑动窗口遍历也不能得到很好的区域） (2) 特征提取由于目标的形态多样性，光照变化多样性，背景多样性等因素使得设计一个鲁棒的特征并不是那么容易。然而提取特征的好坏直接影响到分类的准确性。（这个阶段常用的特征有SIFT、HOG等） (3) 分类器主要有SVM, Adaboost等。 总结：传统目标检测存在的两个主要问题： 一是基于滑动窗口的区域选择策略没有针对性，时间复杂度高，窗口冗余； 二是手工设计的特征对于多样性的变化并没有很好的鲁棒性。 二、基于Region Proposal的深度学习目标检测算法 对于传统目标检测任务存在的两个主要问题，我们该如何解决呢？ 对于滑动窗口存在的问题，region proposal提供了很好的解决方案。region
proposal（候选区域）是预先找出图中目标可能出现的位置。但由于region proposal 利用了图像中的纹理、边缘、颜色等信息，可以保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率。这大大降低了后续操作的时间复杂度，并且获取的候选窗口要比滑动窗口的质量更高（滑动窗口固定长宽比）。比较常用的region proposal算法有selective Search和edge Boxes，如果想具体了解region proposal可以看一下PAMI2015的“What makes for effective detection proposals？” 有了候选区域，剩下的工作实际就是对候选区域进行图像分类的工作（特征提取+分类）。对于图像分类，不得不提的是2012年ImageNet大规模视觉识别挑战赛（ILSVRC）上，机器学习泰斗Geoffrey Hinton教授带领学生Krizhevsky使用卷积神经网络将ILSVRC分类任务的Top-5 error降低到了15.3%，而使用传统方法的第二名top-5 error高达26.2%。此后，卷积神经网络占据了图像分类任务的绝对统治地位，微软最新的ResNet和谷歌的Inception V4模型的top-5 error降到了4%以内多，这已经超越人在这个特定任务上的能力。所以目标检测得到候选区域后使用CNN对其进行图像分类是一个不错的选择。 2014年，RBG（Ross B. Girshick）大神使用region proposal+CNN代替传统目标检测使用的滑动窗口+手工设计特征，设计了R-CNN框架，使得目标检测取得巨大突破，并开启了基于深度学习目标检测的热潮。 1. R-CNN (CVPR2014, TPAMI2015) (Region-based Convolution Networks for Accurate Object d etection and Segmentation)
动态视频目标检测和跟踪技术(入门)
动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相
显著性目标检测中的视觉特征及融合
第34卷第8期2017年8月 计算机应用与软件 Computer Applications and Software VoL34 No.8 Aug.2017 显著性目标检测中的视觉特征及融合 袁小艳u王安志1潘刚2王明辉1 \四川大学计算机学院四川成都610064) 2 (四川文理学院智能制造学院四川达州635000) 摘要显著性目标检测，在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一 步，有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到，多数检测方法是采用 视觉特征来检测的，视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是 所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征，对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合，然后将颜色特征与其他特征进行比较，并从中选择较 优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-0M0N上进行了实验，从P R曲线、F-M easure方法、M A E绝对误差三个方面进行了定量比较，检测出的综合效果优于其他算法。通过对不同视觉特征的比较和 融合，表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。 关键词显著性检测视觉特征特征融合显著图 中图分类号TP301.6 文献标识码 A DOI：10. 3969/j. issn. 1000-386x. 2017.08. 038 VISUAL FEATURE AND FUSION OF SALIENCY OBJECT DETECTION Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1 1 (College o f Computer Science，Sichuan University，Chengdu 610064，Sichuan，China) 2 {School o f Intelligent M anufacturing, Sichuan University o f A rts and Science, Dazhou 635000, Sichuan, China) Abstract The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects：PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection. Keywords Saliency detection Visual feature Feature fusion Saliency map 收稿日期:2017-01-10。国家重点研究与发展计划项目（2016丫?80700802,2016丫?80800600);国家海洋局海洋遥感工程技术 研究中心创新青年项目（2015001)。袁小艳，讲师，主研领域:计算机视觉，机器学习，个性化服务。王安志，讲师。潘刚，讲师。王 明辉，教授。
图像显著性目标检测算法研究
图像显著性目标检测算法研究 随着移动电子设备的不断升级与应用,使用图像来记录或表达信息已成为一种常态。我们要想快速地在海量图像中提取出有价值的信息,那么需要模拟人类视觉系统在机器视觉系统进行计算机视觉热点问题的研究。 图像显著性目标检测对图像中最引人注意且最能表征图像内容的部分进行检测。在图像显著性目标检测任务中,传统的方法一般利用纹理、颜色等低层级视觉信息自下向上地进行数据驱动式检测。 对于含有单一目标或高对比度的自然场景图像,可以从多个角度去挖掘其显著性信息,如先验知识、误差重构等。然而,对于那些具有挑战性的自然场景图像,如复杂的背景、低对比度等,传统的方法通常会检测失败。 基于深度卷积神经网络的算法利用高层级语义信息结合上下文充分挖掘潜在的细节,相较于传统的方法已取得了更优越的显著性检测性能。本文对于图像显著性检测任务存在的主要问题提出了相应的解决方法。 本文的主要贡献如下:为充分挖掘图像多种显著性信息,并使其能够达到优势互补效果,本文提出了一种有效的模型,即融合先验信息和重构信息的显著性目标检测模型。重构过程包括密度重构策略与稀疏重构策略。 密度重构其优势在于能够更准确地定位存在于图像边缘的显著性物体。而稀疏重构更具鲁棒性,能够更有效地抑制复杂背景。 先验过程包含背景先验策略与中心先验策略,通过先验信息可更均匀地突出图像中的显著性目标。最后,把重构过程与先验过程生成的显著特征做非线性融合操作。 实验结果充分说明了该模型的高效性能与优越性能。针对图像中存在多个显
著性目标或者检测到的显著性目标存在边界模糊问题,本文提出了一种基于多层级连续特征细化的深度显著性目标检测模型。 该模型包括三个阶段:多层级连续特征提取、分层边界细化和显著性特征融合。首先,在多个层级上连续提取和编码高级语义特征,该过程充分挖掘了全局空间信息和不同层级的细节信息。 然后,通过反卷积操作对多层级特征做边界细化处理。分层边界细化后,把不同层级的显著特征做融合操作得到结果显著图。 在具有挑战性的多个基准数据集上使用综合评价指标进行性能测试,实验结果表明该方法具有优越的显著性检测性能。对于低对比度或者小目标等问题,本文提出一种新颖模型,即通道层级特征响应模型。 该模型包含三个部分:通道式粗特征提取,层级通道特征细化和层级特征图融合。该方法基于挤压激励残差网络,依据卷积特征通道之间的相关性进行建模。 首先,输入图像通过通道式粗特征提取过程生成空间信息丢失较多的粗糙特征图。然后,从高层级到低层级逐步细化通道特征,充分挖掘潜在的通道相关性细节信息。 接着,对多层级特征做融合操作得到结果显著图。在含有复杂场景的多个基准数据集上与其它先进算法进行比较,实验结果证明该算法具有较高的计算效率和卓越的显著性检测性能。
CVPR2016目标检测之识别效率篇：YOLO, G
CVPR2016目标检测之识别效率篇：YOLO, G 1.YOLO: You Only Look Once：Unified, Real-Time Object Detection YOLO是一个可以一次性预测多个Box位置和类别的卷积神经网络，能够实现端到端的目标检测和识别，其最大的优势就是速度快。事实上，目标检测的本质就是回归，因此一个实现回归功能的CNN并不需要复杂的设计过程。YOLO没 有选择滑窗或提取proposal的方式训练网络，而是直接选用整图训练模型。这样做的好处在于可以更好的区分目标和背景区域，相比之下，采用proposal训练方式的Fast-R-CNN 常常把背景区域误检为特定目标。当然,YOLO在提升检测速度的同时牺牲了一些精度。下图所示是YOLO检测系统流程：1.将图像Resize到448*448；2.运行CNN；3.非极大抑制优化检测结果。有兴趣的童鞋可以按照 https://www.sodocs.net/doc/842186235.html,/darknet/install/的说明安装测试一下YOLO的scoring流程，非常容易上手。接下来将重点介绍YOLO的原理。 1.1 一体化检测方案 YOLO的设计理念遵循端到端训练和实时检测。YOLO将输入图像划分为S*S个网络，如果一个物体的中心落在某网格
(cell)内，则相应网格负责检测该物体。在训练和测试时，每个网络预测B个bounding boxes，每个bounding box对应5个预测参数，即bounding box的中心点坐标(x,y)，宽高（w,h），和置信度评分。这里的置信度评分 (Pr(Object)*IOU(pred|truth))综合反映基于当前模型bounding box内存在目标的可能性Pr(Object)和bounding box预测目标位置的准确性IOU(pred|truth)。如果bouding box内不存在物体，则Pr(Object)=0。如果存在物体，则根据预测的bounding box和真实的bounding box计算IOU，同时会预测存在物体的情况下该物体属于某一类的后验概 率Pr(Class_i|Object)。假定一共有C类物体，那么每一个网格只预测一次C类物体的条件类概率Pr(Class_i|Object), i=1,2,...,C;每一个网格预测B个bounding box的位置。即这B个bounding box共享一套条件类概率Pr(Class_i|Object), i=1,2,...,C。基于计算得到的Pr(Class_i|Object)，在测试时可以计算某个bounding box类相关置信度： Pr(Class_i|Object)*Pr(Object)*IOU(pred|truth)=Pr(Class_i)* IOU(pred|truth)。如果将输入图像划分为7*7网格（S=7），每个网格预测2个bounding box (B=2)，有20类待检测的目标（C=20），则相当于最终预测一个长度为 S*S*(B*5+C)=7*7*30的向量，从而完成检测+识别任务，整个流程可以通过下图理解。
图像处理文献综述
文献综述 近年来，随着计算机视觉技术的日益发展，图像处理作为该领域的关键方向受到越来越多研究人员的关注与思考。在现在的日常生活中，由于通信设备低廉的价格和便捷的操作，人们越来越喜欢用图像和视频来进行交流和分享，消费性的电子产品在消费者中已经非常普遍，例如移动手机和数码相机等等。在这个纷繁多变的世界，每天都有数以万计的图像产生，同时信息冗余问题也随之而来。尽管在一定的程度上，内存技术的增加和网络带宽的提高解决了图像的压缩和传输问题，但是智能的图像检索和有效的数据存储，以及图像内容的提取依然没有能很好的解决。 视觉注意机制可以被看做是人类对视觉信息的一个筛选过程，也就是说只有一小部分重要的信息能够被大脑进行处理。人类在观察一个场景时，他们往往会将他们的注意力集中在他们感兴趣的区域，例如拥有鲜艳的颜色，光滑的亮度，特殊的形状以及有趣的方位的区域。传统的图像处理方法是将整幅图像统一的处理，均匀的分配计算机资源；然而许多的视觉任务仅仅只关系图像中的一个或几个区域，统一的处理整幅图像很明显会浪费过多的计算机资源，减少处理的效率[1,2]。因此，在计算机视觉领域，建立具有人类视觉系统独特数据筛选能力的数学模型显得至关重要。受高效的视觉信息处理机制的启发，计算机视觉领域的显著性检测应运而生。图像显著性检测是通过建立一定的数学模型，让计算机来模拟人类的视觉系统，使得计算机能够准确高效的定位到感兴趣的区域。 一般来说，一个信号的显著性可以表示为其和周围环境的差异性。正是因为这个信号和周围的其他信号的迥异性，使得视觉系统不需要对环境中的所有感兴趣的区域进行逐个的扫描，显著的目标会自动从环境中凸显出来。另外，一些心理学研究表明人类的视觉机制不仅仅是由低级的视觉信号来驱动的，基于记忆、经验等的先验知识同样能够决定场景中的不同信号的显著性，而这些先验知识往往是和一些高层次的事件以及视觉任务联系在一起的。基于当前场景的视觉显著性机制是低级的，慢速的。而基于先验知识的显著性机制通常是和高层次的任务关联在一起的，其效率通常低于由视觉信号驱动的显著性机制。人眼视觉系统通过显著性原理来处理复杂的视觉感知是不争的事实，这种显著性的处理机制使得复杂背景下的目标检测、识别有了很大程度的提升。 在模式识别、计算机视觉等领域，越来越多的计算机工作者致力于开发显著性计算模型，用以简单的表达图像的主要信息。这些显著性模型的检测结果是一个显著性灰度图，其每个像素点的灰度值表示了该像素的显著性，灰度值越大，表明该像素越显著。从信息处理的方式看，显著性模型大致可以分为两类：自顶向下（任务驱动）和自底向上（数据驱动）的方法。 自顶向下的显著性检测方法之所以是任务驱动，这是因为该类模型通常是和某一特定的任务相关。在同样的场景或模式下，检测到的结果因任务的不同而不同是自顶向下模型最突出的特点。例如在目标检测中，检测者需要首先告诉需要检测的目标是什么，检测到的显著性图则表示目标可能出现的位置。自顶向下的显著性检测方法的依据是：如果研究者事先知道需要检测目标的颜色、形状或者方向等特征，那么该检测算法自然会高效的检测到需要检测的目标。因此，自顶向下的算法通常需要人工标记，或是从大量的包含某种特定目标的图像中学习该类目标的特征信息，这些学习方法一般是监督的；然后求测试图像对于训练学习得到的信息的响应，从而得到测试图像的显著性图。现存的一些自顶向下的算法在某些特定的目标上取得了一定的效果，不过这些算法往往只对某些特定的目标有效，对于复杂多变的自然图像，该类算法存在很大的缺陷。自顶向下的模型是慢速的、任务驱动的，有意识的，以及封闭回路的。由于自顶向下模型的特点，其应用受到了很大的限制。
目标检测、跟踪与识别技术与现代战争
目标检测、跟踪与识别技术与现代战争 【摘要】本文讨论目标检测、跟踪与识别技术在现代战争各个领域中的应用，总结目标识别技术的发展方向，提出目标识别技术工程化实现方法，同时本文介绍了国外目标识别的现状及发展趋势，提出了现代战争应采用综合识别系统解决目标识别问题的建议。 关键词目标检测；目标跟踪；目标识别；雷达；人工神经网络；精确制导 1．引言 随着现代科学技术的飞速发展及其在军事领域内日益广泛的应用，传统的作战思想、作战方式已发生根本性的变化。从第一次海湾战争到科索沃战争，特别是刚刚结束的海湾战争，空中精确打击和空地一体化作战已经成为最重要的作战形式。集指挥、控制、通信、计算机、情报、监视侦察于一体的C ISR 已成为取得战场主动权，赢得最后胜利的关键因素。目标识别技术是雷达智能化、信息化的重要技术支撑手段。在现代化战争中，目标识别技术在预警探测、精确制导、战场指挥和侦察、敌我识别等军事领域都有广泛的应用前景，已受到了世界各国的关注。 现代战争中取得战场制信息权的关键之一是目标属性识别。现代战争的作战环境十分复杂，作战双方都在采用相应的伪装、隐蔽、欺骗和干扰等手段和技术，进行识别和反识别斗争。因此仅仅依靠一种或少数几种识别手段很难准确地进行目标识别，必须利用多个和多类传感器所收集到的多种目标属性信息，综合出准确的目标属性，进行目标检测，跟踪后进行识别。 2．目标检测、跟踪与识别技术在现代战争中的应用 2．1 目标检测、跟踪与识别技术在预警探测上的应用 目标检测、跟踪与识别技术对于弹道导弹的预警工作有重要的作用。弹道导弹一般携带多个弹头，其中可能包含核弹头或大规模杀伤的弹头以及常规弹头，预警雷达必须具备对目标进行分类和识别真假弹头的能力，将核弹头或大规模杀伤的弹头分离出来，为弹道导弹防御(BMD)系统进行目标攻击和火力分配提供依据。早期的BMD系统假设只有一个核弹头，多弹头分导技术的出现，使问题转化为雷达的多目标识别问题，加上电子对抗技术的广泛使用，给目标识别技术带来很大困难。另外，预警雷达还要对空中目标或低空目标进行探测，对来袭目标群进行分类识别。利用星载雷达以及远程光学望远镜等观测设备，可以对外空目标进行探测，对外空来袭目标进行分类和识别，达到早期预警的工作。
多源测试信息融合真题及参考答案)
2012－2013 学年 第一学期期末试卷 学号 姓名 成绩 考试日期： 2013年 1 月 7日 考试科目：《 多源测试信息融合 》（A 卷） 注意事项：1、闭卷考试，考试时间120分钟； 2、请在答题纸和试卷上写明自己的姓名和学号。 题目： 一、简答题（本题共50分，每小题10分） 1． 简述多源测试系统数据融合的目的和定义。 答：目的：对多源知识和多个传感器所获得的信息进行综合处理，消除多传感器信息之间可能存在的冗余和矛盾，利用信息互补来降低不确定性，以形成对系统环境相对完整一致的理解，从而提高系统智能规划和决策的科学性、反应的快速性和正确性，进而降低决策风险过程。 定义：利用计算机技术，对不同传感器按时序获得的观测信息，按照一定的准则加以自动分析、优化和综合，为完成所需的决策和估计任务而进行的信息处理过程。 2． 简述D-S 证据理论中，mass 函数的定义，什么是焦元和焦元的基？ 答：（1）基本置信度指派m 是2Θ→[0,1]集合的映射，A 为2Θ一子集，记A ?2Θ ，且满足： m(A)也称为假设的质量函数或mass 函数； 2()0 ()1A m m A Θ ??=?? ?=??∑
（2）若m(A)>0，则称元素A 为证据的焦元;焦元中所包含识别框架中的元素个数称为该焦元的基，记作|A|。（4分） 3． 分布式融合系统常见的融合策略有哪些？（论述其中五个即可得满分） 答：常见的融合策略：“与”融合检测准则、“或”融合检测准则、表决融合检测准则、最大后验概率融合检测准则、Neyman-Pearson 融合检测准则、贝叶斯融合检测准则、最小误差概率准则。 4． 举例说明D-S 证据理论中的0信任冲突悖论。 答：如果识别框架下的多条证据中的一个证据的某一焦元的基本置信度分配为0，且该焦元与同一证据中其它基本置信度指派值不为0的焦元的交集不是其本身，则无论其它证据对该焦元的基本置信度分配有多大，组合结果中该焦元的基本置信度分配始终为0。 11230.5{}()0.2{}0.3{}=??==??=?A A m A A A A A ，12230.0{}()0.9{}0.1{}=??==??=?A A m A A A A A ，13230.55{} ()0.10{}0.35{} =?? ==??=?A A m A A A A A 14230.55{}()0.10{}0.35{}=??==??=?A A m A A A A A ，1230.00{} ()0.33{}0.67{} =?? ==??=? A A m A A A A A 。 5． 简述分布式融合检测系统二元假设检验问题，并分析二元假设检验结果可能出现的几种可能性。 答：在二元假设检验问题中，每个传感器的决策值ui 为二元值，定义如下： 010(1((1,2,，假设 判定为无目标） ，假设 判定为有目标） …,N)?==??i H H u i 设 P(H0)=P0 和 P(H1)=P1分别为H0和H1出现的先验概率，且P0 +P1=1
基于学习的目标检测及应用
基于学习的目标检测及应用 目标检测(Object Detection)是计算机视觉领域的一个基本问题,在非受控自然场景中快速准确地定位和识别特定目标是许多人工智能应用场景的重要功能基础。近年来,随着深度学习(Deep Learning)技术的快速发展,基于卷积神经网络(Convolutional Neural Network,CNN)的目标检测算法获得了关注和广泛研究,出现了很多性能优良、简洁高效的网络结构,使算法的大规模实际应用成为可能。 当前,目标检测领域有几个主要的难点。首先,视觉场景中广泛分布着许多小物体,这些小目标的存在给检测算法的敏捷性、可靠性带来了挑战;其次,检测精度和速度存在着此消彼长的关系,兼顾这两项性能尚需突破许多技术瓶颈;最后,规模庞大的模型参数是制约深度网络片上装载的重要原因,在保证检测精度的同时压缩模型大小是一个有意义并且亟待解决的问题。 本文主要针对检测模型局部优化、小目标检测、轻量级检测网络的设计和模型压缩三个问题展开研究,具体研究工作如下:1.在深度学习框架Caffe上实现了候选区域匹配池化算法并验证了算法的有效性。同时将区域匹配的思想推广到基于区域的全卷积神经网络中,提出了位置敏感的候选区域匹配池化算法,进一步优化了当前算法在小目标检测上的性能:2.基于SqueezeNet和Faster R-CNN 检测框架搭建了小规模的通用目标检测网络,在PASCAL VOC 2007数据集上mAP 达到0.533而模型大小控制在了 10MB左右。 简化并实现了基于权值聚类的模型压缩算法,将模型进一步压缩到了 1.5MB 而检测性能仅有微弱的损失;3.设计搭建了包含反卷积层和跨层特征融合的Faster R-CNN检测网络并将其应用到小目标分布较多的交通标识检测任务中,实