人体目标检测与跟踪算法研究

人体目标检测与跟踪算法研究

摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。

关键词：三帧差分，Camshift，阈值分割

Research Based on Human Target Detectionand Tracking Algorithm

Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion.

Keywords: three-frame difference, Camshift, threshold segmentation

一、绪论

（一）选题的背景和意义

人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。

（1）智能交通。运动目标检测与跟踪技术作用于交通管理系统中可以使交管人员实时的监控交通情况。此技术可以有效的帮助预防交通事故的发生，对突发事件和紧急情况能够做出相应和及时的处理。例如Coifman建立的视频图像处理系统能够对视频监控区域内的不同车型进行分割，可以对感兴趣的车辆进行跟踪及对道路的车流量进行实时监控[3]。

（2）智能视频监控。运动目标检测与跟踪技术可用于对特定的运动目标进行实时的跟踪，然后描述和判定其行为，最后对目标行为的异常情况做出及时的处理[4]。目前、智能监控系统发展的关键在于如何实现实时、可靠和稳定的目标跟踪技术。

（3）机器人视觉导航。要想能够自主的运动，智能机器人就需要有能力去感知和识别外部事物。实现这一功能的主要方法是通过从摄像机或照相机等仪器设备获得外界环境信息，再对特定目标进行跟踪。

（4）人机交互。该技术主要是让计算机理解人对其发出的指令。

综上所述，从科技发展和现实意义来说，人体目标的检测和跟踪技术具有重要价值。当这一技术运用到现实中时，往往易受到多方面的影响，如目标产生非刚性形变、背景和目标难以区分和目标被遮挡。所以该技术仍然面临着许多困难的问题，且有许多难题需要得到解决。

（二）国内外研究现状

在国外，许多发达国家对视频中运动目标的检测与跟踪识别十分重视。在20世纪末，麻省理工学院与卡内基梅隆大学联合参与了一个由美国国防部提出的重大视频监控项目(Visual Surveillance And Monitoring)，开发了一套多领域应用的智能视频监控系统。[5]。到21世纪，粒子滤波理论被提出来并取得了快速的发展，使运动目标的检测与跟踪技术的研究有了新的发展空间。等在粒子滤波的基础上开发了一个新的运动目标检测与跟踪方法[6]，详细分析了算法的性能并进行了实现，进一步完善了粒子滤波跟踪理论[7]。国外的许多商业机构也对运动目标的跟踪与识别技术进行了大量的研究，例如法国的Citilog公司，美国的微软、谷歌等公司，并将其研究成果应用到产品研发中。

相较而言，国内的研究起步要晚。但是近些年来，一些科研院所和高校也已经逐步开始研究这个项目，并取得了成功。如上世纪末，中科院自动化研究所研

人体目标检测与跟踪算法研究

人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。

行人检测与跟踪国内外研究现状

行人检测与跟踪国内外研究现状 1.2行人检测与跟踪国内外研究现状 视觉跟踪和目标检测是计算机视觉领域内较早开始的研究方向。经过几十年的积累，这两个方向已经取得了显著的发展。然而，很多方法只是在相对较好地程度上解决了一些关键问题。并且仍旧有不少一般性的关键问题未得到有效的解决。国内外很多研究机构都在致力于研究和发展这两个方向。近些年这两个方向持续发展，涌现了很多比较优秀的方法。国外的很多大学和研究机构（如卡内基梅隆大学、南加州大学和法国国家计算机科学与控制研究所等）都有计算机视觉小组，长期地研究视频跟踪和目标检测。国内的很多大学和研究所等（如清华大学、上海交大和自动化所等）也有相关的研究小组，并取得了一些优秀的研究成果。 1.2.1行人检测技术国内外研究现状 中科院计算机科学重点实验室孙庆杰等人利用基于侧影的人体模型及其对应的概率模型,提出了一种基于矩形拟合的人体检测算法。中科院自动化所谭铁牛等对人运动进行视觉分析,其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述,它主要应用在视觉监控领域和基于步态的身份鉴定。步态识别就是根据人们走路的姿势进行身份鉴定,依据人体行走运动很大程度上依赖于轮廓随着时间的形状变化的直观想法,提出一种基于时空轮廓分析的步态识别算法；基于行走运动的关节角度变化包含着丰富的个体识别信息的思想,提出一种基于模型的步态识别算法。实验结果表明该算法不仅获得了令人鼓舞的识别性能,而且拥有相对较低的计算代价。但是该方法只能检测出运动的行人。 西安交通大学郑南宁等研究了利用支持向量机识别行人的方法,通过稀疏Gabor滤波器提取行人样本图像中行人的特征,然后利用支持向量机来训练所提取的样本特征,并用训练得到的分类器通过遍历图像的方式将图像中可能属于行人的窗口提取出来。尽管用Gabor滤波器提取特征效果相对较好,但耗时很长,不适合于实时图像的处理。 上海交通大学田广等提出了一种coarse-to-fine的行人检测方法,将一个人建模成人体自然部位的组装,人体的所有部位包括头肩、躯干和腿、采用绝对值类Haar特征集和Edgelet特征集,在这些特征集上,采用softcascade训练各个部位的检测器和全身检测器。首先采用全身检测器在整个图像中产生候选行人区域,然后用基于贝叶斯决策的组合算法进一步确定候选区域中的行人。实验结果表明该算法有很好的检测性能能在杂乱的自然场景中有效的检测行人。但该方法的识别率是78.3%,识别率不高，且该模型比较难构建,模型求解也比较复杂。 目前,在国外许多文献中提出了基于机器视觉的行人检测方法,意大利帕尔玛大学的AlbertoBroggi教授在ARGO项目中采用一种基于外形的行人检测算法。算法首先根据行人相对于垂直轴有很强的垂直边缘对称性、尺寸和外貌比例等在

TLD目标跟踪算法

TLD目标跟踪算法 一、算法的背景 TLD(Tracking-Learning-Detection)是英国萨里大学的一个捷克籍博士生Zdenek 出的一种新的单目标长时间（long term tracking）跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和传统的检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。 对于长时间跟踪而言，一个关键的问题是：当目标重新出现在相机视野中时，系统应该能重新检测到它，并开始重新跟踪。但是，长时间跟踪过程中，被跟踪目标将不可避免的发生形状变化、光照条件变化、尺度变化、遮挡等情况。传统的跟踪算法，前端需要跟检测模块相互配合，当检测到被跟踪目标之后，就开始进入跟踪模块，而此后，检测模块就不会介入到跟踪过程中。但这种方法有一个致命的缺陷：即，当被跟踪目标存在形状变化或遮挡时，跟踪就很容易失败；因此，对于长时间跟踪，或者被跟踪目标存在形状变化情况下的跟踪，很多人采用检测的方法来代替跟踪。该方法虽然在某些情况下可以改进跟踪效果，但它需要一个离线的学习过程。即：在检测之前，需要挑选大量的被跟踪目标的样本来进行学习和训练。这也就意味着，训练样本要涵盖被跟踪目标可能发生的各种形变和各种尺度、姿态变化和光照变化的情况。换言之，利用检测的方法来达到长时间跟踪的目的，对于训练样本的选择至关重要，否则，跟踪的鲁棒性就难以保证。 考虑到单纯的跟踪或者单纯的检测算法都无法在长时间跟踪过程中达到理想的效果，所以，TLD方法就考虑将两者予以结合，并加入一种改进的在线学习机制，从而使得整体的目标跟踪更加稳定、有效。 简单来说，TLD算法由三部分组成：跟踪模块、检测模块、学习模块；如下图所示 其运行机制为：检测模块和跟踪模块互补干涉的并行进行处理。首先，跟踪模块假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是可见的，以此来估计目标的运动。 如果目标在相机视野中消失，将造成跟踪失败。检测模块假设每一个视帧都是彼此独立的，并且根据以往检测和学习到的目标模型，对每一帧图片进行全图搜索以定位目标可能出现的区域。同其它目标检测方法一样，TLD中的检测模块也有可能出现错误，且错误无非是错误的负样例和错误的正样例这两种情况。而学习模块则根据跟踪模块的结果对检测模块的这两种错误进行评估，并根据评估结果生成训练样本对检测模块的目标模型进行更新，同时对跟踪模块的“关键特征点”进行更新，以此来避免以后出现类似的

基于meanshift的目标跟踪算法——完整版

基于Mean Shift的目标跟踪算法研究 指导教师：

摘要：该文把Itti视觉注意力模型融入到Mean Shift跟踪方法，提出了一种基于视觉显著图的Mean Shift跟踪方法。首先利用Itti视觉注意力模型，提取多种特征，得到显著图，在此基础上建立目标模型的直方图，然后运用Mean Shift方法进行跟踪。实验证明，该方法可适用于复杂背景目标的跟踪，跟踪结果稳定。 关键词：显著图目标跟踪Mean Shift Mean Shift Tracking Based on Saliency Map Abstract：In this paper, an improved Mean Shift tracking algorithm based on saliency map is proposed. Firstly, Itti visual attention model is used to extract multiple features, then to generate a saliency map，The histogram of the target based on the saliency map, can have a better description of objectives, and then use Mean Shift algorithm to tracking. Experimental results show that improved Mean Shift algorithm is able to be applied in complex background to tracking target and tracking results are stability. 1 引言 Mean Shift方法采用核概率密度来描述目标的特征，然后利用Mean Shift搜寻目标位置。这种方法具有很高的稳定行，能够适应目标的形状、大小的连续变化，而且计算速度很快，抗干扰能力强，能够保证系统的实时性和稳定性[1]。近年来在目标跟踪领域得到了广泛应用[2-3]。但是，核函数直方图对目标特征的描述比较弱，在目标周围存在与目标颜色分布相似的物体时，跟踪算法容易跟丢目标。目前对目标特征描述的改进只限于选择单一的特征，如文献[4]通过选择跟踪区域中表示目标主要特征的Harris点建立目标模型；文献[5]将初始帧的目标模型和前一帧的模型即两者的直方图分布都考虑进来，建立混合模型；文献[6]提出了以代表图像的梯度方向信息的方向直方图为目标模型；文献[7-8]提出二阶直方图，是对颜色直方图一种改进，是以颜色直方图为基础，颜色直方图只包含了颜色分布信息，二阶直方图在包含颜色信息的前提下包含了像素的均值向量和协方差。文献[9]提出目标中心加权距离，为离目标中心近的点赋予较大的权值，离目标中心远的点赋予较小的权值。文献[4-9]都是关注于目标和目标的某一种特征。但是使用单一特征的目标模型不能适应光线及背景的变化，而且当有遮挡和相似物体靠近时，容易丢失目标；若只是考虑改进目标模型，不考虑减弱背景的干扰，得到的效果毕竟是有限的。 针对上述问题，文本结合Itti 提出的视觉注意模型[5]，将自底向上的视觉注意机制引入到Mean Shift跟踪中，提出了基于视觉显著图的Mean Shift跟踪方法。此方法在显著图基础上建立目标模型，由此得到的目标模型是用多种特征来描述的，同时可以降低背景对目标的干扰。 2 基于视觉显著图的Mean Shift跟踪方法

【CN109949341A】一种基于人体骨架结构化特征的行人目标跟踪方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910176928.8 (22)申请日 2019.03.08 (71)申请人 广东省智能制造研究所 地址 510000 广东省广州市越秀区先烈中 路100号大院13号楼 (72)发明人 钟震宇　马敬奇　雷欢　杨慧莉　 (74)专利代理机构 广州粤高专利商标代理有限 公司 44102 代理人 罗晓林　杨桂洋 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/46(2006.01) G06K 9/62(2006.01) (54)发明名称 一种基于人体骨架结构化特征的行人目标 跟踪方法 (57)摘要 一种基于人体骨架结构化特征的行人目标 跟踪方法，包括以下步骤，记录目标运动视频，对 目标运动视频图像进行均衡化预处理，提取行人 的骨架坐标信息，手动选择跟踪目标行人，建立 目标初始特征模板图像，跟踪目标行人；若目标 行人正常，继续跟踪，若目标行人丢失，执行下一 步；根据目标行人丢失前的视频图像和目标行人 的骨架坐标信息提取目标结构化特征图像并更 新目标特征模板图像，提取所有行人的结构化特 征图像并与目标特征模板图像进行逐一匹配，根 据匹配结果重新定位目标行人位置；然后继续跟 踪目标。本发明可实现在复杂多人场景下对目标 行人的稳定持续跟踪，解决目前跟踪算法在多人 重叠、遮挡等情况下跟踪目标容易丢失且难以自 动找回的问题。权利要求书2页 说明书8页 附图4页CN 109949341 A 2019.06.28 C N 109949341 A

目标跟踪算法的分类

目标跟踪算法的分类

主要基于两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一．运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测 （一）静态背景 1.背景差 2.帧差 3.GMM 4.光流 背景减算法可以对背景的光照变化、噪声干扰以及周期性运动等进行建模，在各种不同情况下它都可以准确地检测出运动目标。因此对于固定

个关键技术： a)匹配法则，如最大相关、最小误差等 b)搜索方法，如三步搜索法、交叉搜索法等。 c) 块大小的确定，如分级、自适应等。 光流法 光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，也就是说，目标与场景的灰度不随时间变化。这使得光流方法抗噪声能力较差，其应用范围一般局限于目标与场景的灰度保持不变这个假设条件下。另外，大多数的光流计算方法相当复杂，如果没有特别的硬件装置，其处理速度相当慢，达不到实时处理的要求。 二．目标跟踪 运动目标的跟踪，即通过目标的有效表达，在图像序列中寻找与目标模板最相似候选目标区位置的过程。简单说，就是在序列图像中为目标定位。运动目标的有效表达除了对运动目标建模外，目标跟踪中常用到的目标特性表达主要包括视觉特征 (图像边缘、轮廓、形状、纹理、区域)、统计特征 (直方图、各种矩特征)、变换系数特

目标跟踪算法的研究毕业论文

目录 摘要 (1) ABSTRACT (2) 第一章绪论 (4) 1.1课题研究背景和意义 (4) 1.2国外研究现状 (5) 1.3本文的具体结构安排 (7) 第二章运动目标检测 (8) 2.1检测算法及概述 (8) 2.1.1连续帧间差分法 (9) 2.1.2背景去除法 (11) 2.1.3光流法 (13) 第三章运动目标跟踪方法 (16) 3.1引言 (16) 3.2运动目标跟踪方法 (16) 3.2.1基于特征匹配的跟踪方法 (16) 3.2.2基于区域匹配的跟踪方法 (17) 3.2.3基于模型匹配的跟踪方法 (18) 3.3运动目标搜索算法 (18) 3.3.1绝对平衡搜索法 (18) 3.4绝对平衡搜索法实验结果 (19) 3.4.1归一化互相关搜索法 (21)

3.5归一化互相关搜索法实验结果及分析 (22) 第四章模板更新与轨迹预测 (26) 4.1模板更新简述及策略 (26) 4.2轨迹预测 (28) 4.2.1线性预测 (29) 4.2.2平方预测器 (30) 4.3实验结果及分析： (31) 致 (36) 参考文献 (37) 毕业设计小结 (38)

摘要 图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。它最初吸引了军方的关注，逐渐被应用于电视制导炸弹、火控系统等军用备中。序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。因此，非常有必要研究运动目标的跟踪。 本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：最小均方误差函数(MES)，最小平均绝对差值函数(MAD)和最大匹配像素统计(MPC)的跟踪算法。在跟踪过程中，由于跟踪设备与目标的相对运动, 视野中的目标可能出现大小、形状、姿态等变化, 加上外界环境中的各种干扰, 所要跟踪的目标和目标所在的场景都发生了变化, 有可能丢失跟踪目标。为了保证跟踪的稳定性和正确性, 需要对模板图像进行自适应更新。由于目标运动有一定得规律，可以采取轨迹预测以提高跟踪精度，本文采用了线性预测法。 对比分析了相关匹配算法的跟踪精度和跟踪速度；对比不采用模板更新和模板跟新的跟踪进度和差别，实验表明，跟踪算法加上轨迹预测及模板跟新在很大程度上提高了跟踪帧数，提高了跟踪精度，具有一定的抗噪声性能。

人体行为识别技术

人体行为识别技术 在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数(如关节位置、角度和角速度，等等)，通过分析这些信息，可以为运动员的训练提

机器视觉的辅助驾驶系统的视频中行人检测跟踪

机器视觉的辅助驾驶系统的视频中行人 实时检测识别研究文献综述 1机器视觉发展 国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有3个明显的标志点，一是机器视觉最先的应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机替代硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图像处理硬件技术的飞速进步，为机器视觉飞速发展提供了基础条件。 国内机器视觉发展的大致历程：真正开始起步是20世纪80年代，20世纪90年代进入发展期，加速发展则是近几年的事情。中国正在成为世界机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线己经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统也进入中国。对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。 未来机器视觉的发展将呈现下列趋势: （1）技术方面的趋势是数字化、实时化、智能化 图像采集与传输的数字化是机器视觉在技术方面发展的必然趋势。更多的数字摄像机，更宽的图像数据传输带宽，更高的图像处理速度，以及更先进的图像处理算法将会推出，将会得到更广泛的应用。这样的技术发展趋势将使机器视觉系统向着实时性更好和智能程度更高的方向不断发展。 （2）产品方面：智能摄像机将会占据市场主要地位 智能摄像机具有体积小、价格低、使用安装方便、用户二次开发周期短的优点，非常适合生产线安装使用，越来越受到用户的青睐，智能摄像机所采用的许多部件与技术都来自IT行业，其价格会不断降低，逐渐会为最终用户所接受。因此，

行人检测与目标跟踪算法研究

基于opencv中光流法的运动 行人目标跟踪与检测 一、课题研究背景及方法 行人检测具有极其广泛的应用：智能辅助驾驶，智能监控，行人分析以及智 能机器人等领域。从2005年以来行人检测进入了一个快速的发展阶段，但是也存在很多问题还有待解决，个人觉得主要还是在性能和速度方面还不能达到一个权衡。 早期以静态图像处理中的分割、边缘提取、运动检测等方法为主。例如 （1）以Gavrila为代表的全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众多而引起的速度下降问题，采用了由粗到细的分层搜索策略以加快搜索速度。另外，匹配的时候通过计算模板与待检测窗口的距离变换来度量两者之间的相似性。 （2）以Broggi为代表的局部模板方法：利用不同大小的二值图像模板来对人头和肩部进行建模，通过将输入图像的边缘图像与该二值模板进行比较从而识别行人，该方法被用到意大利Parma大学开发的ARGO智能车中。 （3）以Lipton为代表的光流检测方法：计算运动区域内的残余光流； （4）以Heisele为代表的运动检测方法：提取行人腿部运动特征； （5）以Wohler为代表的神经网络方法：构建一个自适应时间延迟神经网络来判断是否是人体的运动图片序列； 以上方法，存在速度慢、检测率低、误报率高的特点。 2、行人检测的研究现状

（1）基于背景建模的方法：分割出前景，提取其中的运动目标，然后进一步 提取特征，分类判别；在存在下雨、下雪、刮风、树叶晃动、灯光忽明忽暗等场 合，该方法的鲁棒性不高，抗干扰能力较差。且背景建模方法的模型过于复杂，对 参数较为敏感。 （2）基于统计学习的方法：根据大量训练样本构建行人检测分类器。提取的 特征一般有目标的灰度、边缘、纹理、形状、梯度直方图等信息，分类器包括神经 网络、SVM，adaboost等。该方法存在以下难点： （a）行人的姿态、服饰各不相同； （b）提取的特征在特征空间中的分布不够紧凑； （c）分类器的性能受训练样本的影响较大； （d）离线训练时的负样本无法涵盖所有真实应用场景的情况； 尽管基于统计学习的行人检测方法存在着诸多的缺点，但依然有很多人将注 意力集中于此。 行人检测国外研究情况： 法国研究人员Dalal在2005的CVPR发表的HOG+SVM的行人检测算法(Histograms of Oriented Gradients for Human Detection, Navneet Dalel,Bill Triggs, CVPR2005)。 Dollar 在 2010 年 BMVC 的《The fastest pedestrian detector in the west》一文中提出了一种新的思想，这种思想只需要训练一个标准 model,检测N/K（K ≈10）然后其余的 N-N/K 种大小的图片的特征不需要再进行这种复杂的计算，而是跟据这 N/K 次的结果，由另外一种简单的算法给估计出来，这种思 想实现的基础是大小相近的图像的特征可以被足够精确的估计出来；同年，德国

运动人体识别技术

二、运动人体识别技术 1.概念 运动人体识别技术是一种以图像处理，模式识别，计算机视觉等技术为基础，为运动人体进行识别处理的一项技术。其中图像处理（影像处理）是用计算机对图像进行分析，以达到所需结果的技术；模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式”；计算机视觉技术是一门研究如何使机器看的学科，简单的说，就是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步作图像处理，使电脑处理成更适合人眼观察或传送仪器检测的图像。 2.运动人体识别的研究进展与现状 运动人体识别的研究主要包括图像处理、多传感技术、虚拟现实、模式识别、计算机视觉和图形学、计算机辅助技术、可视化技术以及智能机器人等。针对人体运动图像系列进行分析处理的运动人体视觉分析技术，一般情况下可分为：运动目标检测，运动目标特征提取以及识别复杂背景下的运动目标身份。其主要的研究方法为结构化分量和动态分量。其算法又分为基于统计的方法和基于模型的方法。现状是运动人体科学由宏观向微观理论研究深入发展，与运动人体科学相关的一些学科，快速成长为深入研究性学科，运动人体科学的竞技体育和体育保健。研究方向为：智能安全监控、人机接口、视频会议等方面，这些方面具有广泛的应用前景和巨大的潜在经济价值。 3.运动人体识别算法概述 （1）运动人体识别过程一般分为目标检测和处理、特征提取和分析、模式分类和识别。 （2）主要方法：目标检测和处理的特点为检测出原始图像中的运动目标，在一副图像中，局部目标的表象和形状能够被梯度或者边缘的方向密度分布很好的描述；特征提取和分析的特点为通过映射和变换的方法可以将高维空间中的特征描述用低维空间的特征来描述；模式分类和识别的特点是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式” （3）特征提取模式识别的方法 在很多实际问题中，往往不容易找到那些最重要的特征，或者因为外界干扰不能提取出自己想要的特征信息。因此在测量时，我们总希望能够获取更多的信息来加以判断。除此之外，我们还能够用数据，比值，梯形图等等的一些展现方法来突出自己想要的特征信息。为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择和变换处理，组成有效的识别特征。 4.未来的发展趋势以及存在的问题 人体识别技术的发展趋势是：面对着全球化、信息化越来越提倡的社会背景下，识别技术会越来越广，深度也会不断加深。其虽然有着自己独特的优势，但并不是没有缺点，举个例子，在指纹识别上，面临指纹膜冒充指纹蒙混过关的问题；人面识别也许简单易个容就能过关；虹膜识别技术对黑眼睛存在识别难得问题；对于盲人和眼睛有疾病的患者实在是无能为力；声音、笔记也并不难以模仿；静脉识别也存在着易受温度干扰影响识别率的问题。

人体行为识别技术讲解学习

人体行为识别技术

人体行为识别技术 在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的

目标跟踪算法

clc; clear; x=[0 16 25 33 50 65 75 82 100]; y=[0 172.5 227.5 324.2 330.7 286.1 237.7 201.7 0]; plot(xx,yy); 的图为 xx = 0:.01:100; yy = spline(x,y,xx); plot(xx,yy)

Matlab画平滑曲线的两种方法（拟合或插值后再用plot即可） 分类：MATLAB2012-12-02 11:15 25540人阅读评论(4) 收藏举报自然状态下，用plot画的是折线，而不是平滑曲线。 有两种方法可以画平滑曲线，第一种是拟合的方法，第二种是用spcrv，其实原理应该都一样就是插值。下面是源程序，大家可以根据需要自行选择，更改拟合的参数。 clc,clear; a = 1:1:6; %横坐标 b = [8.0 9.0 10.0 15.0 35.0 40.0]; %纵坐标

plot(a, b, 'b'); %自然状态的画图效果 hold on; %第一种，画平滑曲线的方法 c = polyfit(a, b, 2); %进行拟合，c为2次拟合后的系数 d = polyval(c, a, 1); %拟合后，每一个横坐标对应的值即为d plot(a, d, 'r'); %拟合后的曲线 plot(a, b, '*'); %将每个点用*画出来 hold on; %第二种，画平滑曲线的方法 values = spcrv([[a(1) a a(end)];[b(1) b b(end)]],3); plot(values(1,:),values(2,:), 'g');

目标跟踪算法的分类

运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标 (包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上，总体来说有两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一、运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。 静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动 (如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。 1、静态背景 背景差分法 背景差分法是利用当前图像与背景图像的差分来检测运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如天气、光照、背景扰动及背景物移入移出等特别敏感，运动目标的阴影也会影响检测结果的准确性及跟踪的精确性。其基本思想就是首先获得一个背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素属于运动目标，否则属于背景图像。背景模型的建立与更新、阴影的去除等对跟踪结果的好坏至关重要。 帧间差分法 相邻帧间差分法是通过相邻两帧图像的差值计算，获得运动物体位置和形状等信息的运动目标检测方法。其对环境的适应性较强，特别是对于光照的变化适应性强，但由于运动目标上像素的纹理、灰度等信息比较相近，不能检测出完整

目标定位跟踪算法及仿真程序(修改后)

目标定位跟踪算法及仿真程序 质心算法是最简单的定位算法，如图2-1所示，四个小圆为观测站，实线三角形是目标真实的位置，假设四个圆形观测站都探测到目标的存在，则根据质心定位算法，目标的位置（x,y ）可以表示为：4 4 321x x x x x +++= ， 4 4 321y y y y y +++= ，这里观测站得位置为),(i i y x ，同理，当观测站数目为N 时，这时候的质心定位算法可以表示为： ???? ? ??? ????=??????∑ ∑ ==N i i N i i y N x N y x 1 1 11 图1 质心定位 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% % 质心定位算法Matlab 程序 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% function main % 定位初始化 Length=100; % 场地空间，单位：米 Width=100; % 场地空间，单位：米 d=50; % 目标离观测站50米以内都能探测到，反之则不能 Node_number=6; % 观测站的个数 for i=1:Node_number % 观测站的位置初始化，这里位置是随机给定的 Node(i).x=Width*rand; Node(i).y=Length*rand; end % 目标的真实位置，这里也随机给定 Target.x=Width*rand; Target.y=Length*rand; % 观测站探测目标 X=[]; for i=1:Node_number

目标跟踪的研究背景意义方法及现状

目标跟踪的研究背景意义方法及现状

目录 ? 1.课题背景与研究意义? 2.国内外研究现状 ? 3.存在的问题 ? 4.总结，发展与展望 ? 5.参考文献

1课题背景与研究意义 ?运动目标的跟踪就是在视频图像的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。 ?智能视频监控(IVS: Intelligent Video Surveillance)是计算机视觉领域近几年来发展较快，研究较多的一个应用方向。它能够利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到图像处理、计算机视觉、模式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着极大的应用前景。

2.国内外研究现状 视频目标跟踪算法 基于对比度分析基于匹配核方法运动检测其它方法 特征匹配贝叶斯 跟踪 Mean shift方法 光流法

基于对比度分析的方法 ?算法思想：基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。 ?分类：边缘跟踪，型心跟踪，质心跟踪。 ?优缺点：不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。

基于特征匹配的目标跟踪算法 ?算法思想：基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的过程就是特征匹配过 程。 ?目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如Kanade Lucas Tomasi （KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。?优缺点：特征点一般是稀疏的，携带的信息较少，可以通过集成前几帧的信息进行补偿。目标在运动过程中，其特征（如姿态、几何形状、灰度或颜色分布等）也随之变化。 目标特征的变化具有随机性，这种随机变化可以采用统计数学的方法来描述。直方图是图像处理中天然的统计量，因此彩色和边缘方向直方图在跟踪算法中被广泛采用。

多目标跟踪算法

多目标跟踪算法 先来回顾下卡尔曼滤波器： 假定k k x |表示当前k 时刻目标的状态，k 1k x |+表示下一个时刻目标的状态，k z 则表示k 时刻的实际观测。一般地模型都假定为线性的： 这里的1k x +为k+1时刻目标的状态，k x 为k 时刻的状态，为状态转移矩阵，而是服从均值为0方差为的正态分布，表示由噪声等引起的干扰。卡尔曼滤波采取初步估 计： 这里的估计只是初步的估计，状态估计与实际状态的误差矩阵等于状态1k x +的的方差，即： 更新（修正）： 这里已知了实际观察，同样是假定观测与状态的似然关系是线性的，即满足： 服从一个均值为0方差为 的正态分布。 卡尔曼滤波器给出了经过更新后得到的比较合理的k+1时刻的估计为： 相应地得到了更新后方差的估计： 这里： 其实这些都是通过最小二乘法推出来的，即使得误差： 最小，而初步估计也是通过最小二乘法获得，即使得： 最小。有了上述估计方程后，便可以获得一个估计流程：

下面再介绍下贝叶斯公式 先看一个定义 马氏链： 设{} ,,,k j i E =为有限集或可列集，称()0n n X ≥为定义在概率空间()P F,,Ω上，取值于空间E 的马氏链，如果满足下面的马氏性：对一切n 10i i i ,,, 有 [][]1n 1n n n 1n 1n 00n n i X i X P i X i X i X P ----======|,,| 若左边的条件概率有定义，则称[]i X j X P 1n n ==-|为在n-1时刻状态为i,在n 时刻在j 的转移概率函数，若它与n 无关，则记为ij p ，并称为时齐的或齐次的。显然这里的马氏性接近于独立性，在一定程度上可以称为无记忆性或无后效性。 下面我们来推导贝叶斯公式： 容易由条件概率公式定义知 而 ()()()()()()( ) ()() ()( ) ()() ( )() ()()() 1 k 1 k 1k k k 1 k k 1k k k 1k k 1k k k 1k k k k k 1k 1k 1k k k 1k k k k k 1k 1k 1k k k 1k 1k 1k k k 1k 1k 1k 1k 1k z x f dx x f x z f x f x z f z f dx x f x z f x z f z f x f x z f x z f dx z x f x z f z x f x z f x f +++++++++++++++++++++++== ? == ?? ?||||||||||||||||||||||||| 就得到了更新后的公式如下： 这里记 于是就可以得到贝叶斯滤波器跟踪流程如下： 实际上可以证明，卡尔曼滤波器是贝叶斯滤波器的一种特殊形式，由于假定噪声服从正态分布，同样地观测与状态估计的误差也是服从正态分布，那么不难得：

运动目标检测与跟踪算法的研究进展

运动目标检测与跟踪算法的研究进展 0 引言 人类感知的环境信息大多是通过视觉获得的，而在接受到的所有视觉信息中，人们又往往对动态信息更感兴趣。随着多媒体技术的发展，人们正在接触越来越多的视频信息。一方面，要获得较高压缩比来存储这些信息，另一方面，需要对感兴趣的区域或对象进行操作[1]。因此对视频图像中运动目标的提取、分类识别和跟踪，已成为对运动目标的行为进行理解和描述视频图像中动态信息的主要内容。 运动目标的检测与跟踪在技术上融合了计算机视觉、视频图像处理、模式识别和自动控制等相关领域的知识[2]。运动目标的检测与跟踪是视频技术的一个重要研究方向，其应用十分广泛。在交通流量的监测、安全监控、军事制导、视觉导航，以及视频编码中都有涉及。目前，运动目标的检测与跟踪已经取得了很多成果，并且不断有新技术、新算法涌现。但是，在实际环境中，由于自然环境的复杂（光照、气候的变化等），目标的高机动性，干扰了目标检测与跟踪，造成检测不准确且跟踪效率不高。因此，研究改进运动目标检测与跟踪算法有很现实的意义和应用价值。 1 运动目标检测常用算法 运动目标检测就是从视频图像中将变化的区域从背景中提取出来，此类算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。静态背景下只有被监视目标在摄像机的视场内运动；而动态背景下摄像机也发生了运动，这个过程就产生了目标与背景之间复杂的相对运动，造成动态背景下的运动检测和跟踪难度很大。目前对于动态背景下运动检测和跟踪的研究较少，因此本文暂不涉及运动背景下的运动目标检测与跟踪。在静态背景下，运动目标检测主要算法有三种：帧间差分法、背景差分法和光流法。下面分别对这三种算法进行分析。 1.1 帧间差分法 帧间差分法[3]的基本原理就是相邻帧的图像对应像素点的灰度值相减，通过差分图像进行二值化处理以确定运动目标。帧间差分法的主要优点是：算法实现简单，程序设计复杂度低；不存在背景的获取、更新和存储的问题；对场景中光线的变化不太敏感，实时性好。但在实际环境中，当目标运动速度过快时，容易产生空洞，也可能把一个运动目标分割为两个或者多个，并且运动目标的获取存在着模糊的边缘。 针对帧间差法存在的问题，人们提出了很多方法改进，如采用三帧差分法、加入颜色信息进行判别等。例如Shahinfard 等提出对相邻5 场的视频序列作差分处理，并且综合视频序列的RGB 分量信号进行运动检测[4]。因此，该方法即适用于高速运动目标，同时也适用于低速目标。针对光线变化的环境，Crnojevic等提出将小波变换加入差分算法中[5]，取得了较好的效果。聂?等提出了一种复合差分算法，利用两次差分之间的相关性来检测运动目标，并且将前景像素面积作为判别目标漏检程度的依据，有效的减少了目标漏检[6]。 1.2 光流法 光流是空间运动物体在观测成像面上的像素运动的瞬时速度。物体在光源照射下，其表面的灰度呈现一定的空间分布，称之为灰度模式。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像称之为光流。光流表达图像的变化，包含目标运动的信息，可用来确定目标的运动。光流算法评估了两幅图像的之间的变形，它假设一个物体的颜色在前后两帧没有巨大而明显的变化。基于这个思路，我们可以得到图像约束方程。不同的光流算法解决了假定了不同附加条件的光流问题。Horn 和Schunck 于1981 年创造性地将二维速度场与灰度相联系，引入光流约束方程，得到光流计算的基本算法[7]。Lucas 和Kanade 同年提出了LK 光流算法[8]。 虽然光流携带了有关物体运动和景物三维结构的丰富信息，在实际应用中，由于遮挡、多光源和噪声等原因，使得光流方程的灰度守恒假设条件得不到满足，不能正确的解出光流场；同时大多数的光流计算方法相当复杂，计算量大，难以实时应用，因此在对实时性要求较高的监控系统中一般并不采用这种算法。因此减少光流算法的运算复杂度是应用光流法的关键。为此，戴斌等人提出了最优估计的点匹配技术和光流均匀采样策 略[9]，同时进行运动目标的检测和跟踪，并能在一定程度上解决光流技术中的计算量和信息量的矛盾。为改善HS 算法中最小均方差迭代的最终收