基于视频的实时运动目标检测与跟踪系统研究

硕士学位论文 基于视频的实时运动目标检测与跟踪系统研究

作 者 姓 名： 李 月 静 学科、专业： 信号与信息处理 学 号：212009********* 指 导 教 师： 谢 维 成 完 成 日 期： 2012年3月

基于

视

频

的

实

时

运

动

目

标

检

测

与

跟

踪

系

统

研

究

西

华

大

学

硕

士

学

位

论

文

Xihua University

Master Degree Dissertation

Research of Real-time Moving Object Detection and Tracking System Based on Video

Candidate : Li Yuejing

Major : Signal and Information Processing

Student ID: 212009*********

Supervisor: Prof. Xie Weicheng

March, 2012

西华大学学位论文独创性声明

作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。

若有不实之处，本人愿意承担相关法律责任。

学位论文作者签名：指导教师签名：

日期：日期

西华大学学位论文版权使用授权书

本学位论文作者完全了解学校有关保留、使用学位论文的规定，在校攻读学位期间论文工作的知识产权属于西华大学，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。(保密的论文在解密后遵守此规定)

学位论文作者签名：指导教师签名：

日期：日期

西华大学硕士学位论文

摘要

以计算机视觉技术为基础的智能视频监控系统，目前已经广泛应用于人们生产生活的各个方面。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动目标，获得目标参数，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。本文主要研究了视频运动目标检测与跟踪系统的构成，系统中使用的视频、图像处理技术，运动目标检测及运动目标跟踪算法，并分别在计算机系统及嵌入式系统中实现了运动目标检测与跟踪系统。

首先，分析研究了常用的运动目标检测算法及各自的优缺点，提出了一种基于累积差分更新的背景减除法，该算法结合累积差分的概念，对自适应背景建模法作出改进，较好地消除了场景变化以及噪声影响等的干扰，关于目标提取的阀值判断，提出了一种两主峰间差值的灰度直方图阀值分割法。

接着，分析比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，提出了一种基于几何特征的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，以目标灰度质心及外接矩形框长宽作为目标几何特征参数，分别使用两组卡尔曼滤波预测后，根据目标灰度模板相似度进行目标匹配。

然后，在VC++6.0集成开发环境下，采用MFC应用程序框架及OpenCV计算机视觉库代码，实现了基于USB摄像头的运动目标检测与跟踪系统，对于USB摄像头或AVI视频文件输入的视频，系统能实时检测出场景中的运动物体并进行跟踪。

最后，使用Altera ED2多媒体开发板，以CycloneⅡ系列EP2C35F672C6 FPGA作为核心芯片，设计出基于SOPC的实时运动目标检测与跟踪系统，使用了QuartusⅡ、SOPC Builder及NiosⅡIDE等开发工具，完成硬件设计及软件开发，经仿真及调试该系统实现部分运行。

关键词：智能视频监控；目标检测；目标跟踪；OpenCV；SOPC

基于视频的实时运动目标检测与跟踪系统研究

Abstract

Intelligent Video Surveillance System which based on Computer Vision technology has already been widely applied to various aspects of human’s production and life at present. Moving object detection and tacking is the key technology and primary research direction of Intelligent Video Surveillance System. In order to real-time detecting moving object emerged from video sequence frames, obtaining object parameters, matching and tracking moving object, then the movement locus of object is acquired. In this paper major researches include the structure of moving object detection and tracking system based on video, the technology of video and image processing used in system, the algorithm of moving object detection and tracking, and the implementation of system based on computer and embedded technology.

Firstly, conventional algorithms of moving object detection and tracking including each advantage and defect are analyzed and researched, and a kind background subtraction algorithm based on accumulated difference update is proposed. The algorithm incorporated accumulated difference notion improvements self-adaptive background modeling algorithm to eliminate noise interference. A kind partition method of gray histogram threshold is proposed.

Then, CAMShift algorithm and Kalman filter algorithm are analyzed and compared, and a kind moving object tracking algorithm which combines Kalman filter based on geometric characteristic with object histogram matching is proposed. The center of mass of object’s grayscale and the length and width of circumscribed rectangle frame are used as the geometric characteristic parameter of object. After using respectively two groups of Kalman filter to calculate, matching object according to similarity of template of object’s gra yscale.

And then, the moving object detection and tracking system based on USB camera is implemented by VC++ 6.0 Integrated Development Environment. The MFC application program wizard and Intel OpenCV code are utilized to develop system. According to inputted video from either USB camera or AVI files, the system can detect and track object in scene.

Finally, the real-time moving object detection and tracking system based on SOPC is designed. The Altera DE2 board which contains CycloneⅡseries EP2C35F672C6 FPGA chip is used as development platform. The Developer Kits include QuartusⅡ, SOPC Builder and NiosⅡIDE etc. The hardware design and software programming are accomplished. The embedded system is able to partly operate after simulating and debugging.

Key Words：Intelligent Video Surveillance; Object Detection; Object Tracking; Open CV; SOPC

II

西华大学硕士学位论文

目录

摘要............................................................................................................................. I Abstract ............................................................................................................................. II 1 绪论 (1)

1.1 研究背景及意义 (1)

1.2 国内外研究现状及发展趋势 (2)

1.2.1 国内外研究现状 (2)

1.2.2 发展趋势 (4)

1.3 主要研究内容及本文结构 (6)

2 系统结构与关键技术 (8)

2.1 系统结构 (8)

2.2 图像处理技术 (9)

2.2.1 图像获取 (9)

2.2.2 视频信号制式及图像色彩模型 (10)

2.2.3 图像滤波 (13)

2.2.4 形态学处理 (16)

2.2.5 连通分量分析 (18)

3 运动目标检测算法研究 (20)

3.1 常用运动目标检测算法分析 (20)

3.1.1 帧间差分法 (20)

3.1.2 背景减除法 (22)

3.1.3 光流法 (23)

3.2 基于累积差分更新的背景减除法 (23)

3.2.1 背景模型建立与更新 (24)

3.2.2 运动目标提取 (27)

3.3 检测算法流程及实验结果 (28)

3.3.1 检测算法流程 (28)

3.3.2 检测算法实验结果 (30)

4 运动目标跟踪算法研究 (33)

4.1 常用运动目标跟踪算法分析 (33)

4.1.1 卡尔曼滤波算法 (33)

4.1.2 CAMShift算法 (35)

基于视频的实时运动目标检测与跟踪系统研究

4.2 基于几何特征的卡尔曼滤波和直方图匹配算法 (37)

4.2.1 几何特征计算 (37)

4.2.2 卡尔曼滤波 (39)

4.2.3 灰度直方图匹配 (40)

4.2.4 多目标跟踪问题 (41)

4.3 跟踪算法流程及实验结果 (41)

4.3.1 跟踪算法流程 (41)

4.3.2 跟踪算法实验结果 (43)

5 基于VC++的运动目标检测与跟踪系统 (46)

5.1 MFC及OpenCV (46)

5.1.1 MFC (46)

5.1.2 OpenCV (47)

5.2 系统硬件结构 (48)

5.3 系统软件编程 (49)

5.3.1 系统软件模块 (49)

5.3.2 算法编程 (50)

5.4 系统运行实现 (54)

6 基于SOPC的运动目标检测与跟踪系统 (59)

6.1 开发平台、工具及流程 (59)

6.1.1 SOPC及VreilogHDL (59)

6.1.2 开发平台 (60)

6.1.3 开发工具及流程 (62)

6.2 系统硬件设计 (64)

6.2.1 系统总体设计 (64)

6.2.2 各模块设计 (65)

6.3 系统软件开发 (73)

6.4 实验结果及分析 (76)

结论 (78)

参考文献 (80)

攻读硕士学位期间发表的论文及科研成果 (86)

致谢 (87)

IV

西华大学硕士学位论文

1 绪论

1.1 研究背景及意义

随着21世纪的第1个10年的过去，人类社会早已经进入了信息时代。从愚昧的原始社会，到稳步发展的古典时代，再到欣欣向荣的启蒙时代，然后是繁忙的工业时代，人类文明在不断发展，科学技术在不断进步，21世纪涌现出了一大批新兴科学与技术，使人类社会和人们的生活发生了翻天覆地的变化。智能技术、多媒体技术已成为信息时代的主导技术，计算机视觉、视频图像处理等领域已成为研究领域中的前沿和热点。计算机视觉（Computer Vision）是一门综合性的交叉学科，由计算机通过对采集的图像或视频序列进行处理和分析，提取需要的信息，从而代替人来实现某种功能，该学科融合了计算机科学、应用数学、几何图形学、图像处理、视频处理、模式识别等学科的知识。计算机视觉研究的最终目标是让计算机通过输入设备来获取外界信息，代替人为操作自主地进行思考并作出反应。当然，在离这个最终目标的实现还有一定距离的今天，人们努力的目标是建立一种在由人为规定的一些约束条件下，实现某些简单功能的准智能机器视觉系统，能够部分代替人们的工作。然而，自从1946年约翰.冯.诺依曼（John Von Neumann）博士发明了程序储存体系结构的电子计算机以来，随着微电子技术的不断进步和因特网（Internet）这一全球互联网的形成，当代计算机家族彻底地改变了人们的生活。因此，计算机视觉技术的未来，也会是出乎人们预料的。

关于计算机视觉技术的研究[1-3]，起溯于20世纪70年代后期，因为随着计算机硬件技术的发展，使计算机能够处理数据量很大的诸如图像这一类的信息。而今天，计算机视觉技术得到了越来越多的关注和长足的发展，智能视频监控（Intelligent Video Surveillance）系统就是计算机视觉技术主要的研究方向和重要的应用领域之一。近年来，智能视频监控系统已经广泛应用于人们生产生活的各个方面。在公共安全方面，银行、大型商场、地铁站点、城市街道等人流密集场所，核电站、高速铁路、民航机场等重要设施以及2008年北京奥运会、2010年上海世博会等盛大活动，都安装配置了大量最先进的智能视频监控系统，来保证人们的生命财产安全、保护国家公共财产不受损失、维护会场公共秩序、提高突发事件反应能力及防止恐怖主义事件。在交通管理方面，各个十字路口的电子眼系统，能够监视车辆的闯红灯、违章行驶等行为，通过连续抓拍违章车辆3幅图像，给出其违章证据及车牌号码。在人们的生活中，家庭远程监控系统使人们在千里之外也能看到家里的情况，驾车疲劳检测系统降低了事故的发生率使人们的生命安全得到了保障，而视觉辅助驾驶系统可以实现简单的车辆导航功能。

基于视频的实时运动目标检测与跟踪系统研究

智能视频监控系统有效地解决了传统视频监控系统中存在的由人为因素带来的及时性差、效率低的问题。智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理，实现监控场景中的目标检测和追踪的监控系统[4-6]。运动目标检测与跟踪是智能视频监控系统中的关键技术和主要研究方向，目的是实时检测视频序列帧中出现的运动物体，提取运动目标，获得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹，为下一步对目标的识别及行为的理解等提供必要的信息。一个运营级智能视频监控系统组成结构如图1.1。

图1.1 运营级智能监控系统

Fig 1.1 a running system of intelligent video surveillance

1.2 国内外研究现状及发展趋势

1.2.1 国内外研究现状

由于传统视频监控系统自身所固有的体积大、效率低、实时性差等缺陷，而且随着社会的发展，人们也迫切需要现代化技术来实现对场所或物体的监控。智能视频监控系统与传统监控系统相比优势突出，有极高的实用价值和经济价值。国内外众多高校、公司与研究机构都开展了广泛并深入的研究，取得了一定的成果[7,8]。

美国和欧洲等国家，凭借自身技术和资金上的优势，从上世纪90年代起率先进行了智能视频监控系统方面的研究，主要包括：美国国防高级研究项目署DARPA（Defense Advanced Research Projects Agency）的视觉重大监控项目VSAM（Video Surveillance and Monitoring）项目[9]，由卡内基梅隆大学（Carnegic Mellon University）、麻省理工学院

西华大学硕士学位论文

（Massachusetts Institute of Technology）等十几所高校与研究机构参与，主要研究了在战场及普通民用场景中，利用多传感器、通信网络等实现对区域的全方位全时段监控，包括自动视频理解、目标识别及跟踪、行为分析等关键技术；马里兰大学（University of Maryland）和美国国际商用机器公司（IBM）共同开发的实时监控系统W4[10]，针对夜晚和光线较差的室外环境，能对场景中出现的人进行定位，通过建立外观模型实现多人跟踪，并且能对图像中人的身体部分进行分割，可以检测出携带物体等行为并监控人们的活动；欧洲委员会IST（Information Society Technologies）资助的视频标注检索监控ADVISOR（Annotate Digital Video for Surveillance and Optimized Retrieval）项目[11]，能自动分析地铁站内场景，识别个人行为活动，对公共交通系统场所进行监控。当前，国际上一些权威期刊：模式分析和机器智能PAMI（IEEE Transactions on Pattern Analysis and Machine Intelligence）、计算机视觉IJCV（International Journal of Computer Vision）、图像和视觉计算IVC（Image and Vision Computing）等为智能视频监控领域开辟了专栏。一些重要学术会议：计算机视觉和模式识别会议CVPR（IEEE Computer Society Confe- rence on Computer Vision and Pattern Recognition）、视觉监控会议IWVS（IEEE Interna- tional Workshop on Visual Surveillance）、国际计算机视觉会议ICCV（International Confe- rence on Computer Vision）等将智能视频监控及其关键技术作为会议的主题之一，促进了该研究领域的交流与发展。

国内在智能视频监控领域也开展大量的研究：中科院自动化研究所模式识别国家重点实验室在人运动的视觉分析、交通场景视觉监控和智能轮椅视觉导航等领域取得众多成果，其中人的运动与行为视频分析项目于2008年通过验收，目前已在北京地铁线路中投入使用；清华大学研发出在户外复杂环境下对人自动检测和识别的智能监控系统；上海交通大学图像处理与模式识别研究所实现了智能报警系统中的图像分割与标记；北京交通大学研发出视频监控的生物特征识别系统，能够对场景中的不同生物进行标记并识别；华南理工大学研制出车载驾驶员疲劳检测系统，能够自动检测出驾驶员疲劳程度并发出警报；中兴大学在移动视频监控领域取得了优异的成果，对进入侦测范围内的人和物体，通过分布式网络进行联动监控。《图形图像学报》、《电子学报》、《计算机工程》、《自动化学报》、《控制与决策》等都开辟了视频监控及图像处理方面的专栏。中科院自动化研究所、中国图形图像学会在国内举办了多次学术研讨会议，就智能视频监控领域开展了广泛深入的研究，对视频序列分析、目标识别与跟踪、监控系统构建、网络视频监控等技术进行了探讨。2011年12月，全国首个城域级视频监控网，被誉为城市智慧之眼的武汉城市视频监控系统正式运行，该系统由遍布全市的25万个摄像头组成，由城域级通信专网承载，能放大200米远的车牌，具有自动监控跟踪，异常情况

基于视频的实时运动目标检测与跟踪系统研究

报告等功能。北京现代富博公司通用图像处理系统ImageSys ，能实现图像变换、图像滤波、图像运算、参数测量与统计等功能[12]。实时跟踪测量系统RTTS 能实现动物、昆虫、微生物等的行为解析，人体动作解析，机器人视觉反馈、自动跟踪等。贝尔信（BELL SENT ）公司在智能视频监控系统的研制和开发中，处于国内的前列[13]，特别以高侦测条件下低误报率和智能识别目标驱动PTZ （Pan/Tilt/Zoom ）高速球机技术为代表，在国内拥有较高的市场占有率，其中像某学校周界防范监控系统、某会场安全防护及计数管理系统、某核电站自动PTZ 跟踪系统、某银行视频联网监控系统等都以成功的交付使用，并获得了良好的运行效果，如图1.2所示。

图1.2 智能视频监控系统效果图

Fig1.2 the running frames of intelligent video surveillance

1.2.2 发展趋势

未来的视频监控系统将向智能化，实时化，小型化发展。智能化就是利用视频分析方法和计算机视觉技术对视频序列进行分析，提取信息，发现感兴趣事件。各种运动目

西华大学硕士学位论文

标检测与跟踪算法是视频监控系统实现智能化的关键，目前一个良好的算法应该具有以下特点：

（1）准确性，是指算法能检测出视频图像序列中运动物体的准确程度，能够对单一目标、多个目标提取出目标轮廓，在复杂背景环境、背景中存在大量干扰时，也能准确检测出运动目标。

（2）实时性，是指算法处理图像数据，到获得结果所需要的时间度量，在系统要求的准确度下，处理时间应尽可能的短，如果一种高精度复杂算法耗时太长，几秒才能处理1帧图像，也是不能接受的。

（3）鲁棒性，是指算法在受到外界干扰时，能继续执行原先功能的稳定能力，如在有新目标进入画面，画面中目标发生重叠等情况下，算法能继续进行目标跟踪而不发生丢失。

因此如何开发一种精确度高，耗时短，高鲁棒性的运动目标检测与跟踪算法，是一直以来研究的热点。实时化，要求系统采集、显示图像的同时进行数据处理和数据分析，即分析一帧图像数据并给出结果的时间应尽可能短。由于视频和图像数据自身数据量大，怎样在最短的时间内对大量的数据进行处理，可以从硬件和软件两个方面考虑，即对硬件设计进行优化或对代码进行优化。小型化，随着系统的规模越来越大，基于计算机的系统体积过于庞大，已经不适应这种发展，使用嵌入式系统是今后主要的发展方向。随着微电子技术的发展，嵌入式系统体积更小，功能更强。专用集成电路ASIC（Appli- cation Specific Integrated Circuit）方案是基于ASIC芯片来实现的，各种专用于视频图像采集和处理，具备强大功能的集成芯片，为在嵌入式系统中实现视频监控提供了条件。目前，在嵌入式平台上实现智能视频监控主要有以下3种：

（1）基于ARM平台，ARM（Advanced RISC Machine）处理器基于32位精简指令集RISC（Reduced Instruction Set Computer）构架，由于其指令执行速度快，代码效率高，支持高级语言编程等特点，被广泛使用在嵌入式系统设计中，ARM7、ARM9系列被广泛应用于联动控制、网络传输、操作系统中，目前已推出了ARM11系列，但ARM 芯片以逻辑控制为主，处理视频或图像等大量数据方面不是其强项，因此用ARM平台实现系统处理速度有限。

（2）基于DSP平台，DSP（Digital Signal Processor）处理器是一种专门为处理大量数据而设计的专用处理器，因为其强大的数据处理能力和极快的运算速度，特别适合于各种数字信号处理，能快速实现各种数据处理算法。随着每秒48亿次运算速度DSP 的出现，使实时处理动态图像成为可能。TI（Texas Instruments）公司的TMS320系列DSP，具有哈佛结构，以其硬件乘法器和流水线操作，能快速实现大量运算，在个人移

基于视频的实时运动目标检测与跟踪系统研究

动手持终端、多媒体产品、导航设备等产品市场中取得了非常成功的应用。但是，DSP 处理器内部硬件线路是固定的，没有办法进行重构，特定型号的芯片只能运用在特定领域，不具有通用性。虽然处理数据方面有优越性，但系统控制方面能力略显不足。

（3）基于FPGA平台，FPGA（Field Programmable Gate Array）不同于以上2种定制的ASIC,而是一种半定制的电路，既继承了ASIC大规模、高集成度的优点，又具有设计灵活等特点。可编程片上系统SOPC(System On a Programmable Chip)是基于大规模可编程器件FPGA芯片的单片系统，它把整个系统利用逻辑编程技术集成到一个硅片上，包括硬核、软核、存储器、I/O设备等。SOPC技术能在单个芯片上实现可裁减、可扩充、可升级的灵活逻辑功能，软件、硬件均可编程。SOPC系统采用了IP核复用技术，特别是IP软核技术，使得在一个系统中可以实现多处理器。用SOPC技术构建的DSP核能完全使用目前各种成熟的DSP算法，由于实质是执行并行处理指令，因此实际上还可达到DSP芯片的处理速度。SOPC系统具有开发设计灵活、实时检测、可移植操作系统、高级语言编程等优点。基于FPGA的SOPC系统比ARM系统处理速度快，比DSP系统控制能力强，是未来智能视频监控系统开发的理想平台。

1.3 主要研究内容及本文结构

本文主要就基于视频的运动目标检测与跟跟系统进行了研究，限制在单摄像机静止背景下，研究了一个基于视频的运动目标检测与跟踪系统的主体结构以及工作流程，系统视频信号的制式以及各种图像数据结构，以及图像滤波、形态学处理、连通分量分析、灰度直方图等图像处理技术。研究了目前运动目标检测与跟踪的各种算法，对算法进行分析比较，提出了改进后运动检测和运动跟踪算法，在VC++6.0平台采用OpenCV视觉库开发，实现了视频运动目标检测与跟踪系统。设计了基于SOPC的实时运动目标检测与跟踪系统，分析系统处理流程和工作机制，完成系统软硬件设计，最后对系统进行仿真和测试。

本文的研究工作主要包括：

（1）在分析研究了常用的帧差法、背景减除法、光流法等运动目标检测算法的基础上，结合系统的实时性要求，提出了一种累积差分更新的背景减除法，该算法采用累积差分更新法建立背景模型，相比基于高斯建模的算法实时性更好，经测试该算法能在存在干扰背景环境下，准确检测出运动目标。

（2）分析了比较了连续自适应均值漂移CAMShift算法与Kalman滤波算法，在综合考虑跟踪精度和计算复杂度的基础上，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的运动目标跟踪算法，经测试该算法能对检测出的目标进行有效的跟踪。

西华大学硕士学位论文

（3）在VC++6.0平台上，采用OpenCV计算机视觉开源库代码进行开发，实现了基于MFC（Microsoft Foundation Classes）对话框的视频运动目标检测与跟踪系统，该系统能采集由USB接口摄像头输入视频数据，实时检测出场景中的运动物体并进行跟踪。

（4）设计出基于SOPC的实时运动目标检测与跟踪系统，使用Altera ED2多媒体开发板，CycloneⅡ系列EP2C35F672C6 FPGA芯片，完成系统的主体结构设计，使用VerilogHDL硬件描述语言设计系统各个模块，移植了μC/OS-Ⅱ操作系统，完成系统初始化和处理算法程序，最后对系统进行了仿真与测试。

本文共分六章，各章内容如下：

第一章绪论介绍了研究背景及意义，国内外研究现状及发展趋势，本文主要研究内容和各章安排。

第二章系统结构与关键技术给出了基于视频的运动目标检测与跟踪系统的功能

模块图，介绍了系统所用到的视频信号制式、图像色彩模型和图像处理技术。

第三章运动目标检测算法研究介绍了目前常用的运动目标检测算法，分析了各种算法的优缺点，提出了一种累积差分更新的背景减除法，给出了应用该算法的仿真结果。

第四章运动目标跟踪算法研究介绍了CAMShift算法和Kalman滤波算法，分析各自的优缺点，提出了一种改进后的Kalman滤波与目标直方图匹配相结合的跟踪算法，给出算法仿真结果。

第五章基于VC++的运动目标检测与跟踪系统介绍了在VC++平台，利用OpenCV 开源库代码开发，实现本文提出的检测与跟踪算法的系统。

第六章基于SOPC的运动目标检测与跟踪系统介绍了SOPC开发平台，给出了系统的总体设计，各模块的设计，最后进行了仿真与测试。

结论对本文研究工作进行总结，对今后的研究方向进行展望。

基于视频的实时运动目标检测与跟踪系统研究

2 系统结构与关键技术

智能视频监控系统是一种能自动地、智能地对摄像机或传感器采集的视频序列或图像进行分析和处理，实现监控场景中的目标检测和追踪的监控系统，有效地解决了传统视频监控系统中存在的由人为因素带来的实时性差、效率低的问题。智能视频监控系统通过对监控场景中出现的物体信息进行处理，能够实时检测出运动物体，提取运动目标，获得目标参数，确定目标位置，对运动目标进行匹配和跟踪，进而获得目标的运动轨迹。

2.1 系统结构

智能视频监控系统实现了从摄像头采集视频数据，数据传送到工作站进行处理，监控终端监视器画面显示，监控画面存储，异常情况报告，远程数据传输等功能。本文研究的基于视频的运动目标检测与跟踪系统是智能视频监控系统的一部分，要求能实现视频数据采集、图像数据处理、实时结果显示等功能。系统的大体结构如图2.1所示。

图2.1 系统结构

Fig 2.1 the structure of system

按照系统功能要求和工作机制，本文基于视频的实时运动目标检测与跟踪系统结构分为以下5个部分：

图像采集部分：采集由摄像头产生的视频信号，通过视频解码芯片将模拟电压信号转变为数字图像数据，将图像数据送入图像存储部分存储及目标检测部分进行处理。图像存储部分：将采集到的图像数据存入内存，以便显示是调用，同时还负责后续检测与跟踪部分数据的存储。目标检测部分：对图像采集部分送来的数据进行处理，首先进行预处理包括，彩色图像到灰度图像变换、图像滤波，然后进行运动目标检测包括，背景

西华大学硕士学位论文

模型建立及更新、运动目标提取，再对检测得到的二值图像还要进行形态学处理、连通分量分析。目标跟踪部分：对检测出的运动目标，计算目标参数，根据得到的目标参数，通过跟踪算法，对下一帧中目标参数进行预测，得到下一帧实际参数后，结合匹配规则，进行目标匹配，并对预测作出修正，实现对目标的跟踪。图像显示部分：将检测与跟踪部分及存储部分的原始数据结合后，通过视频编码芯片将数字图像数据转变为模拟电压信号，在显示器上显示结果。

2.2 图像处理技术

2.2.1 图像获取

图像是由场景中的物体反射、透射或吸收照射源的能量而产生的，照射源可以是可见光、雷达波、红外线、X射线等，而物体可以是苹果、笔、物质分子、甚至光源[14]。人类通过眼睛来获取图像，而机器的眼睛则是传感器。传感器中的敏感材料在一定的电源输入功率下，将表面接受到的能量转变为输出电压，连续的电压波形就是原始的图像数据了。这些原始数据进行一些加工处理，成为规定的格式标准后，才能显示出来。

目前，图像传感器主要有CCD、CMOS两种类型。CCD（Charge-coupled Device）电荷耦合器件，1969年由美国Bell试验室的Willard S. Boyle和George E. Smith发明，两位科学家也因发明了电荷耦合器件图像传感器CCD而获得2009年诺贝尔物理学奖。CMOS（Complementary Metal Oxide Semiconductor）互补金属氧化物半导体，一种电压控制的逻辑运算放大器件，也被应用于制造影像器材的感光元件。其中前者发展时间比较长，应用较广泛，而我们常见的摄像头则多用价格相对低廉的CMOS作为传感器。在摄像机、数码相机、摄像头中主要使用传感器阵列，将具有敏感特性的元件封装成M ×M单元的稳定阵列。传感器及传感器阵列如图2.2所示。

(a) 单个传感器(b) 传感器阵列

图2.2 传感器及传感器阵列

Fig 2.2 a sensor and a array of sensors

基于视频的实时运动目标检测与跟踪系统研究

数字图像是将连续模拟图像信号进行采样和量化后的结果，可以用一个矩阵来表示，如下：

?????

???????------=)1,1()1,1()0,1()1,1()1,1()0,1()1,0()1,0()0,0(),(N M f M f M f N f f f N f f f y x f （2.1） ()y x f ,就表示了一幅M 行N 列的数字图像，矩阵中每个元素称为一个像素。数字图像有彩色图像、灰度图像、二值图像等形式，若一幅图像每个像素有k 2级不同的颜色，该图像称为k 比特图像。

2.2.2 视频信号制式及图像色彩模型

（1）NTSC 、PLA 制式

NTSC （National Television System Committee ）是美国、日本、加拿大等国家采用的电视信号制式[15,16]，PAL （Phase Alternating Line ）制式主要被西欧、中国、澳大利亚等国家采用[17-19]。PAL 制式扫描奇数场在前，偶数场在后，8MHz 传输带宽。PAL 制式传输一个亮度信号和两个色度信号，其中一个色度信号进行逐行交替相位调制，另一个色度信号进行正交平衡调制。PAL 制式有ITU-R BT.656和ITU-R BT.601两种国际标准。ITU-R BT.601标准，采用21芯接口，16位并行数据传输，Y 、U 、V 信号同时传输，行场同步信号单独输出。ITU-R BT.656标准，采用9芯接口，8位串行数据传输，先传Y 信号再传U 、V 信号，行场同步信号嵌入数据流中。BT.656是BT.601附件A 中的数字接口标准，简单地说就是定义了一种数据传输接口而已。BT.601是演播室数字编码参数标准，BT.656是该标准下用于数字视频设备之间的传输接口标准。在BT.601数字视频编码格式中，亮度信号采样频率为13.5MHz ，色度信号采样频率为6.75MHz ，这样得到的采样数据就是YCbCr4:2:2格式，每个采样点进行8比特量化，则输出比特流为13.5MHz ×8+6.75MHz ×8×2=216Mb/s 。本文中输入的视频信号就是ITU-R BT.656标准的YCbCr 4:4:2格式。

（2）RGB 、CMY 、YUV 色彩模型

色彩模型是用来描述色彩空间的集合，就像笛卡尔坐标系是用来描述欧几里德几何空间的集合一样。常见的色彩模型有RGB 模型、CMY 模型、YUV 模型。RGB 模型是计算机显示器，电视机，LCD 显示屏等使用的色彩模型，凡是要靠自身发光来显示图像的都采用这一模型。CMY 模型是彩色打印机、复印机等使用的色彩模型，凡是靠其它光源照射来显示图像的都基于此模型。YUV 模型是现代电视信号制式的彩色图像格式，也是缺省情况下的图像和视频压缩编码标准。

西华大学硕士学位论文

RGB色彩模型来源于自然界中的三原色，Red、Green、Blue原色光谱分量按一定比列混合，就能够得到RGB模型中的任意一种颜色，该模型基于笛卡尔坐标系，颜色空间是一立方体，红绿蓝分别位于坐标轴上3个顶点，黑色位于原点，白色位于原点的对角，将颜色值归一化后，所有的颜色值都在[]1,0立方体表面或内部，灰度等级沿黑白两点间的连线分布。RGB模型颜色空间如图2.3所示：

（a）空间坐标系（b）颜色空间

图2.3 RGB颜色空间

Fig 2.3 RGB color space

在RGB彩色模型中，一幅图像每个像素分别由R、G、B分量组成，若每一分量用8比特表示，即每一分量可有256

2563=种颜色，

28=种颜色，3种分量可有16777216

此类图像称为全彩色图像。将图像送入显示器进行显示时，3幅图像在显示屏上产生一幅合成的彩色图像。使用RGB三原色表示的图像被称为位图（bitmap），在Windows 系统中后缀BMP，但对于全彩色图像来说，一幅640×480像素的图像大小为640×480×3=921600字节，需大量存储空间，因此Windows中使用了一种基于颜色表LUT（Look Up Table）的调色板技术，减少了存放图像需要的存储空间。BMP格式没有灰度图像的概念，若图像每个像素R=G=B=γ，该图像就是灰度图像，RGB模型彩色图像转变为灰度图像的公式如下：

.0+

.0

+

=（2.2）

587

299

B

G

R

Y114

.0

CMY色彩模型与RGB模型相似，但采用的三基色青、深红、黄是颜料原色，与RGB中三原色相加产生色彩不同，CMY模型是基于相减色原理的，例如青色吸收白光中的红色，深红吸收白光中的绿色，黄吸收白光中的蓝色。等量的青、深红、黄混合产生黑色（吸收产生），但颜料混合产生的黑色不纯，因此在彩色打印机中加入了第4种油墨——黑色油墨，彩色打印机中使用的实际是CMYK色彩模型。RGB模型到CMY 模型的转换如下：

基于视频的实时运动目标检测与跟踪系统研究

????

??????-??????????=??????????B G R Y M C 111 （2.3） YUV 色彩模型是电视视频制式中的颜色模型，与RGB 模型不同，YUV 模型中颜色由一个亮度信号Y 、两个色度信号U 、V 表示。由摄像机传感器得到的彩色图像信号经分色、放大及校正后，是RGB 数据，再经过矩阵变换电路得到Y 、U （B-Y ）、V （R-Y ）信号，将信号编码后用同一信道发送，在接收端解码后将3个信号组合就恢复了一个彩色图像。YUV 模型亮度信号与色度信号是分离的，只有Y 信号时显示的就是灰度图像。YUV 模型与RGB 模型转换如下：

??

???+=--=+=?????--=-=+--=-=++=U Y B V U Y G V Y R B G R Y R V B

G R Y B U B G R Y 032.2581.0394.0140.1100.0515.0615.0)(887.0436.0289.0147.0)(492.0114.0587.0299.0 （2.4） YCbCr 是作为ITU-R BT.601建议的一部分，实质上是YUV 的压缩偏移版本[20]，Y 是亮度信号，Cb 是蓝色色度信号，Cr 是红色色度信号。YCbCr 色彩模型中亮度Y 可以由R 、G 、B 加权求和表示，色度可由不同颜色的差别表示，如下：

kbB kgG krR Y ++=；Y B Cb -=，Y R Cr -=，Y G Cg -= （2.5）

其中，kr 、kg 、kb 是加权因子，一个彩色图像的完整描述应由Y 、Cb 、Cr 、Cg 来表示，但因为1=++kb kg kr ，而且Cg 分量可以从YCbCr 数据中解压得到，因此不需要存储和传输Cg 分量。在BT.601中规定kb=0.114、kr=0.299，那么YCbCr 模型与RGB 模型之间转换公式如下：

??

???+=--=+=?????-=-=++=Cb Y B Cr Cb Y G Cr Y R Y R Cr Y B Cb B G R Y 772.1714.0344.0402.1)(713.0)(564.0114.0587.0299.0 （2.6） YCbCr 有多种采样格式，YCbCr4:2:0是便携式视频设备（MEPG-4）及电视会议（H.263）常用格式，YCbCr4:2:2是DVD 、数字电视等消费类视频设备格式，YCbCr4:4:4则用于演播室及专业视频产品。本文中输入信号为YCbCr4:2:2格式，每个色度信道的采样率是亮度信道的一半，对于8比特图像，相邻4个像素需要8字节内存空间。采样输出码流及解码还原像素如下：

相邻4个像素：[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]

采样输出码流：Y0 U0 Y1 V1 Y2 U2 Y3 V3

解码还原像素：[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]

运动目标检测光流法

摘要 运动目标检测方法是研究如何完成对视频图像序列中感兴趣的运动目标区域的“准确定位”问题。光流场指图像灰度模式的表面运动，它可以反映视频相邻帧之间的运动信息，因而可以用于运动目标的检测。MATLAB这种语言可移植性好、可扩展性强，再加上其中有丰富的图像处理函数，所以利用MATLAB 软件来用光流法对运动目标的检测中具有很大的优势。本设计主要可以借助matlab软件编写程序，运用Horn-Schunck算法对图像前后两帧进行处理，画出图像的光流场。而图像的光流场每个像素都有一个运动矢量，因此可以反映相邻帧之间的运动，分析图像的光流场就可以得出图像中的运动目标的运动情况。 关键字：光流法；Horn-Schunck算法；matlab

目录 1光流法的设计目的 (1) 2光流法的原理 (1) 2.1光流法的介绍 (1) 2.1.1光流与光流场的概念 (1) 2.1光流法检测运动目标的原理 (2) 2.1.1光流场计算的基本原理 (2) 2.2.2基于梯度的光流场算法 (2) 2.2.3Horn-Schunck算法 (3) 2.2.4光流法检测运动目标物体的基本原理概述 (5) 3光流法的程序具体实现 (6) 3.1源代码 (6) 3.1.1求解光流场函数 (6) 3.1.2求导函数 (9) 3.1.3高斯滤波函数 (9) 3.1.4平滑性约束条件函数 (10) 3.1.5画图函数 (10) 4仿真图及分析 (12) 结论 (13) 参考文献 (14)

1 光流法的设计目的 数字图像处理，就是用数字计算机及其他有关数字技术，对图像进行处理，以达到预期的目的。随着计算机的发展，图像处理技术在许多领域得到了广泛应用，数字图像处理已成为电子信息、通信、计算机、自动化、信号处理等专业的重要课程。 数字图像处理课程设计是在学习完数字图像处理的相关理论后，进行的综合性训练课程，其目的是：使学生进一步巩固数字图像处理的基本概念、理论、分析方法和实现方法；增强学生应用Matlab编写数字图像处理的应用程序及分析、解决实际问题的能力；尝试所学的内容解决实际工程问题，培养学生的工程实践能力。 运动目标检测是数字图像处理技术的一个主要部分，近些年来，随着多媒体技术的迅猛发展和计算机性能的不断提高，动态图像处理技术日益受到人们的青睞，并且取得了丰硕的成果，广泛应用于交通管理、军事目标跟踪、生物医学等领域。 因此，基于光流法，实现运动目标的检测是本文的研究对象。结合图书馆书籍、网上资料以及现有期刊杂志，初步建立起运动目标检测的整体思路和方法。 2 光流法的原理 2.1 光流法的介绍 2.1.1 光流与光流场的概念 光流是指空间运动物体在观测成像面上的像素运动的瞬时速度，它利用图像序列像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即反映图像灰度在时间上的变化与景物中物体结构及其运动的关系。将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。视觉心理学认为人与被观察物体

【CN109919979A】一种视频实时目标跟踪的方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人 广州二元科技有限公司 地址 510000 广东省广州市南沙区银锋一 街1号银锋广场1栋1608房 (72)发明人 容李庆　关毅　袁亚荣　 (74)专利代理机构 广州凯东知识产权代理有限 公司 44259 代理人 罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种视频实时目标跟踪的方法 (57)摘要 本发明涉及一种视频实时目标跟踪的方法， 采用目标检测与目标跟踪相结合的技术，极大地 降低视频实时目标检测的计算量，由于无需对每 一帧视频图像进行遍历检测，因此极大地提高了 视频实时目标检测的计算效率，可以达到实时视 频的帧率。本发明提供的视频实时目标跟踪的方 法使用神经网络对目标检测器检测出来的目标 框在下一帧图像中的位置进行跟踪回归，极大地 降低了视频实时目标检测的计算量，无需对每一 帧图像都采用检测器检测目标，采用检测与跟踪 相结合的技术应用于视频实时目标检测中，无需 对输入图像进行复杂的降噪等处理，对目标检测 器也无特殊需求，可以大大提升检测的速率，本 发明适用性广，可以在低端的嵌入式设备中保证 足够的计算效率。权利要求书1页 说明书2页 附图1页CN 109919979 A 2019.06.21 C N 109919979 A

权　利　要　求　书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于： 所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2

视频运动跟踪技术

视频运动目标跟踪算法研究 摘要：视频图像中的运动物体跟踪技术是计算机视觉、计算机科学、视频监控等学术领域的一个重要课题。该技术将数字图像处理领域中对静态图像的分析扩展到动态图像中。运动物体识别和跟踪技术的研究成果不仅在社会日常生活和工作中有着广泛的应用前景，而且在军事、交通、医学和科研等领域发挥着日益重要的作用。运动物体识别与跟踪算法的设计将直接影响识别和跟踪效果的准确性及稳定性，对于精确度高、鲁棒性好的算法研究一直是计算机视觉和数字图像处理等领域的热点问题。 关键词：目标跟踪，Mean shift算法，目标检测，粒子滤波 1 研究现状 视频目标跟踪技术已经得到了广泛的应用，主要应用有以下几个方面：智能视频监控、人机交互、机器人视觉、自动驾驶。其背后存在的学术价值和蕴藏的经济价值更是得到了很多人员的青睐，很多学术机构、大型公司以及一些科研人员正在投入大量的人力和财力进行各种开发和科研。 Fukunaga等人早期就提出了Mean shift跟踪算法，他们提出了一种概率密度函数的估计方法。不过在后来相当长的时间里并未受到大家的关注，直到1995年，随着Cheng对其进行近一步的研究并成功将其推广到计算机视觉领域中，这才得到了许多专业人士和科研人员的重视。目前存在很多经改进的Mean shift 算法。另外，在算法融合方面，有许多学者也做了相应的研究，K. NuInmiaro提出了将Mean shift算法和粒子滤波算法相融合，从而提高了目标跟踪的鲁棒性和准确性。 标准卡尔曼算法是在线性系统下滤波的，对于非线性、非高斯的系统没有效果。为此，人们开发出各种非线性滤波算法。一种是扩展卡尔曼算法进行滤波与估算，只适用于滤波误差和预测误差很小的情况；另一种是粒子滤波器[1]，它是近些年出现的解决非线性问题的有效算法。粒子滤波技术通过非参数化的蒙特卡罗模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型以及传统的卡尔曼滤波表示的非线性系统,精度可以逼近最优估计。 在目标模型选取上,也有一些专家进行了探索。1）通过对粒子滤波的研究，将颜色作为目标模型并用粒子滤波跟踪，结果表明该方法可以增加遮挡情况下的鲁棒性。但是这种方法有些欠缺，即如果目标和背景有一定的相似度，则跟踪精度容易下降。2）将目标的边缘特征提取出来来代表目标进行跟踪，结果显示这种方法直观地增强了跟踪的鲁棒性。鉴于颜色描述目标色彩信息，边缘代表目标的轮廓，因此将这两种互补信息结合来代表目标可以改善跟踪效果。3）用局部线性嵌入流形(LLE)将问题降为二维空间，然后进行解决。4）利用一定的判别准则来有效分离目标和背景，并建立有明显区别的目标模板，最后成功用于跟踪中。5）通过Adaboost方法练习得到若干弱分类器，然后用系统集成的方法将其形成强分类器，然后用它们来区别目标和背景，以此用特定的方法获得目标的状态，并跟踪出目标运动的轨迹。 视频目标跟踪的难点主要包括以下几个方面[2]：1）目标外观变化。目标运动过程中发生形状的变化，加上相对于摄像机的视角、尺寸变化，造成目标在图像平面上复杂的外观变化，增加了目标建模的难度。2）复杂背景。变化的光照、与目标颜色相似的背景以及杂乱的变化环境使得较难将目标从背景中区分开来。3）遮挡问题。遮挡包括背景的遮挡和目标之间的遮挡。部分遮挡造成目标部分外观特征检测不到，而且引入了遮挡物的干扰；完全遮挡需要跟踪算法要有重新恢复的机制，当目标再次出现时能重新定位。4）目标的复杂运动。非线性的目标运动使得跟踪算法难以预测目标的运动状态，增加了跟踪算法的搜索计算量。 2 视频运动跟踪概述 视频目标跟踪系统的基本框架如下图，

动态视频目标检测和跟踪技术(入门)

动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相

运动目标检测方法总结报告

摘要 由于计算机技术的迅猛发展，使得基于内容的视频信息的存取、操作和检索不仅成为一种可能，更成为一种需要。同时，基于内容的视频编码标准MPEG-4和基于内容的视频描述标准MPEG-7正在发展和完善。因此提取和视频中具有语义的运动目标是一个急需解决的问题。运动目标提取和检测作为视频和图像处理领域的重要研究领域，有很强的研究和应用价值。运动检测就是将运动目标从含有背景的图像中分离出来，如果仅仅依靠一种检测算法，难以从复杂的自然图像序列中完整地检测出运动的目标。较高的检测精度和效率十分重要，因此融合多种检测方法的研究越来越受到重视。本文介绍了几种国内外文献中的经典的视频运动目标的检测和提取算法，并对各种方法进行了评价和总结。首先介绍了基本的运动目标检测的基本知识和理论，然后介绍了基本的几种目标检测方法及其各种改进方法。对今后的运动目标检测提取的相关研究提供一定的参考。 关键词：运动目标检测光流法帧差法背景建模方法

ABSTRACT Because of the rapid development of computer technology, it is possible to access, operate and retrieve the video information based on the content of the video. At the same time, based on the content of the video coding standard MPEG-4 and content-based video description standard MPEG-7 is developing and improving. Therefore, it is an urgent problem to be solved in the extraction and video. Moving object extraction and detection is a very important field of video and image processing, and has a strong research and application value. Motion detection is to separate moving objects from the image containing background, if only rely on a detection algorithm, it is difficult to from a complex natural image sequences to detect moving target. Higher detection accuracy and efficiency are very important, so the study of the fusion of multiple detection methods is becoming more and more important. In this paper, the detection and extraction algorithms of the classical video moving objects in the domestic and foreign literatures are introduced, and the methods are evaluated and summarized. Firstly, the basic knowledge and theory of basic moving target detection is introduced, and then the basic method of target detection is introduced. To provide a reference for the research on the extraction of moving target detection in the future. Keywords: Visual tracking Optical flow method Frame Difference Background modeling method

视频图像中运动目标检测方法研究

视频图像中运动目标检测方法研究

毕业论文 题目视频图像中运动目标检测 方法研究

摘要 在很多现代化领域，运动目标检测都显示出了其重要的作用。尤其是近二十年的社会经济的飞速发展，运动目标检测都彰显了其重要性，在航空、通信、航海等各个方面都有关键性的作用，从而使运动目标检测方法的研究成为各国的研究热门课题。 通过阅读大量的相关论文、期刊及其网络资源，了解了高斯背景建模及背景更新的基本原理及思想。在本文中，首先介绍了运动目标检测方法的相关基础知识，如图像的二值化、图像的形态学处理、颜色空间模型。然后重点说明了三种常用的运动目标检测方法的研究，简要阐述了三种研究方法的基本思想。在老师的帮助下进行了相应的实验，最终得出了三种运动目标检测方法的优点和缺点，着重探究了高斯背景建模及其背景更新基本原理及思想。 最后，通过相关的程序及软件对混合高斯背景模型进行了相关的实验，进而发现了混合高斯背景建模算法存在的不足之处，如：高斯背景建模的计算量大、运动目标较大时检测效果差等问题，并对对这些问题提出了相关设想及改进。 关键词：运动目标检测；二值化；图像的形态学处理；高斯背景建模；背景更新 I

ABSTRACT In many modern fields, moving target detection are showing its important role. Especially nearly twenty years of rapid development of social economy, the moving target detection has shown its importance, in various aviation, communication, navigation and so on have a key role, so the study of moving target detection method has become a research hot topic in countries. By reading relevant papers, a large number of journals and cyber source, understand the basic principle and thought of Gauss background modeling and updating the background. In this paper, firstly introduces the basic knowledge of moving target detection method, such as the two values image, morphological image processing, color space model. Then focus on the study of three methods used for moving object detection, a brief description of the basic ideas of the three kinds of research methods. By the experiment, the results of three kinds of method of moving target detection has advantages and disadvantages, this paper emphatically explores Gauss background modeling and background updating basic principle and thought. Finally, through the program and software related to mixed Gauss background model for the relevant experiments, and found the shortcomings, the presence of mixed Gauss background modeling algorithm such as: the problem of computing Gauss background modeling, moving target volume larger detection effect is poor, and on these problems put forward relevant ideas and improvement. Keywords: moving object detection; two values; I I

智能机器人运动控制和目标跟踪

XXXX大学 《智能机器人》结课论文 移动机器人对运动目标的检测跟踪方法 学院（系）： 专业班级： 学生学号： 学生姓名： 成绩：

目录 摘要 (1) 0、引言 (1) 1、运动目标检测方法 (1) 1．1 运动目标图像HSI差值模型 (1) 1.2 运动目标的自适应分割与提取 (2) 2 运动目标的预测跟踪控制 (3) 2．1 运动目标的定位 (3) 2．2 运动目标的运动轨迹估计 (4) 2．3 移动机器人运动控制策略 (6) 3 结束语 (6) 参考文献 (7)

一种移动机器人对运动目标的检测跟踪方法 摘要：从序列图像中有效地自动提取运动目标区域和跟踪运动目标是自主机器人运动控制的研究热点之一。给出了连续图像帧差分和二次帧差分改进的图像HIS 差分模型，采用自适应运动目标区域检测、自适应阴影部分分割和噪声消除算法，对无背景图像条件下自动提取运动目标区域。定义了一些运动目标的特征分析和计算 ，通过特征匹配识别所需跟踪目标的区域。采用 Kalrnan 预报器对运动目标状态的一步预测估计和两步增量式跟踪算法，能快速平滑地实现移动机器人对运动目标的跟踪驱动控制。实验结果表明该方法有效。 关键词：改进的HIS 差分模型；Kahnan 滤波器；增量式跟踪控制策略。 0、引言 运动目标检测和跟踪是机器人研究应用及智能视频监控中的重要关键技术 ，一直是备受关注的研究热点之一。在运动目标检测算法中常用方法有光流场法和图像差分法。由于光流场法的计算量大，不适合于实时性的要求。对背景图像的帧问差分法对环境变化有较强的适应性和运算简单方便的特点，但帧问差分不能提出完整的运动目标，且场景中会出现大量噪声，如光线的强弱、运动目标的阴影等。 为此文中对移动机器人的运动目标检测和跟踪中的一些关键技术进行了研究，通过对传统帧间差分的改进，引入 HSI 差值模型、图像序列的连续差分运算、自适应分割算法、自适应阴影部分分割算法和图像形态学方法消除噪声斑点，在无背景图像条件下自动提取运动 目标区域。采用 Kalman 滤波器对跟踪目标的运动轨迹进行预测，建立移动机器人跟踪运动 目标的两步增量式跟踪控制策略，实现对目标的准确检测和平滑跟踪控制。实验结果表明该算法有效。 1、运动目标检测方法 接近人跟对颜色感知的色调、饱和度和亮度属性 (H ，S ，I )模型更适合于图像识别处理。因此，文中引入改进 型 HSI 帧差模型。 1．1 运动目标图像HSI 差值模型 设移动机器人在某一位置采得的连续三帧图像序列 ()y x k ,f 1-，()y x f k ,， ()y x f k ,1+

运动目标检测原理

运动检测（移动侦测）原理 一、引言 随着技术的飞速发展，人们对闭路电视监控系统的要求越来越高，智能化在监控领域也得到越来越多的应用。在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。运动检测作为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。 运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 二、运动检测（移动侦测）原理 早期的运动检测如MPEG1是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化是一种可行的途径。原理如下：MPEG1视频流由三类编码帧组成，它们分别是：关键帧（I 帧），预测帧（P帧）和内插双向帧（B帧）。I帧按JPEG标准编码，独立于其他编码帧，它是MPEG1视频流中唯一可存取的帧，每12帧出现一次。截取连续的I帧，经过解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至

于比较的方法有多种。此方法是对编码后的数据进行处理，而目前的MPEG1/MPEG4编码都是有损压缩，对比原有的图像肯定存在误报和不准确的现象。 目前几种常用的方法： 1.背景减除（Background Subtraction ） 背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割的影响。 2.时间差分（Temporal Difference ） 时间差分（又称相邻帧差）方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 3.光流（Optical Flow） 基于光流方法的运动检测采用了运动目标随时间变化的光流特性，如Meyer[2] 等通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，

视频图像中运动目标检测

视频图像中运动目标检测

毕业论文 题目视频图像中运动目标检测 方法研究 专业电气工程及其自动化 班级电气1003 学生曹文 学号20113024543 指导教师赵哥君 二〇一二年六月八日

摘要 在很多现代化领域，运动目标检测都显示出了其重要的作用。尤其是近二十年的社会经济的飞速发展，运动目标检测都彰显了其重要性，在航空、通信、航海等各个方面都有关键性的作用，从而使运动目标检测方法的研究成为各国的研究热门课题。 通过阅读大量的相关论文、期刊及其网络资源，了解了高斯背景建模及背景更新的基本原理及思想。在本文中，首先介绍了运动目标检测方法的相关基础知识，如图像的二值化、图像的形态学处理、颜色空间模型。然后重点说明了三种常用的运动目标检测方法的研究，简要阐述了三种研究方法的基本思想。在老师的帮助下进行了相应的实验，最终得出了三种运动目标检测方法的优点和缺点，着重探究了高斯背景建模及其背景更新基本原理及思想。 最后，通过相关的程序及软件对混合高斯背景模型进行了相关的实验，进而发现了混合高斯背景建模算法存在的不足之处，如：高斯背景建模的计算量大、运动目标较大时检测效果差等问题，并对对这些问题提出了相关设想及改进。 关键词：运动目标检测；二值化；图像的形态学处理；高斯背景建模；背景更新 I

ABSTRACT In many modern fields, moving target detection are showing its important role. Especially nearly twenty years of rapid development of social economy, the moving target detection has shown its importance, in various aviation, communication, navigation and so on have a key role, so the study of moving target detection method has become a research hot topic in countries. By reading relevant papers, a large number of journals and cyber source, understand the basic principle and thought of Gauss background modeling and updating the background. In this paper, firstly introduces the basic knowledge of moving target detection method, such as the two values image, morphological image processing, color space model. Then focus on the study of three methods used for moving object detection, a brief description of the basic ideas of the three kinds of research methods. By the experiment, the results of three kinds of method of moving target detection has advantages and disadvantages, this paper emphatically explores Gauss background modeling and background updating basic principle and thought. Finally, through the program and software related to mixed Gauss background model for the relevant experiments, and found the shortcomings, the presence of mixed Gauss background modeling algorithm such as: the problem of computing Gauss background modeling, moving target volume larger detection effect is poor, and on these problems put forward relevant ideas and improvement. Keywords: moving object detection; two values; I I

运动目标检测研究意义及国内外现状

运动目标检测研究意义及国内外现状运动目标检测研究意义及国内外现状 1研究意义...................................................................... (1) 2国内外研究现 状 ..................................................................... . (1) 1研究意义 众所周知，当前是信息时代，信息的获得、加工、处理以及应用都有了飞跃发展。人们认识世界的重要知识来源就是图像信息，在很多场合，图像所传送的信息比其他形式的信息更丰富、真切和具体。人眼与大脑的协作使得人们可以获取、处理以及理解视觉信息，人类利用视觉感知外界环境信息的效率很高。事实上，据一些国外学者所做的统计，人类所获得外界信息有80%左右是来自眼睛摄取的图像。由此可见，视觉作为人类获取外界信息的主要载体，计算机要实现智能化，就必须能够处理图像信息。尤其是近年来，以图形、图像、视频等大容量为特征的图像数据处理广泛应用于医学、交通、工业自动化等领域。 自然界的一切图像都是连续变化的模拟图像，在日常生活中，这些图像中的运动目标往往是我们比较关心的，如:行人、行驶的交通工具以及其他的运动物体。运动目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域。因此，运动目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。它的目的就是如何快速、准确地检测出监控视频中的运动目标，即从序列图像中将运动目标提取出来。

AVI视频中运动目标检测的matlab实现

%-------------------------------------------------------------------------- % 基于中位数算法的运动目标检测 % 第1种实现方法 %-------------------------------------------------------------------------- %*******************************读取视频数据******************************** % 调用aviread函数读取视频文件 vid = aviread('WalkingMan.avi') size(vid(1).cdata) % 查看第1帧的大小，也是每一帧的大小 vid(1).colormap % 查看第1帧的colormap值 %*****************************数据类型的转换******************************** % 把vid的cdata字段的取值转换成一个240×360×3×80的四维数组IM IM = cat(4,vid.cdata); size(IM) % 查看IM的大小 [m,n,k,h] = size(IM); % 把IM的大小赋给四个变量 % 把IM转换成一个80行，240×360×3列的矩阵 I = reshape(IM,[m*n*k,h])'; %********************调用median函数求中位数，进行视频图像分割**************** I = median(I); % 求I矩阵中各列元素的中位数 I = reshape(I,[m,n,k]); % 将向量I转成240×360×3的三维数组，得到背景图像 figure; % 新建一个图形窗口 imshow(I); % 显示背景图像 figure; % 新建一个图形窗口 imshow(IM(:,:,:,1) - I); % 显示第1帧中的目标图像 %-------------------------------------------------------------------------- % 基于中位数算法的运动目标检测 % 第1种实现方法 %-------------------------------------------------------------------------- % 调用mmreader函数创建读取视频文件的多媒体阅读对象WalkManObj WalkManObj = mmreader('WalkingMan.avi'); % 根据多媒体阅读对象WalkManObj，读取视频的各帧图像数据 IM = read(WalkManObj, [1, inf]); [m,n,k,h] = size(IM); % 把IM的大小赋给四个变量

基于opencv的运动目标检测和跟踪

本科毕业论文
(科研训练,毕业设计)
题
目: opencv 的运动目标检测
姓 学
名:汤超 院:信息科学与技术学院 系:电子工程系
专 年 学
业:电子信息工程 级:2005 号:22220055204057 职称:教授
指导教师(校内) :杨涛
2009 年
5 月
25 日

厦门大学电子工程系 2005 级本科毕业论文 -
基于 opencv 的运动目标检测和跟踪
摘要
Opencv(Open Source Computer Vision Library)是一种用于数字图像处理和计算机视 觉的函数库,由 Intel 微处理器研究实验室(Intel's MicroprocessorResearch Lab)的视 觉交互组(The Visual Interaetivity Group)开发.采用的开发语言是 C++,可以在 window: 系统及 Linux 系统下使用,该函数库是开放源代码的,能够从 Intel 公司的网站免费下载 得到.opencv 提供了针对各种形式的图像和视频源文件(如:bitmap 图像,video 文件和实 时摄像机)的帧提取函数和很多标准的图像处理算法,这些函数都可以直接用在具体的视频 程序开发项目中. 针对在背景中检测出运动目标并实施警戒等特定提示,本文利用 opencv 的运动物体 检测的数据结构,函数以及基本框架,建立了一个由人机交互界面模式.实施对物体的检 测.该方面在安防方面已经很受重视.相信在不久的将来将会成为一种监督秩序的方式.
关键字 视频,运动目标检测,帧差分

(完整word版)基于matlab的运动目标检测

1 绪论 1.1 课题研究背景及意义 运动目标检测是图像处理与计算机视觉的一个分支，在理论和实践上都有重大意义，长久以来一直被国内外学者所关注。在实际中，视频监控利用摄像机对某一特定区域进行监视，是一个细致和连续的过程，它可以由人来完成，但是人执行这种长期枯燥的例行监测是不可靠，而且费用也很高，因此引入运动监测非常有必要[1]。它可以减轻人的负担，并且提高了可靠性。概括起来运动监测主要包括三个内容[2]：运动目标检测，方向判断和图像跟踪。运动目标检测是整个监测过程的基础，运动目标的提取准确与否，直接关系到后续高级过程的完成质量。 1.2 国内外研究现状 运动目标检测在国外已经取得了一些的研究成果[3]，许多相关技术已经开始应用到实际系统中，但是国内研究相对落后,与国外还有较大差距。传统的视频目标提取大致可以分两类,一类以空间同性为准则,先用形态学滤波器或其他滤波器对图像作预处理;然后对该图像的亮度、色度或其他信息作空间上的分割以对区域作边缘检测;之后作运动估计,并合并相似的运动区域以得到最终的提取结果。如光流算法、主动轮廓模型算法。此类方法结果较为准确但是运算量相对较大。另一类算法主要以时间变化检测作为准则,这类算法主要通过帧差检测图像上的变化区域和不变区域,将运动物体与静止背景进行分割。此类方法运算量小,提取结果不如前类方法准确。此外,还有时空结合方法、时空亮度梯度信息结合的方法等等[4]。本文将围绕以时间变化监测为基础的方法展开分析和讨论。 1.3 本文结构 第1章介绍了本文的研究意义及国内外发展状况；第2章分为四个部分详细讲述了运动目标检测的方法，介绍了背景提取与更新算法，检测算法，阈值选取，形态学滤波等；第三章对全文作出了总结。

(完整版)视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1

视频目标跟踪算法综述_蔡荣太

1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）