基于生成式模型的目标跟踪方法综述
目标跟踪相关研究综述
Artificial Intelligence and Robotics Research 人工智能与机器人研究, 2015, 4(3), 17-22 Published Online August 2015 in Hans. https://www.sodocs.net/doc/7a11543481.html,/journal/airr https://www.sodocs.net/doc/7a11543481.html,/10.12677/airr.2015.43003 A Survey on Object Tracking Jialong Xu Aviation Military Affairs Deputy Office of PLA Navy in Nanjing Zone, Nanjing Jiangsu Email: pugongying_0532@https://www.sodocs.net/doc/7a11543481.html, Received: Aug. 1st, 2015; accepted: Aug. 17th, 2015; published: Aug. 20th, 2015 Copyright ? 2015 by author and Hans Publishers Inc. This work is licensed under the Creative Commons Attribution International License (CC BY). https://www.sodocs.net/doc/7a11543481.html,/licenses/by/4.0/ Abstract Object tracking is a process to locate an interested object in a series of image, so as to reconstruct the moving object’s track. This paper presents a summary of related works and analyzes the cha-racteristics of the algorithm. At last, some future directions are suggested. Keywords Object Tracking, Track Alignment, Object Detection 目标跟踪相关研究综述 徐佳龙 海军驻南京地区航空军事代表室，江苏南京 Email: pugongying_0532@https://www.sodocs.net/doc/7a11543481.html, 收稿日期：2015年8月1日；录用日期：2015年8月17日；发布日期：2015年8月20日 摘要 目标跟踪就是在视频序列的每幅图像中找到所感兴趣的运动目标的位置，建立起运动目标在各幅图像中的联系。本文分类总结了目标跟踪的相关工作，并进行了分析和展望。
多目标跟踪
多目标跟踪的基本理论 所谓多目标跟踪，就是为了维持对多个目标当前状态的估计而对所接收到的量测信息进行处理的过程。 目标模型不确定性 是指目标在未知的时间段内可能作己知的或未知的机动。一般情况下，目标的 非机动方式及目标发生机动时的不同的机动形式都可以通过不同的数学模型来加 以描述。在进行目标跟踪过程中，采用不正确的目标运动模型会导致跟踪系统跟踪 性能的严重下降。因而在目标跟踪过程中，运动模型采用的正确与否对目标的跟踪 性能是至关重要的。 观测不确定性 是指由传感器系统提供的量测数据可能是外部的干扰数据，它有可能是由杂波、虚警和相邻的目标所引起的，也可能是由被跟踪目标的对抗系统所主动发出来的虚假信息。这种不确定性在本质上显然是离散的，给目标跟踪问题提出了极大的挑战，相应地也就产生了数据关联的问题。 数据关联 数据关联的作用主要有：航迹保持、航迹建立和航迹终结。 数据关联算法主要有：“最近邻”方法，“全邻”最优滤波器方法、概率数据关联滤波器方法、多模型方法、相互作用多模型一概率数据关联滤波器方法、联合概率数据关联滤波器方法、多假设方法、航迹分裂方法。 1.“最近邻”方法的思想是：在落入跟踪波门中的所有量测中，离目标跟踪预测位置最近的量测认为是有效量测。“最近邻”方法的好处是算法最简单，但是精度差，抗杂波干扰的能力差。“最近邻”方法因为简单，算法易实现，因此也是目前广泛采用的一种数据关联算法． 2 .“全邻”最优滤波器 Singer,Sea和Housewright发展了一类“全邻”滤波器，这种滤波器不仅考虑了所有候选回波（空间累积信息），而且考虑了跟踪历史，即多扫描相关（时间累积信息）假定多余回波互不相关并且均匀分布于跟踪门内，则任何跟踪门的体积V内多余回波的数目Cx服从均值为βV的泊松分布。假定在K-1时刻，轨迹a′正确的概率为Pa(k-1)。关键问题是计算k时刻轨迹的正确概率Pa(k)。
第一章 目标跟踪基本原理与机动目标模型1
第一章目标跟踪基本原理与机动目标模型1.1 引言目标跟踪问题作为科学技术发展的一个方面，设计的主要目的是可靠而精确的跟踪目标，其历史可以追溯到第二次世界大战前夕，即1937 年世界上出现第一部跟踪雷达站SCR-28 的时候、之后各种雷达、红外、声纳和激光等目标跟踪系统相继得到发展并且日趋完善。传统的跟踪系统是一对一系统，即一个探测器仅连续地瞄准和跟踪一个目标。随着科学技术的进步和现代战略战术的发展，人们发现提出新的目标跟踪概念和体制是完全可能的，在过去20 多年中，多目标跟踪的理论和方法已经获得很大发展，并已成为当今国际上十分活跃的热门研究领域之一，有些成果也已付诸于工程实际。简单地说，目标跟踪问题可以划分为下列四类：一个探测器跟踪一个目标（OTO）一个探测器跟踪多个目标（OTM）多个探测器跟踪一个目标（MTO）多个探测器跟踪多个目标（MTM）1.2 目标跟踪的基本原理1.2.1 单机动目标跟踪基本原理发展现代边扫描边跟踪（TWS）系统的目的是，仅在一个探测器条件下同时跟踪多个目标。然而，为达此目的，边扫描边跟踪系统必须首先很好地跟踪单个目标。一般地说，常速直线运动目标的跟踪与估计问题较为简单，而且易于处理。困难的情况表现在被跟踪目标发生机动，即目标速度的大小和方向发生变化的场合。图 1.1 为单机动目标跟踪基本原理框图。图中目标动态特性由包含位置、速度和加速度的状态向量X 表示，量测（观测）量Y 被假定为含有量测噪声V 的状态向量1的线性组合（HX＋V）；残差（新息）向量 d 为量测（Y）与状态预测量H X k k 之差。我们约定，用大写字母XY 表示向量，小写字母xy表示向量的分量。一般情况下，单机动目标跟踪为一自适应滤波过程。首先由量测（观测）量（Y）和状态预1测量H X k 构成残差（新息）向量d，然后根据d 的变化进行机动检测或者机k动辨识．其次按照某一准则或逻辑调整滤波增益与协方差矩阵或者实时辨识出目标机动特性，最后由滤波算法得到目标的状态估计值和预测值，从而完成单机动目标跟踪功能。图 1.1 单机动目标跟踪基本原理框图1.2.2 单机动目标跟踪基本要素单机动目标跟踪基本要素主要包括量测数据形成与处理，机动目标模型，机动检测与机动辨识，滤波与预测以及跟踪坐标系和滤波状态变量的选取。现分别简述之。1.2.2.1 量测数据形成与处理量测数据通常指来自探测器输出报告的所有观测量的集合。这些观测量一般包括目标运动参数，如位置和速度，目标属性，目标类型，数目或形成以及获取量测量的时间序列等。在单机动目标跟踪技术中，量测数据主要指目标运动学参数。量测数据既可以等周期获取，也可以变周期获取。在实际问题中常常遇到等速，为了提高目标状态率数据采集。量测数据大多含有噪声和杂波（多目标检测情况）估计精度，通常采用数据预处理技术以提高信噪比。目前常用的方法有数据压缩，包括等权和变权预处理以及量测资料中野值的剔除方法等技术。1.2.2.2 机动目标模型众所周知，估计理论特别是卡尔曼滤波理论要求建立数学模型来描述与估计问题有关的物理现象。这种数学模型应把某一时刻的状态变量表为前一状态变量的函数。所定义的状态变量应为能够全面反应系统动态特性的一组维数最少的变量。一般地，状态变量与系统的能量有关，譬如在目标运动模型中，状态变量中所包含的位置元素与势能有关，速度元素与动能有关。在目标模型构造过程中，考虑到缺乏有关目标运动的精确数据以及存在着许多不可预测的现象，如周围环境的变化及驾驶员主观操作等，只是需要引入状态噪声的概念。当目标作匀速直线运动时，加速度常常被看作是具有随机特性的扰动输入（状态噪声），并假设其服从零均值白色高斯分布，这时，卡尔曼滤波可直接使用。当目标发生诸如转弯或逃避等机动现象时，上述假设则不尽合理，机动加速度变成为非零均值时间相关的有色噪声。此时，为满足滤波需要常常采用白化噪声和状态增广方法。机动目标模型除了考虑加速度非零均值时间相关噪声假设外，还要考虑加速度的分布特性。客观上，要求加速度函数应尽可能的描述目标机动的实际情况。从目前的机动目标模型来看，所有建模方法均考虑了目标发生机动的可能性，并建立了一种适合任何情况和任何类型目标的机动模型，我们称这种模型为全局统计模型，其典型代表是传统的Singer 模型。然而，根据全局统计模型思想，每一种具体战术情况下的每
目标追踪基础知识
静态背景：只动目标 动态背景：动目标和camera；复杂相对运动 静态背景： 1.背景差分：先获得背景后根据差值取阈得图像（背景影响较大） 背景获得：（1）时间平均 （2）参数建模 阴影消除：色度值代替亮度值； 2.帧间差分：相邻两幅图差值进行计算获得运动物体位置与形状（部分信息，不适用于运动缓慢物体） 3.光流法：带有灰度的像素点在图像平面上运动产生的瞬时速度场（最复杂，不适于实时估计，抗噪性差） 动态背景： 基于块的运动估计与补偿：假定同一图像块上运动矢量相同，通过像素域搜索得到最佳运动 矢量估算。 关键技术：（1）匹配法则：最大相关，最小误差 （2）搜索方法：三步搜索，交叉搜索 （3）块大小确定：分级，自适应 Tracking：通过目标有效表达寻找最佳相似目标。 目标特征：（1）视觉特征：边缘，轮廓，形状，纹理，区域 （2）统计特征：直方图，各种矩特征 （3）变化系数特征：傅里叶描绘子，自回归模型 （4）代数特征：图像矩阵的奇异值分解 相似度度量算法（匹配法则）：欧氏距离，街区距离，棋盘距离，加权距离，巴特查理亚系 数，Hausdorff距离。（欧氏距离最简单） 搜索算法：预测下一帧物体可能存在的位置。kalman滤波，扩展的Kalman滤波，粒子滤波。Kalman算法：线性最小方差估计。通过状态方程和观测方程来预估。无偏，稳定，最优。粒子滤波算法：非线性，非高斯系统。递归方式进行处理，节省空间，有较好鲁棒性。均值漂移算法（Meanshift）：梯度优化，非刚性目标，非线性运动目标，变形，旋转均可。连续自适应均值漂移算法（Camshift）：基于Meanshift，结合色彩信息。可有效解决变形 和遮挡问题。 分类：（1）基于主动轮廓追踪（Snake模型）：定义可变形Snake曲线，通过对其能量函数最小化，使其轮廓逐渐变成与目标轮廓一致。跟踪可靠性增加，但计算量较大，并 且对快速运动或形变较大物体跟踪情况不理想。 （2）基于特征的跟踪： 特征提取：特征：有直观意义，有分类意义，计算相对简单，有图像平 移旋转尺度变换等不变性。主要有颜色，纹理边缘， 块特征，光流特征，周长面积，质心，角点。 特征匹配：基于二值化、边缘特征、角点特征、灰度、颜色特征匹配。 对尺度、形变、亮度变化不敏感。只要有一部分特征能被提 取就可以。但对噪声敏感，连续帧间关系难以确定。 （3）基于区域的追踪：得到人为或图像分割的矩形或不规则图形模版，再用算法跟 踪目标。费时，未被遮挡时精度很高，目标变形或有遮挡精 度下降。
机动目标的追踪与反追踪的模型完整版123
（由组委会填写）第十一届华为杯全国研究生数学建模竞赛 学校大连理工大学 参赛队号10141005 队员姓名1.鲁欢 2.候会敏 3.程帅兵
（由组委会填写） 第十一届华为杯全国研究生数学建模竞赛 题目机动目标的跟踪与反跟踪模型的建立及求解 摘要： 本文主要对机动目标追踪与反追踪模型的建立及求解问题进行了相关计算，讨论结果大致如下： 问题一，根据附件中的数据，利用数值法求解各个时刻点处的加速度，挑出加速度数量较大的时刻，并绘出矩形图，以加速度持续较大的时刻点为机动时间范围，并进行统计其大小以及方向，追踪模型则是依据现时刻以及前一时刻估计出的的物理量如位置速度加速度等，并根据数据统计出目标的机动能力即两时刻加速度最大该变量作为下一时刻的加速度，来计算在这种极限状态下目标向四周逃离的最远边界，因而形成一个区域，其中心即为雷达天线下时刻所指方向。航迹计算将三雷达测得的数据转换到同一坐标系中在进行拟合得到。 问题二，首先进行了航迹起始的确定。采用联合概率数据关联(JPDA)算法，通过对确认矩阵拆分得到互联事件及互联矩阵，计算互联事件的概率来进行数据关联，然后按照确定航迹。为避免雷达对于仅有一个回波信号的失跟情况，采取调动多种检测手段对目标密切关注，并改进雷达的内部控制计算算法。 问题三，我们建立了微分方程模型。着重分析了在空间范围内的机动目标的切向加速度以及方向加速度随时间的变化规律。通过运用Excel进行数据的处理计算得出切向加速度以及法向加速度的数值，利用Matlab编程得出其变化规律的轨迹图像。再结合问题一中的追踪模型，得到在数据3情况下的变化规律。通过对比，得出模型一的结论应用于问题三，其结果产生较大的偏差。 问题四，我们建立了卡尔曼滤波预测模型。利用卡尔曼滤波对机动目标进行预测，经过多次循环得出200对的位置坐标，利用Matlab软件给出了模拟后的卡尔曼滤波波形图。再进行对坐标的空间及时间复杂度进行分析，得出最终的结
目标追踪综述
01目标跟踪简介 目标跟踪是计算机视觉领域的一个重要问题，目前广泛应用在体育赛事转播、安防监控和无人机、无人车、机器人等领域。下面是一些应用的例子。 02目标跟踪任务分类 了解了目标跟踪的用途，我们接下来看目标跟踪有哪些研究领域呢？目标跟踪可以分为以下几种任务： ?单目标跟踪- 给定一个目标，追踪这个目标的位置。 ?多目标跟踪- 追踪多个目标的位置 ?Person Re-ID- 行人重识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合。 ?MTMCT - 多目标多摄像头跟踪（Multi-target Multi-camera Tracking），跟踪多个摄像头拍摄的多个人 ?姿态跟踪- 追踪人的姿态 按照任务计算类型又可以分为以下2类。 ?在线跟踪- 在线跟踪需要实时处理任务，通过过去和现在帧来跟踪未来帧中物体的位置。 ?离线跟踪- 离线跟踪是离线处理任务，可以通过过去、现在和未来的帧来推断物体的位置，因此准确率会在线跟踪高。 03目标跟踪的困难点 虽然目标追踪的应用前景非常广泛，但还是有一些问题限制了它的应用，我们看下有哪些问题呢？ ?形态变化- 姿态变化是目标跟踪中常见的干扰问题。运动目标发生姿态变化时, 会导致它的特征以及外观模型发生改变, 容易导致跟踪失败。例如:体育比赛中的运动员、马路上的行人。 ?尺度变化- 尺度的自适应也是目标跟踪中的关键问题。当目标尺度缩小时, 由于跟踪框不能自适应跟踪, 会将很多背景信息包含在内, 导致目标模型的更新错误:当目标尺度增大时, 由于跟踪框不能将目标完全包括在内, 跟踪框内目标信息不全, 也会导致目标模型的更新错误。因此, 实现尺度自适应跟踪是十分必要的。 ?遮挡与消失- 目标在运动过程中可能出现被遮挡或者短暂的消失情况。当这种情况发生时, 跟踪框容易将遮挡物以及背景信息包含在跟踪框内, 会导致后续帧中的跟踪目标漂移到遮挡物上面。若目标被完全遮挡时, 由于找不到目标的对应模型, 会导致跟踪失败。 ?图像模糊- 光照强度变化, 目标快速运动, 低分辨率等情况会导致图像模型, 尤其是在运动目标与背景相似的情况下更为明显。因此, 选择有效的特征对目标和背景进行区分非常必要。 下图是上述问题的一些实例。
视频目标跟踪算法综述_蔡荣太
1引言 目标跟踪可分为主动跟踪和被动跟踪。视频目标跟踪属于被动跟踪。与无线电跟踪测量相比，视频目标跟踪测量具有精度高、隐蔽性好和直观性强的优点。这些优点使得视频目标跟踪测量在靶场光电测量、天文观测设备、武器控制系统、激光通信系统、交通监控、场景分析、人群分析、行人计数、步态识别、动作识别等领域得到了广泛的应用[1-2]。 根据被跟踪目标信息使用情况的不同，可将视觉跟踪算法分为基于对比度分析的目标跟踪、基于匹配的目标跟踪和基于运动检测的目标跟踪。基于对比度分析的跟踪算法主要利用目标和背景的对比度差异，实现目标的检测和跟踪。基于匹配的跟踪主要通过前后帧之间的特征匹配实现目标的定位。基于运动检测的跟踪主要根据目标运动和背景运动之间的差异实现目标的检测和跟踪。前两类方法都是对单帧图像进行处理，基于匹配的跟踪方法需要在帧与帧之间传递目标信息，对比度跟踪不需要在帧与帧之间传递目标信息。基于运动检测的跟踪需要对多帧图像进行处理。除此之外，还有一些算法不易归类到以上3类，如工程中的弹转机跟踪算法、多目标跟踪算法或其他一些综合算法。2基于对比度分析的目标跟踪算法基于对比度分析的目标跟踪算法利用目标与背景在对比度上的差异来提取、识别和跟踪目标。这类算法按照跟踪参考点的不同可以分为边缘跟踪、形心跟踪和质心跟踪等。这类算法不适合复杂背景中的目标跟踪，但在空中背景下的目标跟踪中非常有效。边缘跟踪的优点是脱靶量计算简单、响应快，在某些场合（如要求跟踪目标的左上角或右下角等）有其独到之处。缺点是跟踪点易受干扰，跟踪随机误差大。重心跟踪算法计算简便，精度较高，但容易受到目标的剧烈运动或目标被遮挡的影响。重心的计算不需要清楚的轮廓，在均匀背景下可以对整个跟踪窗口进行计算，不影响测量精度。重心跟踪特别适合背景均匀、对比度小的弱小目标跟踪等一些特殊场合。图像二值化之后，按重心公式计算出的是目标图像的形心。一般来说形心与重心略有差别[1-2]。 3基于匹配的目标跟踪算法 3.1特征匹配 特征是目标可区别与其他事物的属性，具有可区分性、可靠性、独立性和稀疏性。基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的 文章编号：1002－8692（2010）12-0135-04 视频目标跟踪算法综述* 蔡荣太1，吴元昊2，王明佳2，吴庆祥1 （1.福建师范大学物理与光电信息科技学院，福建福州350108； 2.中国科学院长春光学精密机械与物理研究所，吉林长春130033） 【摘要】介绍了视频目标跟踪算法及其研究进展，包括基于对比度分析的目标跟踪算法、基于匹配的目标跟踪算法和基于运动检测的目标跟踪算法。重点分析了目标跟踪中特征匹配、贝叶斯滤波、概率图模型和核方法的主要内容及最新进展。此外，还介绍了多特征跟踪、利用上下文信息的目标跟踪和多目标跟踪算法及其进展。 【关键词】目标跟踪；特征匹配；贝叶斯滤波；概率图模型；均值漂移；粒子滤波 【中图分类号】TP391.41；TN911.73【文献标识码】A Survey of Visual Object Tracking Algorithms CAI Rong-tai1,WU Yuan-hao2,WANG Ming-jia2,WU Qing-xiang1 （1.School of Physics,Optics,Electronic Science and Technology,Fujian Normal University,Fuzhou350108,China; 2.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Science,Changchun130033,China）【Abstract】The field of visual object tracking algorithms are introduced,including visual tracking based on contrast analysis,visual tracking based on feature matching and visual tracking based on moving detection.Feature matching,Bayesian filtering,probabilistic graphical models,kernel tracking and their recent developments are analyzed.The development of multiple cues based tracking,contexts based tracking and multi-target tracking are also discussed． 【Key words】visual tracking;feature matching;Bayesian filtering;probabilistic graphical models;mean shift;particle filter ·论文·*国家“863”计划项目（2006AA703405F）；福建省自然科学基金项目（2009J05141）；福建省教育厅科技计划项目（JA09040）
基于相关滤波器的目标跟踪方法综述
0引言 视觉跟踪是计算机视觉中引人瞩目且快速发展的领域,主要用于获取运动目标的位置、姿态、轨迹等基本运动信息,是理解服务对象或对目标实施控制的前提和基础。其涉及许多具有挑战性的研究热点并常和其他计算机视觉问题结合出现,如导航制导、事件检测、行为识 别、视频监控、自动驾驶、移动机器人等[1-4]。虽然跟踪方法取得了长足进展,但由于遮挡、目标的平面内/外旋 转、快速运动、模糊、光照及变形等因素的存在使其仍然是非常具有挑战性的工作。 近年来,基于相关滤波器CF(Correlation Filter)的跟踪 方法得到了极大关注[5-9]。CF 最大的优点是计算效率高,这归结于其假设训练数据的循环结构,因为目标和候选 区域能在频域进行表示并通过快速傅里叶变换(FFT)操作。Bolme [6]等首次将CF 应用于跟踪提出MOSSE 算法,其利用FFT 的快速性使跟踪速度达到了600-700fps 。瑞典林雪平大学的Martin Danelljan 在2016年ECCV 上提出的相关滤波器跟踪算法C -COT [7]取得了VOT2016竞赛冠军,2017年其提出的改进算法ECO [8]在取得非常好的精度和鲁棒性的同时,显著提高运算速度至C-COT 的6倍之多。 基于CF 的跟踪算法如此优秀,已然成为研究热点。近年和相关滤波有关的论文层出不穷,很有必要对这些论文及相关滤波的发展等进行一个归纳和总结,以推动该方向的发展。文献[9]虽已做过综述并取得了一定效果,但有两点不足:(1)过多介绍现有几种方法的具体细节,没有对更多文献进行对比分析;(2)缺乏对基于相关滤波器跟踪方法的分类对比分析。基于此,本文的不同 ?基金项目:陕西理工大学科研项目资助(SLGKY16-03) 基于相关滤波器的目标跟踪方法综述? 马晓虹1,尹向雷 2 (1.陕西理工大学电工电子实验中心,陕西汉中723000;2.陕西理工大学电气工程学院,陕西汉中723000) 摘要:目标跟踪是计算机视觉中的重要组成部分,广泛应用于军事、医学、安防、自动驾驶等领域。虽然取得了很大进展,但由于遮挡、快速运动、模糊、光照及变形等因素存在,其仍是具有挑战性的研究领域。近年来,属于判别式类型的相关滤波器跟踪方法由于具有非常高的处理速度备受关注。首先介绍了目标跟踪和相关滤波器的基本知识,之后对相关滤波器方法在朴素阶段、循环结构和核技巧、多特征通道、与深度特征的结合、尺度研究、边界效应以及其他信息的利用方面进行了详述,最后对基于相关滤波器方法的研究方向和发展趋势给出了几点看法。关键词:计算机视觉;目标跟踪;相关滤波器中图分类号:TP391 文献标识码:A DOI :10.16157/j.issn.0258-7998.174811 中文引用格式:马晓虹,尹向雷.基于相关滤波器的目标跟踪方法综述[J].电子技术应用,2018,44(6):3-7,14. 英文引用格式:Ma Xiaohong ,Yin Xianglei.Method of object tracking based on correlation filters :a survey[J].Application of Elec-tronic Technique ,2018,44(6):3-7,14. Method of object tracking based on correlation filters :a survey Ma Xiaohong 1,Yin Xianglei 2 (1.Electrical and Electronic Experiment Teaching Center ,Shannxi University of Technology ,Hanzhong 723000,China ; 2.School of Electrical Engineering ,Shannxi University of Technology ,Hanzhong 723000,China) Abstract :Object tracking is an important part in computer vision and is widely used in military,medical,security and autonomous driving.Although great progress has been made,it is still a challenging research field due to the factors such as occlusion,rapid speed,motion blur,illumination and deformation.In recent years,the correlation filter tracking method,one of discriminant type,has attracted much attention due to its higher processing speed.We first introduces the basic knowledge of the object tracking and the correlation filter tracking,and the correlation filter tracking methods in simple stage,we also discussed the circular structure and the kernel trick,the combination of multiple feature channels and deep feature,scale research,boundary effect and the use of other information.Finally,the research direction and development trend of the method based on the correlation filter is given.Key words :computer vision ;object tracking ;correlation filter
目标跟踪算法的分类
运动目标跟踪就是在一段序列图像中的每幅图像中实时地找到所感兴趣的运动目标 (包括位置、速度及加速度等运动参数)。在运动目标跟踪问题的研究上，总体来说有两种思路： a)不依赖于先验知识，直接从图像序列中检测到运动目标，并进行目标识别，最终跟踪感兴趣的运动目标； b)依赖于目标的先验知识，首先为运动目标建模，然后在图像序列中实时找到相匹配的运动目标。 一、运动目标检测 对于不依赖先验知识的目标跟踪来讲，运动检测是实现跟踪的第一步。运动检测即为从序列图像中将变化区域从背景图像中提取出来。运动目标检测的算法依照目标与摄像机之间的关系可以分为静态背景下运动检测和动态背景下运动检测。 静态背景下运动检测就是摄像机在整个监视过程中不发生移动，只有被监视目标在摄像机视场内运动，这个过程只有目标相对于摄像机的运动；动态背景下运动检测就是摄像机在整个监视过程中发生了移动 (如平动、旋转或多自由度运动)，被监视目标在摄像机视场内也发生了运动，这个过程就产生了目标与摄像机之间复杂的相对运动。 1、静态背景 背景差分法 背景差分法是利用当前图像与背景图像的差分来检测运动区域的一种技术。它一般能够提供最完全的特征数据，但对于动态场景的变化，如天气、光照、背景扰动及背景物移入移出等特别敏感，运动目标的阴影也会影响检测结果的准确性及跟踪的精确性。其基本思想就是首先获得一个背景模型，然后将当前帧与背景模型相减，如果像素差值大于某一阈值，则判断此像素属于运动目标，否则属于背景图像。背景模型的建立与更新、阴影的去除等对跟踪结果的好坏至关重要。 帧间差分法 相邻帧间差分法是通过相邻两帧图像的差值计算，获得运动物体位置和形状等信息的运动目标检测方法。其对环境的适应性较强，特别是对于光照的变化适应性强，但由于运动目标上像素的纹理、灰度等信息比较相近，不能检测出完整
视频目标检测与跟踪算法综述
视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在 视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1 帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设(,)k f x y 和(1)(,)k f x y +分别为图像序列中的第k 帧和第k+1帧中象素点(x ，y)的象素值,则这两帧图像的差值图像就如公式2-1 所示： 1(1)(,)(,)k k k Diff f x y f x y ++=- (2-1) 2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1 式得到第k 帧和第k+1帧的差值图像1k Diff +；2、对所得到的差值图像1k Diff +二值化（如式子2-2 示）得到Qk+1；3、为消除微小噪声的干扰，使得到的运动目标更准确，对1k Q +进行必要的滤波和去噪处理，后处理结果为1k M +。 111255,,(,)0,,(,)k k k if Diff x y T Q if Diff x y T +++>?=?≤? （T 为阈值） （2-2）
目标检测与跟踪方法在自动跟踪装置中的应用
第33卷增刊2007年11月 光学技术OPTICAL TECHN IQU E Vol.33Suppl. Nov. 2007 文章编号:100221582(2007)S 20069203 目标检测与跟踪方法在自动跟踪装置中的应用 Ξ 伍翔,霍炬,杨明,董红红 (哈尔滨工业大学控制与仿真中心,哈尔滨 150082) 摘 要:介绍了一种应用于自动跟踪装置上的运动背景下目标检测与跟踪的方法,采用仿射模型作背景运动估计进行检测以及mean 2shift 算法跟踪目标,并将该方法应用到一套自动跟踪系统实验平台上。 关 键 词:仿射模型;mean 2shift 算法;自动跟踪装置 中图分类号:TP751 文献标识码:A Application of a moving target detecting and tracking method in the automatic 2tracking equipment WU X iang ,H UO J u ,Y ANG Ming ,DONG H ong 2hong (Control and Simulation Center ,Harbin Institute of Technology ,Harbin 150082,China ) Abstract :This paper presents a moving target detecting and tracking method in moving background for the automatic 2tracking equipment.It uses affine model to estimate the moving character of the background for detecting ,and uses mean 2shift algorithm for tracking.An automatic 2tracking experimental system is realized by using this method. K ey w ords :affine model ;mean 2shift algorithm ;automatic 2tracking equipment 0 引 言 基于图像处理的运动目标检测与跟踪,作为图像处理技术的一个分支,由于其在民用和军用上的广泛应用 [1,2] ,也逐 渐成为研究的热点。本文主要针对自动跟踪装置,研究与设计一种图像处理的方法,实现运动背景下运动目标检测与跟踪,并应用到所搭建的自动跟踪仿真系统中。 1 自动跟踪系统实验平台 利用图像处理的方法实现自动跟踪功能的跟踪系统一般由摄像机、图像采集卡、计算机、伺服系统几部分组成。摄像机、图像采集卡以及计算机都装载在伺服系统上,当摄像机的视野中出现运动目标时,计算机对图像采集卡采集到的图像进行处理分析,得出运动目标的位置等信息,传递给伺服系统,伺服系统带动相机跟踪目标,使得目标始终保持在视野的中心 。 图1 自动跟踪系统实验平台结构框图 图1即为所搭建的自动跟踪系统实验平台的结构框图, 该平台是专门根据自动跟踪装置的结构和特点设计的,对自动跟踪装置进行模拟。由图1可知,在计算机上实现的图像处理部分,是整个系统的关键。它所要完成的功能是从采集图2 图像处理部分基本流程 到的每幅视频图像中找出运动目标的位置,即运动目标的检测与跟踪。它主要包括两方面:第一,运动目标的检测与提取;第二,目标跟踪。其处理流程图如图2所示。 2 运动目标检测 2.1 背景模型选取 根据摄像机相对于场景的运动情况可以将运动目标检测分为静止背景下运动目标检测和运动背景下运动目标检测两种。由自动跟踪装置的特性可知,在跟踪目标的过程中,摄像机随着伺服系统一起运动,所以应该考虑的是运动背景下运动目标的检测。 本文采用的是运用背景运动估计进行建模的思想,将两帧图像之间的背景运动关系用仿射变换表示,建立一个仿射运动参数模型。如 x k +1=a 1x k +a 2y k +d x y k +1=a 3x k +a 4y k +d y (1) 9 6Ξ收稿日期:2006212211 E 2m ail :wuxiang602@https://www.sodocs.net/doc/7a11543481.html, 基金项目:国家自然科学基金资助(60434010) 作者简介:伍翔(19842),男,苗族,湖南省人,哈尔滨工业大学硕士研究生,从事图像处理研究。
多目标跟踪方法研究综述
经过近４０多年的深入研究和发展，多目标跟踪技术在许多方面都有着广泛应用和发展前景，如军事视觉制导、机器人视觉导航、交通管 制、 医疗诊断等［１－２］。目前，虽然基于视频的多运动目标跟踪技术已取得了很大的成就，但由于视频中图像的变化和物体运动的复杂性，使得对多运动目标的检测与跟踪变得异常困难，如多目标在运动过程中互遮挡、监控场景的复杂性等问题，解决上述难题一直是该领域所面临的一个巨大挑战，因此，对视频中多目标跟踪技术研究仍然是近年来一个热门的研究课题［３－５］。 １、多目标跟踪的一般步骤 基于视频的多目标跟踪技术融合了图像处理、模式识别、人工智能、 自动控制以及计算机视觉等众多领域中的先进技术和核心思想。不同的多目标跟踪方法其实现步骤有一定的差异，但多目标跟踪的主要 流程是相同的，如图１所示，其主要包括图像预处理、 运动目标检测、多目标标记与分离、多目标跟踪四个步骤。 图１多目标跟踪基本流程图 ２、多目标跟踪方法 多目标跟踪方法可以根据处理图像或视频获取视点的多少分为两大类，一类是单视点的多目标跟踪，另一类就是多视点的多目标跟踪。 ２．１单视点的方法 单视点方法是针对单一相机获取的图像进行多目标的检测和跟踪。该方法好处在于简单且易于开发，但由于有限的视觉信息的获取，很难处理几个目标被遮挡的情况。 块跟踪（Ｂｌｏｂ－ｔｒａｃｋｉｎｇ）是一种流行的低成本的跟踪方法［６－７］。这种方法需要首先在每一帧中提取块，然后逐帧寻找相关联的块，从而实现跟 踪。 例如ＢｒａＭＢＬｅ系统［８］就是一个基于已知的背景模型和被跟踪的人的外表模型计算出块的似然性的多块跟踪器。这种方法最大的不足之处在于：当由于相似性或者遮挡，多个目标合并在一起时，跟踪将导致失败。因此，可以取而代之的方法是通过位置、外观和形状保留清晰目标的状态。文献［９］利用组合椭圆模拟人的形状，用颜色直方图模拟不同人的外观，用一个增强高斯分布模拟背景以便分割目标，一旦场景中发现对应于运动头部的像素，一个ＭＣＭＣ方法就被用于获取多个人的轮廓的最大后验概率，在单相机的多人跟踪应用中取得了非常有意义的结果。Ｏｋｕｍａ等人提出了一种将Ａｄａｂｏｏｓｔ算法和粒子滤波相结合的方法［１０］。该方法由于充分利用了两种方法的优点，相比于单独使用这两种方法本身，大大降低了跟踪失败的情形，同时也解决了在同一框架下检测和一致跟踪的问题。Ｂｒｏｓｔｏｗ等人提出了一个用于在人群中检测单个行人的特征点轨迹聚类的概率框架［１１］。这个框架有一个基本假设是一起运动的点对可能是同一个个体的一部分，并且把它用于检测和最终的跟踪。对于完全和部分遮挡目标以及外观变化，这些方法和另外一些相似的方法都有很大的局限性。 为了解决遮挡问题，一系列单视点跟踪技术应运而生。典型的方法 是利用块合并来检测遮挡的发生［１２］。当被跟踪的点消失， 跟踪特征点的方法就简单的将其作为一个被遮挡特征点。近年来，基于目标轮廓和外观的跟踪技术利用隐含的目标到相机的深度变化来表示和估计目标间的遮挡关系。但大多数方法都只能解决部分遮挡，不能解决完全被遮挡 的情况。 另外，小的一致运动被假设为是可以从遮挡视点中可以预测运动模式的，这些给没有预测运动的较长时间的遮挡的处理带来问题。尽管这些单视点的方法有较长的研究历史，但这些方法由于不能明锐的 观察目标的隐藏部分，因此不能很好地解决有２或３个目标的遮挡问题。 ２．２多视点的方法 随着复杂环境中对检测和跟踪多个被遮挡的人和计算他们的精确 位置的需要，多视点的方法成为研究的热点。 多视点跟踪技术的目的就是利用不同视点的冗余信息，减少被遮挡的区域，并提供目标和场景的３Ｄ信息。尽管通过相机不能很好地解决目标跟踪问题，但却提出了一些很好的想法，如选择最佳视点，但这些方法都以实际环境模型和相机校正为特征。 ９０年代后半期，在很多文献中给出了多视点相关的多目标跟踪方法。 比如利用一个或多个相机与观察区域相连的状态变化映射，同时给出一系列的行为规则去整合不同相机间的信息。利用颜色在多个视点中进行多目标的跟踪的方法，该方法模拟了从基于颜色直方图技术的 背景提取中获得的连接块并应用其去匹配和跟踪目标。 除此之外，也有在原来的单视点跟踪系统进行扩展的多视点跟踪方法。该方法主要是通过一个预测，当预测当前的相机不在有一个好的视点时，跟踪就从原来凯斯的那个单相机视点的跟踪转换到另外一个相机，从而实现多视点的跟踪。基于点与它对应的极线的欧氏距离的空间匹配方法、贝叶斯网络和立体相对合并的方法都是多目标多视点跟踪的常见方法。尽管这些方法都试图去解决遮挡问题，但由于遮挡的存在，基于特征的方法都不能根本解决，其次，这些方法中的遮挡关系的推理一般都是根据运动模型，卡尔曼滤波或者更普遍的马尔科夫模型的时间一致性来进行的。因此，当这个过程开始发散，这些方法也不能恢复遮挡关系。 最近一种基于几何结构融合多个视点信息的Ｈｏｍｅｇｒａｐｈｉｃｏｃｃｕｐａｎｃｙｃｏｎｓｒｒａｉｎｔ（ＨＯＣ）［１２］方法，可以通过在多场景平台对人的定位来解决遮挡问题。仅采用随时间变化的外表信息用于从背景中检测前景，这使得在拥挤人流的场景中的外表遮挡的解决更健壮。利用多视点中的前景信息，主要是试图找到被人遮挡的场景点的图像位置，然后这些被遮挡的信息用于解决场景中多个人的的遮挡和跟踪问题。在这种思想指导下，Ｍｉｔｔａｌ，Ｌｅｉｂｅ，Ｆｒａｎｃｏ等的研究工作和机器人导航中基于遮挡网格的距离传感器的并行工作是相似的，这些方法在融合３Ｄ空间信息的时候需要进行校正相机。但ＨＯＣ方法是完全基于图像的，仅需要２Ｄ结构信息进行图像平面的融合。当然也有另外一些不需要进行相机校正的算法被提出，但需要学习一个与相机最小相关的信息。在目标跟踪过程中，由于这些方法依赖于单个相机的场景，对于拥挤场景中目标分布密度增加九无能为力了。在ＨＯＣ的多视点的目标跟踪中，对于任何单一相机的场景，或者相机对的场景，都不需要进行定位和跟踪目标，而是从所有相机的场景中收集证据，形成一个统一的框架，由于该方法能够从多个时间帧的场景中进行场景被遮挡概率的全局轨迹优化，因此可以同时进行检测和跟踪。 ３、总结 动态目标检测与跟踪是智能监控系统的重要组成部分，它融合了图像处理、模式识别、自动控制及计算机应用等相关领域的先进技术和研究成果，是计算机视觉和图像编码研究领域的一个重要课题，在军事武器、工业监控、交通管理等领域都有广泛的应用。尤其是对于多目标检测与跟踪中的遮挡与被遮挡的处理，对提高智能监控中目标的行为分析有着重要的意义。随着监控设备的发展和设施的铺设，多视点的场景图像是很容易得到的，因此借助信息融合的思想，充分利用不同角度对目标的描述信息，可以很大地改进目前基于单视点的多目标检测和跟踪的精度，能够很好地解决单视点方法中不能很好解决的遮挡问题。参考文献 ［１］胡斌，何克忠．计算机视觉在室外移动机器人中的应用．自动化学报，２００６，３２（５）：７７４－７８４． ［２］Ａ．Ｏｔｔｌｉｋ，Ｈ．－Ｈ．Ｎａｇｅｌ．ＩｎｉｔｉａｌｉｚａｔｉｏｎｏｆＭｏｄｅｌ－ＢａｓｅｄＶｅｈｉｃｌｅＴｒａｃｋｉｎｇｉｎＶｉｄｅｏＳｅｑｕｅｎｃｅｓｏｆＩｎｎｅｒ－ＣｉｔｙＩｎｔｅｒｓｅｃｔｉｏｎｓ．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，２００８，８０（２）：２１１－２２５．多目标跟踪方法研究综述 苏州联讯图创软件有限责任公司 陈宁强 ［摘要］文章对目前现有的多目标跟踪方法从信息获取的不同角度进行了综述。主要分析比较了目前单视点和多视点目标跟踪方 法对于目标遮挡问题的处理性能，并指出多视点的基于多源信息融合的思想，可以较好地解决场景中目标的遮挡问题。［关键词］单视点多视点目标跟踪信息融合基金项目：本文系江苏省自然科学基金（ＢＫ２００９５９３）。 作者简介：陈宁强（１９７３－），男，江苏苏州人，工程师，主要研究方向：ＧＩＳ、模式识别和图像处理与分析。 目标跟踪多目标标记与分离 匹配 目标模型 运动检测当前帧图像 背景提取 去噪 ＲＯＩ 预处理 视频序列 （下转第２６页）