基于视频图像中乒乓球的检测与跟踪方法

视频图像中乒乓球的检测与跟踪方法

刘子召，陈劲杰，刘步才，刘振华

（上海理工大学机械工程学院，上海200093）

摘要：改进了混合高斯模型的差分实现方法。分析、实验并对比了三种典型的运动目标检测方法，确定运动目标的检测方法为基于混合高斯模型的背景差分方法，在程序实现上，将滤波和数学形态学方法很好的应用到检测过程中，与传统的高斯检测相比，取得了更完整的检测结果和更光滑的边界。通过算法分析，采用卡尔曼预估算法并进行实验仿真，实现了对运动物体的跟踪，获得了物体的运动轨迹，并对物体运动的实际轨迹和预测轨迹进行了比较，实验结果表明了方法的有效性，实现了轨迹预测。

关键词：检测与跟踪；混合高斯模型；卡尔曼预估算法；轨迹预测

中图分类号:TP391.41文献标识码:A

Detection and Tracking of Table tennis

Based on Video Image

LIU Zi-zhao, CHEN Jin-jie, LIU Bu-cai, LIU Zhen-hua

(Department of Mechanical Engineering, University of Shanghai for Science and Technology,

Shanghai200093, China)

Abstract:Improved the implementation process based on the Gaussian mixture model. Analysis, experiment and comparison of three typical methods of detection and the final detection method is Gaussian mixture model-based background difference. Applied the filter and mathematical morphology in the process of detection by programming, and the result is more complete and smooth .Based on the algorithm of Kalman, realized the tracking of moving targets by simulation experiments and accessed to motion trajectory, then compared the actual object motion trajectory and the prediction trajectory. The experimental results show that method in this paper is effective.

Key words:detection and tracking ；gaussian mixture model；kalman；trajectory prediction

0 引言

一般来说计算机视觉分为三层：由低到高分别为计算机视觉的低级计算机视觉、中级计算机视觉和高级计算机视觉。运动目标跟踪和分割属于视觉中的低级和中级处理部分，而行为的理解和分析则属于高级处理。高效的解决好跟踪和分割将为下一步的高级处理做好准备。

运动目标检测是各种后续高级应用如目标跟踪、目标分类、目标行为理解的基础。主要的目的是从视频图像中提取出运动目标的特征信息，如轮廓、颜色、形状等。提取运动目标的过程实际上就是一个图像分割的过程，而物体的运动只有在连续的图像序列中才能体现出来，运动目标提取的过程就是在连续的图像序列中寻找不同，并把这种不同提取出来。

图像中运动目标的跟踪技术通常是通过目标检测来进行跟踪，就是在视频图像的每一帧图像中确定出我们感兴趣的运动目标的位置，来实现目标的跟踪。在机器视觉研究领域里，随着技术不断发展，自动目标跟踪(ATR)越来越受到研究者的重视，具有广阔的应用前景。

1 运动目标的检测

常用的运动目标检测方法有帧差法、背景差分法、光流法。根据三种方法我们在上海理工大学校园进行了实地对比实验，通过实验对比得出三种方法各自的优缺点。

1.1相邻帧差法

主要优点：

1)算法实现比较简单，程序设计的复杂度相对低；

2)是对光线、天气等场景变化的敏感性不高；

3)是能够适应各种动态环境，具有较好的稳定性。

主要缺点：

1)只能提取出边界，不能提取对象的完整区域。不能较好地反映运动目标的位置、大小、形状等信息；

2)对帧间的时间间隔有要求，时间间隔主要取决于物体运动速度，物体运动太慢时，帧与帧之间的时间又比较小，使得前后两帧中的运动物体几乎重叠，造成检测不到运动物体；物体运动太快时，时间间隔比较大，前后两帧没有重叠，较容易产生运动物体的错误提取，不利于运动目标的分割；

3)通过帧间差法得到的运动区域位置，只是大概的运动区域位置，不能够精确地获取运动目标信息，随着前后帧目标的运动位置不同会有所扩大，并不能得到当前帧的运动目标的精确位置。

1.2光流法

光流场(Optical Flow)最初是由Horn和Schunck提出的计算方法，光流法将图像中的每个像素和速度相联系，或者可以等价为，将像素在连续两帧的位移相关联。

虽然光流法在静态和动态下都有较好的适应性，在摄像机静止和运动的情况下都能够对运动的物体进行检测，但是其在外界环境复杂的情况下，特别是在光照不稳定的条件下，光流的基本守恒方程成立的假设条件不易满足，而且大多数光流法的计算复杂，计算量大，很难满足对实时性要求严格的系统，因而，在实际的运动检测中，应用很少，本文也不采用这种方法。

1.3背景差分法

背景差分法先要构建一个背景图像，然后当前的图像与背景图像进行相减，得到差分图像，再根据设定的阈值进行目标的分割。背景减除法需要在背景已知的境况下才能够检测出需要检测的目标，背景变化的情况下，会影响检测的效果。

但是背景差分法具有实现简单、运算速度快、在多数的情况下运算结果完整的优点，所以是运动目标检测中广泛采用的方法。背景差分法也是以像素作为处理单元的，检测的结果容易受到噪声和光照的影响，为此国内外的研究人员对此问题的解决进行了积极的研究和探索，建立各种有效的统计模型辅助分析，常见的统计模型有：高斯模型、混合高斯模型、非参数化模型等。其中，最常用的就是高斯模型。而混合高斯模型的自适应更新算法，使得模型对于外界因素如：光照变化、树枝晃动等的响应更加切合实际。

在实际的实验中，采用混合高斯模型背景建模的差分法取得了较好的效果。

P.KaewTraKulPong等在混合高斯模型的基础上进行了改进，不同之处在于方程的更新，初始化方法的选择以及对阴影模型的检测算法，称之为混合高斯模型更新算法。

2改进的混合高斯模型更新算法

在P.KaewTraKulPong等提出的更新方法上，本文对其进行了改进，代码上体现如下：

//进行形态学滤波，去掉噪音

cvDilate(pFrImg, pFrImg, 0, 1);

cvErode(pFrImg, pFrImg, 0, 1);

//cvDilate(pFrImg, pFrImg, 0, 1);

//高斯滤波，以平滑图像

cvSmooth(pFrameMat,pFrameMat,

CV_GAUSSIAN, 3, 0, 0);

第一步中的形态学滤波主要是采用了先膨胀后腐蚀的闭运算操作。闭运算利用先膨胀将物体上的空洞去除，然后利用腐蚀将检测结果细化。

第二步利用cvSmooth函数对得到的图像进行平滑，使得检测的结果边界更加平滑。

现将混合高斯模型的建模过程归纳如下：

1)初始化预先定义的几个高斯模型

2) 对高斯模型中的参数进行初始化，并求出之后将要用到的参数

3)对于每一帧中的每一个像素进行处理，看其是否匹配某个模型，若匹配，则将其归入该模型中，并对该模型根据新的像素值进行更新，若不匹配，则以该像素建立一个高斯

模型，初始化参数，代替原有模型中最不可能的模型。

4)最后选择前面几个最有可能的模型作为背景模型，为背景目标的提取做铺垫。

根据高斯混合模型更新算法以及本文的算法进行实验，视频流的获取地点为上海理工大学室内体育馆，相关参数为：像素为640×480,帧频率为30fps,分辨率为8位。实验的效果如图1。

a) 背景

b) 343帧彩色图

c)混合高斯模型实验效果

d)本文实验效果

图1 混合高斯模型及改进效果图从实验结果可以看出，本文的实现方法能够得到更完整的检测效果和更光滑的边界。

同样的根据以上的运动目标的检测算法，对运动的乒乓球进行检测效果如图2所示：

图2 乒乓球运动检测效果图由图2可见，(

中上方白色圆形区域为检

测到的乒乓球)改进的混合高斯更新算法在运动检测上能够取得较好的检测效果。 3运用卡尔曼预估算法对乒乓球进行跟踪

根据卡尔曼预估器原理，结合实验对象---乒乓球，对其进行跟踪。

由于我们在图片上只能获得目标的位置，故把物体的运动参数假设为只有位置和速度两个量。定义如下：X(k)={S x ,V x ,S y ,V y }T ,这里的 S x ,V x ,S y ,V y 分别表示运动目标在X 和Y 轴上的位置和速度。Z(k)= {S x ,S y }T ,假设运动目标是匀速运动的(由于在目标的跟踪过程中，相邻两帧的时间间隔较小，运动目标的状态变化不是很大)，状态矩阵M 就可以定义为：

M =[[1,0,0,0]',[0,1,0,0]',[dt,0,1,0]',[0,dt,0,1]'] (1) 其中dt=t(k)-t(k-1)

根据系统的状态和观测的状态可知，观测的矩阵L(k )为：

L(k)=[100 0

010 0] (2)

为了验证卡尔曼滤波器的跟踪效果，将模拟的数据假定为噪声的干扰数据。并取相关的参数如下：dt=1,V x =0,V y =0;初始的预测位置为S x0=320，S y0=240。

本文是将目标乒乓球的质心作为目标的位置来进行预测的，预测的最开始工作是先对卡尔曼预估器进行初始化，当初始的速度未知的情况下，将乒乓球的初始的速度设为0，初始的位置坐标可以根据size(Imback)来进行计算。

利用卡尔曼滤波对运动的乒乓球进行跟踪，该算法的实现是在Matlab7.1下实现的，如图3所示：

a )卡尔曼跟踪

b ) 帧数与横坐标轨迹图 图3 乒乓球跟踪及轨迹图

现将坐标值以表格的形式列举，如表1： 表1 实际位置和预测位置坐标对比

帧数i 实际的质心坐标 预测的质心坐标

i =1 (59.7647,320.5076)

(60.1325,320.4952)

i =2 (59.8347,344.4711) (59.1123,344.4744)

i =3 (635.6788,324.7317) (539.7944,332.6178) i =4 (635.6994,324.7607)

(691.5803,330.8418)

i =5 (59.5145,390.0378) (386.9244,378.5504)

i =7 (418.8160,214.5040) (512.0679,256.2071) i=8 (589.4486,203.8563) (573.5567,217.5471) i =9 (572.2343,180.6229) (598.8415,188.9107) i =10 (556.0825,164.7847) (600.9251,170.0180) i =11 (540.2199,157.2910) (588.5552,160.7397) i =12 (524.3333,157.9627) (568.0214,160.5589) i =13

(508.9589,165.6038) (544.0293,168.2546)

i=14 (493.6230,180.7589) (519.3982,183.5370) i=15 (478.7243,205.6061)(495.8950,207.7384)

i=16 (465.8122,234.3913) (475.1140,237.7100) i=17 (451.9706,273.1946) (456.3779,275.9351) i=18 (439.8367,318.6226) (440.1957,321.4809)

i=19 (428.4348,370.9021) (426.2538,374.0004)

i=20 (416.9749,430.6558) (413.8043,433.7614)

图4 质心实际轨迹和预测轨迹图这里要说明的是图4中实际的轨迹是用黄颜色的点表示的，预估的轨迹是用蓝颜色的点表示的。

从图中可以看出预测的轨迹和实际的轨迹还是比较的接近的，由于球的速度变快及空气阻力等的影响使得跟踪产生偏差,总体的跟踪效果还是不错的。

结论

本文对混合高斯模型更新算法进行了改进，使得检测方法取到的效果更加的完整，边界也更加的光滑，实现了运动乒乓球的检测。采用Kalman预估算法，实现了对运动乒乓球的跟踪，并得到了运动乒乓球在图像平面上的坐标，得到乒乓球运动的实际的轨迹和预测轨迹，根据比对可以判断预测的效果，为进一步的研究打下了基础。

参考文献

[1].VALERA M and VELASTIN S A.

Intelligent distributed surveillance

systems: a review[J]. IEEE Proceedings

Vision, Image and Signal Processing,

2005, 152(2): 192-204.

[2].罗志升,王黎,高晓蓉,王泽勇,赵全轲.

序列图像中运动目标检测与跟踪方法分

析[M]. 现代电子技术,

2009.(11):125-128.

[3].P. KAEW TRAKULPONG, R.

BOWDEN. An improved adaptive

background mixture model for realtime

tracking with shadow detection[J].

Computer Science and Distributed

Processing,2001,09(01):1-5.

[4].HORN B,SCHUNCH B.Detemining

optical flow[J].Artificial Intelligence.

1981,(17):185-203.

[5].张桂林，张天序．基于边缘特征的运动

目标的提取与跟踪[J].华中理工大学学

报，1994,22(5):42-45.

[6].王亮、胡卫明、谭铁牛．人运动的视觉

分析综述[J].计算机学报，2002. [7].李杰.视频序列中运动目标的检测跟踪

算法研究[D].四川：西南交通大学,2010 [8].郭世龙,李文峰,李波等.基于Camshift

算法的移动机器人视觉跟踪系统[J].华

中科技大学学报，2008,(10):156-160. [9].梁静. 视频序列中对特定运动目标跟踪

算法研究[D].上海：上海交通大学,2008 [10].张远辉，韦巍，虞旦.基于实时图像

的乒乓机器人Kalman跟踪算法[J].浙

江大学学报，2009,43(9):1580-1584.

【CN109919979A】一种视频实时目标跟踪的方法【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910174796.5 (22)申请日 2019.03.08 (71)申请人 广州二元科技有限公司 地址 510000 广东省广州市南沙区银锋一 街1号银锋广场1栋1608房 (72)发明人 容李庆　关毅　袁亚荣　 (74)专利代理机构 广州凯东知识产权代理有限 公司 44259 代理人 罗丹 (51)Int.Cl. G06T 7/246(2017.01) G06K 9/00(2006.01) G06K 9/32(2006.01) (54)发明名称 一种视频实时目标跟踪的方法 (57)摘要 本发明涉及一种视频实时目标跟踪的方法， 采用目标检测与目标跟踪相结合的技术，极大地 降低视频实时目标检测的计算量，由于无需对每 一帧视频图像进行遍历检测，因此极大地提高了 视频实时目标检测的计算效率，可以达到实时视 频的帧率。本发明提供的视频实时目标跟踪的方 法使用神经网络对目标检测器检测出来的目标 框在下一帧图像中的位置进行跟踪回归，极大地 降低了视频实时目标检测的计算量，无需对每一 帧图像都采用检测器检测目标，采用检测与跟踪 相结合的技术应用于视频实时目标检测中，无需 对输入图像进行复杂的降噪等处理，对目标检测 器也无特殊需求，可以大大提升检测的速率，本 发明适用性广，可以在低端的嵌入式设备中保证 足够的计算效率。权利要求书1页 说明书2页 附图1页CN 109919979 A 2019.06.21 C N 109919979 A

权　利　要　求　书1/1页CN 109919979 A 1.一种视频实时目标跟踪的方法，其特征在于包括以下步骤： 1)、通过硬件设备摄像头采集实时的视频作为输入，或者直接输入包含多帧的视频文件； 2)、分解视频，以单帧为单位对视频进行分解； 3)、将不同的数字图像矩阵格式转化为目标检测器支持的数字图像矩阵格式； 4)、输入1帧数字图像矩阵到目标检测器中，检测器通过计算后返回的检测结果以数组的方式进行保存，数组的长度是检测到的目标数量大小； 5)、根据当前输入帧获得的目标检测框作为下一帧图像的目标基础框，采用神经网络对当前帧目标框在下一帧图像的位置进行回归计算，得到下一帧图像的目标检测框信息，如果下一帧检测框信息不为空，则在接下来的帧图像中循环执行当前步骤；若下一帧目标框信息为空，则跳转到步骤4对接下来的帧图像重新调用目标检测器进行目标检测直到视频帧处理结束。 2.根据权利要求1所述的一种视频实时目标跟踪的方法，其特征在于： 所述步骤3)在步骤1)输入视频的时候进行统一的转换。 2

关于图像特征提取

关于图像特征提取 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 特征的定义 至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 有时，假如特征提取需要许多的计算时间，而可以使用的时间有限制，一个高层次算法可以用来控制特征提取阶层，这样仅图像的部分被用来寻找特征。 由于许多计算机图像算法使用特征提取作为其初级计算步骤，因此有大量特征提取算法被发展，其提取的特征各种各样，它们的计算复杂性和可重复性也非常不同。 边缘 边缘是组成两个图像区域之间边界（或边缘）的像素。一般一个边缘的形状可以是任意的，还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。 局部地看边缘是一维结构。 角 角是图像中点似的特征，在局部它有两维结构。早期的算法首先进行边缘检测，然后分析边缘的走向来寻找边缘突然转向（角）。后来发展的算法不再需要边缘检测这个步骤，而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。 区域 与角不同的是区域描写一个图像中的一个区域性的结构，但是区域也可能仅由一个像素组成，因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。区域检测可以被想象为把一张图像缩小，然后在缩小的图像上进行角检测。 脊 长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线，此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路，在医学图像中它被用来分辨血管。 特征抽取 特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特

视频会议视频调试技术与技巧

视频会议视频调试技术与技巧 视频会议是图像、声音的有机结合，为了获得理想的效果，必须按照操作规程做好前期的准备和调试工作。在实际应用中还有许多不尽人意的地方，主要表现在参数设置和实际操作等方面。如何做到心中有数、得心应手?本文就相关技术问题进行探讨，提出不同的解决方法和应用技巧。在视频调试过程中，常见的问题是图像无彩色和图像偏色。对于图像无彩色现象，可通过会议终端控制软件中的参数设置来加以解决;对于图像偏色现象，要通过白 视频会议是图像、声音的有机结合，为了获得理想的效果，必须按照操作规程做好前期的准备和调试工作。在实际应用中还有许多不尽人意的地方，主要表现在参数设置和实际操作等方面。如何做到心中有数、得心应手?本文就相关技术问题进行探讨，提出不同的解决方法和应用技巧。 在视频调试过程中，常见的问题是图像无彩色和图像偏色。对于图像无彩色现象，可通过会议终端控制软件中的参数设置来加以解决;对于图像偏色现象，要通过白平衡调整来校正因光源的色温变化而引起的图像偏色。会场中应避免使用混合光(室内照明光源、室外阳光的直射和散射)作为照明光源，不同色温的光源混合使用，将得不到理想的色彩还原，因此要尽量避免在会场中存在两种以上不同色温的光源。若使用视频会议摄像机，可通过重启的方法加以排除;若使用专业摄像机，可通过白平衡调整来加以解决，具体方法是：根据会场照明光源的色温选择合适的色温滤色片，采用自动白平衡调整，以保证准确的色彩还原。 在召开会议期间，要显示各地分会场的画面，若分会场采用“推”、“拉”、“摇”技巧来拍摄，存在问题的具体表现为运动画面不连贯、运动速度不均匀、落幅画面不到位。“推”是把视线逐渐接近被摄对象，由整体引向局部，突出整体中的某一部分;“拉”是由局部引向整体，说明某一局部所处的环境;“摇”分为左摇和右摇。“推”和“拉”是在同一镜头内包含有特写、近景、中景、全景画面，强调落幅，因此落幅的画面构图尤其重要，这是衡量画面是否到位的标准。不论采用哪种拍摄技巧，都要确保画面的稳定性和连续性，都要以稳定的画面作为起幅，并以稳定的画面作为落幅，并要有足够长的时间来保证画面的相对静止，这是人们心理要求和镜头组接所需要的。无目的地急推、急拉、突然变速、中途停止等，都会使观众造成视觉感受异常和动荡不安的感觉，其主要原因是操作失误和画面延滞效应所造成的。 对于采用会议终端控制软件进行控制的，要采用手动方式进行。比如，若要进行“推”(或拉)的动作，先构好落幅的画面，然后“拉”(或推)到全景，当总控室切换到本端的画面后，再按下鼠标，在落幅处松开鼠标;若要进行“摇”的动作，先构好落幅的画面，当总控室切换到本端的画面后，再按下鼠标进行左摇或右摇，在落幅处松开鼠标。但在实际操作中，由于摄像机的机位所限制，“摇”动作的落幅画面不太理想。对于采用专业摄像机控制的，要采用电动变焦方式进行，按下T(推)或W(拉)即可完成所需要的拍摄技巧。由于按压变焦钮

动态视频目标检测和跟踪技术(入门)

动态视频目标检测和跟踪技术 传统电视监控技术只能达到“千里眼”的作用，把远程的目标图像（原始数据）传送到监控中心，由监控人员根据目视到的视频图像对现场情况做出判断。智能化视频监控的目的是将视频原始数据转化为足够量的可供监控人员决策的“有用信息”，让监控人员及时全面地了解所发生的事件：“什么地方”，“什么时间”，“什么人”，“在做什么”。将“原始数据”转化为“有用信息”的技术中，目标检测与跟踪技术的目的是要解决“什么地方”和“什么时间”的问题。目标识别主要解决“什么人”或“什么东西”的问题。行为模式分析主要解决“在做什么”的问题。动态视频目标检测技术是智能化视频分析的基础。 本文将目前几种常用的动态视频目标检测方法简介如下： 背景减除背景减除（Background Subtraction）方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动目标的一种技术。它一般能够提供相对来说比较全面的运动目标的特征数据，但对于动态场景的变化，如光线照射情况和外来无关事件的干扰等也特别敏感。实际上，背景的建模是背景减除方法的技术关键。最简单的背景模型是时间平均图像，即利用同一场景在一个时段的平均图像作为该场景的背景模型。由于该模型是固定的，一旦建立之后，对于该场景图像所发生的任何变化都比较敏感，比如阳光照射方向，影子，树叶随风摇动等。大部分的研究人员目前都致力于开发更加实用的背景模型，以期减少动态场景变化对于运动目标检测效果的影响。 时间差分时间差分（Temporal Difference 又称相邻帧差）方法充分利用了视频图像的特征，从连续得到的视频流中提取所需要的动态目标信息。在一般情况下采集的视频图像，若仔细对比相邻两帧，可以发现其中大部分的背景像素均保持不变。只有在有前景移动目标的部分相邻帧的像素差异比较大。时间差分方法就是利用相邻帧图像的相减来提取出前景移动目标的信息的。让我们来考虑安装固定摄像头所获取的视频。我们介绍利用连续的图像序列中两个或三个相邻帧之间的时间差分，并且用阈值来提取出视频图像中的运动目标的方法。我们采用三帧差分的方法，即当某一个像素在连续三帧视频图像上均有相

视频采集系统

数字图象处理技术在电子通信与信息处理领域得到了广泛的应用，设计一种功能灵活、使用方便、便于嵌入到监控系统中的视频信号采集电路具有重要的实用意义。 在研究基于DSP的视频监控系统时，考虑到高速实时处理及实用化两方面的具体要求，需要开发一种具有高速、高集成度等特点的视频图象信号采集监控系统，为此监控系统采用专用视频解码芯片和复杂可编程逻辑器件(CPLD)构成前端图象采集部分。设计上采用专用视频解码芯片，以CPLD器件作为控制单元和外围接口，以FIFO为缓存结构，能够有效地实现视频信号的采集与读取的高速并行，具有整体电路简单、可靠性高、集成度高、接口方便等优点，无需更改硬件电路，就可以应用于各种视频信号处理监控系统中。使得原来非常复杂的电路设计得到了极大的简化，并且使原来纯硬件的设计，变成软件和硬件的混合设计，使整个监控系统的设计增加柔韧性。 1 监控系统硬件平台结构 监控系统平台硬件结构如图1所示。整个监控系统分为两部分，分别是图象采集监控系统和基于DSP主监控系统。前者是一个基于SAA7110A/SAA7110视频解码芯片，由复杂可编程逻辑芯片CPLD实现精确采样的高速视频采集监控系统；后者是通用数字信号处理监控系统，它主要包括：64K WORD程序存储器、64K WORD数据存储器、DSP、时钟产生电路、串行接口及相应的电平转换电路等。 监控系统的工作流程是，首先由图象采集监控系统按QCIF格式精确采集指定区域的视频图象数据，暂存于帧存储器FIFO中；由DSP将暂存于FIFO中的数据读入DSP的数据存储器中，与原先的几帧图象数据一起进行基于H.263的视频数据压缩；然后由DSP将压缩后的视频数据平滑地从串行接口输出，由普通MODEM或ADSL MODEM传送到远端的监控中心，监控中心的PC机收到数据后进行相应的解码，并将还原后的视频图象进行显示或进行基于WEB的广播。 2 视频信号采集监控系统 2.1 视频信号采集监控系统的基本特性 一般的视频信号采集监控系统一般由视频信号经箝位放大、同步信号分离、亮度/色度信号分离和A/D变换等部分组成，采样数据按照一定的时序和总线要求，输出到数据总线上，从而完成视频信号的解码，图中的存储器作为帧采样缓冲存储器，可以适应不同总线、输出格式和时序要求的总线接口。 视频信号采集监控系统是高速数据采集监控系统的一个特例。过去的视频信号采集监控系统采用小规模数字和模拟器件，来实现高速运算放大、同步信号分离、亮度/色度信号分离、高速A/D变换、锁相环、时序逻辑控制等电路的功能。但由于监控系统的采样频率和工作时钟高达数十兆赫兹，且器件集成度低，布线复杂，级间和器件间耦合干扰大，因此开发和调试都十分困难；另一方面，为达到精确采样的目的，采样时钟需要和输人的视频信号构成同步关系，因而，利用分离出来的同步信号和监控系统采样时钟进行锁相，产生精确同步的采样时钟，成为设计和调试过程中的另一个难点。同时，通过实现亮度、色度、对比度、视频前级放大增益的可编程控制，达到视频信号采集的智能化，又是以往监控系统难以完成的。关于这一点，在监控系统初期开发过程中已有深切体会[1]。 基于以上考虑，本监控系统采用了SAA7110A作为视频监控系统的输入前端视频采样处理器。 2.2 视频图象采集监控系统设计 SAA7110/SAA7110A是高集成度、功能完善的大规模视频解码集成电路[2]。它采用PLCC68封装，内部集成了视频信号采样所需的2个8bit模/数转换器，时钟产生电路和亮度、对比度、饱和度控制等外围电路，用它来替代原来的分立电路，极大地减小监控系统设计的工作量，并通过内置的大量功能电路和控制寄存器来实现功能的灵活配置。

图像特征提取总结

图像常见特征提取方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1）颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。（5）颜色相关图 二纹理特征 （一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实

图像特征提取方法

图像特征提取方法 摘要 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 至今为止特征没有万能和精确的图像特征定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。当光差图像时，常 常看到的是连续的纹理与灰度级相似的区域，他们相结合形成物体。但如果物体的尺寸很小 或者对比度不高，通常要采用较高的分辨率观察：如果物体的尺寸很大或对比度很强，只需 要降低分辨率。如果物体尺寸有大有小，或对比有强有弱的情况下同事存在，这时提取图像 的特征对进行图像研究有优势。 常用的特征提取方法有：Fourier变换法、窗口Fourier变换（Gabor)、小波变换法、最 小二乘法、边界方向直方图法、基于Tamura纹理特征的纹理特征提取等。

设计内容 课程设计的内容与要求（包括原始数据、技术参数、条件、设计要求等）：一、课程设计的内容 本设计采用边界方向直方图法、基于PCA的图像数据特征提取、基于Tamura纹理特征的纹理特征提取、颜色直方图提取颜色特征等等四种方法设计。 （1）边界方向直方图法 由于单一特征不足以准确地描述图像特征,提出了一种结合颜色特征和边界方向特征的图像检索方法.针对传统颜色直方图中图像对所有像素具有相同重要性的问题进行了改进,提出了像素加权的改进颜色直方图方法;然后采用非分割图像的边界方向直方图方法提取图像的形状特征,该方法相对分割方法具有简单、有效等特点,并对图像的缩放、旋转以及视角具有不变性.为进一步提高图像检索的质量引入相关反馈机制,动态调整两幅图像相似度中颜色特征和方向特征的权值系数,并给出了相应的权值调整算法.实验结果表明,上述方法明显地优于其它方法.小波理论和几个其他课题相关。所有小波变换可以视为时域频域的形式，所以和调和分析相关。所有实际有用的离散小波变换使用包含有限脉冲响应滤波器的滤波器段(filterbank)。构成CWT的小波受海森堡的测不准原理制约，或者说，离散小波基可以在测不准原理的其他形式的上下文中考虑。 通过边缘检测，把图像分为边缘区域和非边缘区域，然后在边缘区域内进行边缘定位．根据局部区域内边缘的直线特性，求得小邻域内直线段的高精度位置；再根据边缘区域内边缘的全局直线特性，用线段的中点来拟合整个直线边缘，得到亚像素精度的图像边缘．在拟合的过程中，根据直线段转角的变化剔除了噪声点，提高了定位精度．并且，根据角度和距离区分出不同直线和它们的交点，给出了图像精确的矢量化结果 图像的边界是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合，边界广泛的存在于物体和背 景之间、物体和物体之间，它是图像分割所依赖的重要特征．边界方向直方图具有尺度不变性，能够比较好的 描述图像的大体形状．边界直方图一般是通过边界算子提取边界，得到边界信息后，需要表征这些图像的边 界，对于每一个边界点，根据图像中该点的梯度方向计算出该边界点处法向量的方向角，将空间量化为M级， 计算每个边界点处法向量的方向角落在M级中的频率，这样便得到了边界方向直方图． 图像中像素的梯度向量可以表示为[ ( ，)，)，( ，)，)] ，其中Gx( ，)，)，G ( ，)，)可以用下面的

基于arm的视频图像采集系统

基于arm的视频图像采集系统 摘要：本系统采用了Samsung公司生产的S3C2440芯片作为嵌入式处理器，再结合系统所需的外围硬件构成基本硬件电路。主要包括二大部分：处理器和存储器部分；电源时钟复位电路部分；外围接口电路部分。在对各部分硬件进行详细设计后，接下来详细介绍了嵌入式软件平台的构建，包括如何移植Linux操作系统：基于嵌入式Linux下USB接口摄像头视频设备采集；移植H.264视频压缩库和视频传输程序的编写。 1 抓拍系统开发环境的构建 本文所设计的采集系统按功能可划分为嵌入式主控模块、视频采集模块、网络传输模块、等三大部分。图1-1为本系统的系统框架图: 1. USB数字摄像头采集图像数据: 2.采集传输应用程序通过摄像头驱动从摄像头获取到采集的图像数据: 3.采集传输应用程序调用H.264编码库对图像数据进行压缩: 4.采集传输应用程序将压缩后的图像数据通过网络传输给windows PC上 的显示程序: 5. Windows上的显示程序对图像数据进行解码并显示: 图1-1软件架构图 本系统的嵌入式主控模块是基于Samsung公司生产的S3C2440这款处理器，主要作用是实现对各模块数据的响应、处理以及控制。在硬件上，主控模块包括电源、时钟、复位电路、存储模块、以太网接口电路等。在软件上，主控模块上运行Linux操作系统，管理各应用程序模块进程并调度各进程。

1.1采集系统的硬件平台设计 本系统的核心处理器为二星公司的S3C2440，外扩64M的SDRAM存储器以及64M 的FLASH存储器，外围接口电路模块:包括USB接口电路，以太网网卡DM9000接口电路以及网眼3000的数字摄像头等。本系统的硬件结构如图1-2所示。 图1-2系统硬件架构图 1.1.1电源、时钟模块设计 系统各部分硬件要求提供1.8V和3V的电压。其中S3C2440处理器内核需要提供1.8V 电源，NandFlash, SDRAM及DM9000等芯片需要提供3V电源，所以本系统采用了LM1117-3.3和LM1117-1.8电压转换芯片设计稳压电源，得到1.8V和3.3V的所需电压。USB 控制器需要提供5V的电源。本文采用了5V直流电压供电。LM1117是一个低压差电压调节器系列。其压差在1.2V输出，负载电流为800mA时为1.2V 。LM1117有5个固定电压输出(1.8V, 2.5V, 2.85V, 3.3V和5V)的型号。根据本系统的需要，这里选用了电压输出为1.8V 和3.3V两型号。 时钟电路为CPU和其它外围电路提供精准的工作时钟，按照电路中设计使用的器件特性分为有源和无源晶振，在本系统的设计电路中采用的是无源晶振。ARM芯片均提供时钟发生电路，结合一定的辅助电路的配合就可以得到所需要的时钟信号。基十ARMS的这款S3C2440芯片的时钟控制逻辑可以产生为CPU核供给时钟信号的FCLK、为AHB总线供给时钟信号的HCLK、为APB总线供给时钟信号的PCLK。 1.1.2外部存储器的扩展 S3C2440微处理器存储空间仅有32M，应用于本系统，需要外扩存储器。本设计采用两片二星公司的HY57V561620来扩展64M的SDRAM。它们均4M* 16bit*4bank的SDRAM 芯片，这样，两片SDRAM实现了位扩展，数据总线达到了32bit，构成64M寻址空间。图1-3为S3C2440与NandFlash的接口图。

视频交通流采集系统解决方案

视频交通流信息采集系统解决方案 1概述 视频交通流信息采集系统主要包括视频图像采集设备、视频传输网络、交通流视频检测器等。视频检测器采用虚拟线圈技术，利用边缘信息作为车辆的检测特征，实时自动提取和更新背景边缘，受环境光线变化和阴影的影响较小；同时采用动态窗的方式来进行车辆计数，解决了采用以往固定窗方式进行车辆计数时由于车辆变道而导致的错误、重复计数问题。视频检测器能对视频图像采集设备或交通电视监视系统的视频信号自动进行检测，主要采集道路的微观交通信息如流量、速度、占有率、车辆间距、排队长度等，适用于近景监控模式。 2系统功能及特点介绍 2.1数据接口设计 视频交通流信息采集系统可以通过调用本项目提供的交通流数据统一接入接口，或由本项目提供数据格式标准化及上传程序，将采集到的交通流数据共享给本项目相关系统，以实现视频交通流数据的采集功能。 图1 数据接口设计 2.2系统功能 交通流信息视频检测系统的主要功能如下： （1）车辆检测 系统能够对输入的视频流图像进行车型、车牌等特征检测。

（2）交通流数据采集功能 系统可以采集交通流数据包括交通流量、平均车速、车道占有率、车型、平均车头间距、车辆排队长度、车辆密度、交通流状态等，交通流数据采集时间间隔在1～60分钟任意可调。 图 2 视频交通流检测模块 （3）视频图像跟踪功能 系统能对单路监控前端设备在不同预置位采集的视频图像进行不同区域不同事件的自动检测。一旦检测到特定的交通事件，事件检测器应具有该交通事件的视频图像目标自动跟踪、记录、分析功能。 当输入的视频图像不为设定的预置位的视频图像，系统应能自动不进行事件检测。一旦监控前端设备恢复至设定的预置位，系统应能自动进行事件检测。 （4）事件图像抓拍、录像功能 系统可以根据用户的设置，完成相应的录像和图片抓拍功能。 事件录像可以按摄像机、按事件类型、按时间归档存储在系统的预录像子系统中，由系统服务器进行统一的管理调用。 系统循环进行录像，当发生交通异常事件时，系统能够提供事发之前和之后的3分钟间的录像（可设置）。 系统可通过多种组合查询条件对视频交通流检测所采集的数据进行统计，包括时间-流量统计、时间-平均车速统计、时间-占有率统计、速度-流量统计等；统计结果可导出为

人体目标检测与跟踪算法研究

人体目标检测与跟踪算法研究 摘要：近些年以来，基于视频中人体目标的检测与跟踪技术研究越来越被重视。然而，由于受到目标自身特征多样性和目标所处环境的复杂性和不确定性的影响，现存算法的性能受到很大的限制。本文对目前所存在的问题进行了分析，并提出了三帧差分法和改进阈值分割法相结合的运动目标检测算法和多特征融合的改进运动目标跟踪算法。这两种算法不仅可以准确有效的检测出运动目标而且能够满足实时性的要求，有效的解决了因光照变化和目标遮挡等情况造成的运动目标跟踪准确度下降或跟踪目标丢失等问题。 关键词：三帧差分，Camshift，阈值分割 Research Based on Human Target Detectionand Tracking Algorithm Abstract: In recent years, human object detection and tracking become more and more important. However the complexity, uncertainty environment and the target’s own diversity limit the performance of existing algorithms. The main works of this paper is to study and analysis the main algorithm of the human object detection and tracking, and proposes a new moving target detection method based on three-frame difference method and threshold segmentation and improved Camshift tracking algorithm based on multi-feature fusion. These algorithm can satisfy the real-time, while accurately and efficiently detect moving targets, and also effectively solves the problem of tracking object lost or misplaced under illumination change or target occlusion. Keywords: three-frame difference, Camshift, threshold segmentation 一、绪论 （一）选题的背景和意义 人类和动物主要通过眼睛来感受和认知外部世界。人类通过视觉所获取的信息占了60%[1]，因此，在开发和完善人工智能的过程中，赋予机器视觉的功能这一操作极不可缺少。完善上述功能需要以许多技术为基础，特别是运动目标的检测与跟踪技术。近些年以来，此技术受到了越来越多的关注[2]。目前，此技术也在各领域得到了充分的应用，涵盖的领域有智能交通、导航、智能视频监控、精确制导、人机交互和多媒体视频编码压缩技术等。

图像采集系统设计

DSP实习报告 题目：图像采集系统的设计 班级：xxx 姓名：xxx 学号：xxx 指导老师：xxxx

目录 一.实习题目 (3) 二.实习背景知识 (3) 三.实习内容 (5) 四.实习程序功能与结构说明 (8) 六．实习心得 (19)

一、实习题目 图像采集系统的设计 二、实习目的： 1、熟练掌握数字信号处理的典型设计方法与技术手段； 2、熟悉D6437视频输入，输出端的操作及编程。； 3、掌握常用电子仪器设备的使用方法； 4、熟悉锐化变换算法。 三、实习背景知识 1、计算机 2、CCS3.3.软件 3、DSP仿真器 4、EL_DM6437平台 EL-DM6437EVM是低成本，高度集成的高性能视频信号处理开发平台，可以开发仿真达芬奇系列DSP应用程序，同时也可以将该产品集成到用户的具体应用系统中。方便灵活的接口为用户提供良好的开放平台。采用该系列板卡进行产品开发或系统集成可以大大减少用户的产品开发时间。板卡结构框图如图所示：

板卡硬件资源： TMS320DM6437 DSP ，可工作在400/600 MHz； 2 路视频输入，包括一个复合视频输入及一个S端子视频输入； 保留了视频输入接口，可以方便与CMOS影像传感器连接； 3 路视频输出，包括2路复合视频，一路S端子输出； 128MByte 的DDR2 SDRAM存储器，256MBit的Nor Flash存储器；用户可选的NAND Flash接口； 可选的256K字节的I2C E2PROM； 1个10M/100Mbps自适应以太网接口； 1 路立体声音频输入、1路麦克风输入，1路立体声音频输出； USB2.0高速接口，方便与PC连接； 1个CAN总线、1个UART接口、实时时钟（带256Byte的电池保持RAM）；4个DIP开关，4个状态指示LED； 可配置的BOOT模式； 10层板制作工艺，稳定可靠； 标准外部信号扩展接口； JTAG仿真器接口； 单电源+5V供电； 板卡软件资源：

(完整版)图像特征特点及常用的特征提取与匹配方法

图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩

目标检测与跟踪实验报告3 王进

《图像探测、跟踪与识别技术》 实验报告 专业：探测制导与控制技术 学号：11151201 姓名：王进 2014 年11月

实验三复杂场景下目标的检测与跟踪 一、实验目的 1. 学习不同目标跟踪算法，对比不同算法对于复杂场景的效果； 2. 学习OpenCV与VS2010的联合编程，提高编程能力。 二、实验要求 1. 要求学生至少使用一种目标跟踪算法对视频中出现的目标进行跟踪； 2. 检验所选算法在复杂场景下的效果； 3. 使用VS2010/2012和OpenCV进行编程； 4. 本实验不要求目标检测，所以目标可以手动标出。 三、实验步骤 1. 想办法找到目标（可手动框出）。 2. 编写目标跟踪函数代码； 四、实验报告 1、CAMSHIFT算法原理 CAMSHIFT算法是利用目标的颜色直方图模型将图像转换为颜色概率分布图，初始化一个搜索窗的大小和位置，并根据上一帧得到的结果自适应调整搜索窗口的位置和大小，从而定位出当前图像中目标的中心位置。 这个算法可以分为三个部分： 1、色彩投影图（反向投影）： (1).RGB颜色空间对光照亮度变化较为敏感，为了减少此变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空间。(2).然后对其中的H分量作直方图，在直方图中代表了不同H分量值出现的概率或者像素个数，就是说可以查找出H分量大小为h的概率或者像素个数，即得到了颜色概率查找表。(3).将图像中每个像素的值用其颜色出现的概率对替换，就得到了颜色概率分布图。这个过程就叫反向投影，颜色概率分布图是一个灰度图像。 2、MEANSHIFT MEANSHIFT算法是一种密度函数梯度估计的非参数方法，通过迭代寻优找到概率分布的极值来定位目标。 算法过程为： (1).在颜色概率分布图中选取搜索窗W (2).计算零阶距： 计算一阶距：

图像特征特点及其常用的特征提取与匹配方法

图像特征特点及其常用的特征提取与匹配方法 [ 2006-9-22 15:53:00 | By: 天若有情 ] 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1）颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（m ean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。（4）颜色聚合向量 其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 （5）颜色相关图 二纹理特征 （一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局

视频图像质量诊断系统综合方案(DOC 30页)

视频图像质量诊断系统综合方案 ?图像模糊检测 ?图像亮度异常诊断 ?图像偏色检测 ?图像雪花滚屏等噪声检测 ?球机或云台操控失灵检测 ?画面冻结与信号缺失检测 ?基于网络浏览器的远程查询与管理 ?诊断结果统计分析 ?报表自动生成与导出 ?适用于模拟和数字系统 北京世纪东方国铁科技股份有限公司

目录 一、系统综述 (2) 1.1、现状描述 (3) 1.2、需求分析 (3) 1.3、系统目标 (3) 二、系统总体方案设计 (5) 2.1、设计原则 (5) 2.2、系统结构 (5) 2.3、模块设计 (6) 2.4、功能定义 (7) 2.5、核心技术 (8) 2.6、系统特点 (10) 2.7、前端软件系统 (12) 2.7.1、总体介绍 (12) 2.7.2、系统设置 (13) 2.7.3、参数设置 (17) 2.8、后端管理系统 (19) 2.8.1、用户登录 (19) 2.8.2、诊断记录查询 (19) 2.8.3、统计分析 (20) 2.8.4、报表导出和打印 (22) 2.8.5、摄像头信息设置 (23) 2.8.6、系统管理 (24) 2.9、安全保障体系设计 (26) 2.10、产品优势 (26) 三、性能参数 (28) 3.1、总体性能指标 (28) 3.2、硬件配置 (28) 一、系统综述 监控摄像机数量的不断增加，监控的时间不断延长，推动了平安城市建设的发展，也给监

控系统的维护工作带来了新的挑战。如何及时了解前端视频设备的运行情况，发现故障并检测恶意遮挡与破坏的不法行为已成为视频监控系统运行的首要迫切问题。 1.1、现状描述 前端摄像头的故障分析与日常维护因监控系统的不断扩大而日益受到人们重视，从现在普遍出现的摄像头故障类型来看，影响视频监控系统视频质量的因素有很多，主要概括来说有以下几点： ?首先是摄像机的设置不当或器件老化失效造成，包含摄像机的分辨率、摄像机对光照的灵敏度、镜头聚焦调整、色彩校正无不涉及其中。 ?其次，大型监控网络中视频信号必须通过长距离电缆传输、多级矩阵切换以及多级网络转发，电源、控制器等多种干扰信号可能对视频信号产生强烈的干扰，线路老化、接头松动等现场环境的变化可能带来视频噪声。 ?另外，很多治安监控系统的特点是大量使用PTZ球机，长期的运动变焦有可能让部分球机发生方向错误、不可控等故障。为了确保所有的视频输入设备正常工作，视频图像录而可用，就需要随时检查和分析视频质量和球机运行状态。 1.2、需求分析 目前来说，视频监控系统的维护工作一般是由人工完成的。维护人员在中心监控室，通过模拟矩阵或数字视频流媒体服务器将远端视频调出到监视屏中，人工判断每路视频的质量，并将有问题的视频记录到维护报表中。这项工作十分耗时繁重，因此一般维护工作会以半月或一月为周期定期检查，视频故障只能在检测的时候才能发现。 由于监视屏数量有限，维护人员往往在一个监视屏同时监看多台摄像机或随机抽取摄像头显示，造成部分监控点被漏看或被忽视；另外，维护人员存在一定的不稳定性、随意性和局限性，加上人的注意力有限、容易疲劳，会被其他事物干扰，使得这样的人工检查结果也不具客观性。这种人工维护工作不仅费时费力，而且效果不好，视频信号在出现不同的常见故障后，往往不能及时地被维护人员发现，一旦发生紧急情况，再想补救已经来不及。 1.3、系统目标 自主研发的视频质量诊断系统主要应用在视频监控系统的控制中心，通过轮询的方式对各路模拟或数字视频信号进行自动检测，利用先进的机器学习和计算机视觉技术，仿真人类的视

(完整版)视频目标检测与跟踪算法综述

视频目标检测与跟踪算法综述 1、引言 运动目标的检测与跟踪是机器视觉领域的核心课题之一，目前被广泛应用在视频编码、智能交通、监控、图像检测等众多领域中。本文针对视频监控图像的运动目标检测与跟踪方法，分析了近些年来国内外的研究工作及最新进展。 2、视频监控图像的运动目标检测方法 运动目标检测的目的是把运动目标从背景图像中分割出来。运动目标的有效分割对于目标分类、跟踪和行为理解等后期处理非常重要。目前运动目标检测算法的难点主要体现在背景的复杂性和目标的复杂性两方面。背景的复杂性主要体现在背景中一些噪声对目标的干扰，目标的复杂性主要体现在目标的运动性、突变性以及所提取目标的非单一性等等。所有这些特点使得运动目标的检测成为一项相当困难的事情。目前常用的运动目标检测算法主要有光流法、帧差法、背景相减法，其中背景减除法是目前最常用的方法。 2.1帧差法 帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标，假设f k（x, y）和f（k i）（x, y）分别为图像序列中的第k帧和第k+1帧中象素点（x，y）的象素值,则这两帧图像的差值图像就如公式2-1所示： Diff ki f k（x, y） f（k 1）（x, y）（2-1）2-1式中差值不为0的图像区域代表了由运动目标的运动所经过的区域（背景象素值不变），又因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过的区域也就代表了当前帧中运动目标所在的区域。利用此原理便可以提取出目标。下图给出了帧差法的基本流程：1、首先利用2-1式得到第k帧和第k+1帧的差值图像Diff k 1；2、对所得到的差值图像Diff k 1二值化（如 式子2-2示）得到Qk+1 ；3、为消除微小噪声的干扰，使得到的运动目标更准 确，对Q k 1进行必要的滤波和去噪处理，后处理结果为M k 1。 1