数字影像特征点提取算法

【CN110020639A】视频特征提取方法及相关设备【专利】

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910312917.8 (22)申请日 2019.04.18 (71)申请人 北京奇艺世纪科技有限公司 地址 100080 北京市海淀区北一街2号爱奇 艺创新大厦10、11层 (72)发明人 晋瑞锦　张云桃　 (74)专利代理机构 北京集佳知识产权代理有限 公司 11227 代理人 钱娜　王宝筠 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) (54)发明名称视频特征提取方法及相关设备(57)摘要本发明提供了一种视频特征提取方法及相关设备，本方案可以对多帧目标视频图像进行时域及空域上的卷积处理，得到第一预设数量通道的第一视频特征，然后对第一预设数量通道的第一视频特征进行分组，并使用不同尺寸的卷积核对各个分组的第一视频特征进行时域上的卷积处理，得到每个分组各自对应的第二预设数量通道的第二视频特征，再对第二视频特征进行空域上的卷积处理，以得到第三预设数量通道的第三视频特征。本方案中，3D卷积神经网络可以将输入的多帧视频图像进行通道分离处理，不同通道在时域上进行不同尺度的卷积处理，分组的方式可以有效地减少网络参数，从而提高视频特征的提取效率，进而使得该网络模型的实际应用效果 更佳。权利要求书3页 说明书11页 附图3页CN 110020639 A 2019.07.16 C N 110020639 A

权　利　要　求　书1/3页CN 110020639 A 1.一种视频特征提取方法，其特征在于，所述方法适用于3D卷积神经网络，包括： 获得多帧目标视频图像； 对所述多帧目标视频图像进行时域及空域上的卷积处理，得到第一预设数量通道的第一视频特征； 对所述第一预设数量通道的第一视频特征进行分组，并使用不同尺寸的卷积核对各个分组的第一视频特征进行时域上的卷积处理，得到每个分组各自对应的第二预设数量通道的第二视频特征； 对所述第二视频特征进行空域上的卷积处理，以得到第三预设数量通道的第三视频特征。 2.根据权利要求1所述的视频特征提取方法，其特征在于，所述对所述第二视频特征进行空域上的卷积处理，以得到第三预设数量通道的第三视频特征，包括：合并每个分组各自的第二预设数量通道的第二视频特征，以得到一组包括第三预设数量通道的第二视频特征； 分别对一组中的每个通道的第二视频特征进行空域上的卷积处理，以得到第三预设数量通道的第三视频特征。 3.根据权利要求1所述的视频特征提取方法，其特征在于，还包括： 对所述第三预设数量通道的第三视频特征进行分组，并使用不同尺寸的卷积核对各个分组的第三视频特征进行时域上的卷积处理，得到每个分组各自对应的第四预设数量通道的第四视频特征。 4.根据权利要求3所述的视频特征提取方法，其特征在于，还包括： 合并每个分组各自的第四预设数量通道的第四视频特征，以得到一组包括第五预设数量通道的第四视频特征； 将所述第一视频特征进行升维处理，以得到第五预设数量的第五视频特征，并将第五预设数量的所述第四视频特征与第五预设数量的所述第五视频特征分别对应相加，以得到第五预设数量的第六视频特征。 5.根据权利要求1所述的视频特征提取方法，其特征在于，所述获得多帧目标视频图像，包括： 获得多帧原始视频图像； 对所述多帧原始视频图像中的至少一帧原始视频图像进行分辨率调整，以得到符合3D 卷积神经网络的分辨率要求的目标视频图像。 6.根据权利要求1所述的视频特征提取方法，其特征在于，所述获得多帧目标视频图像，包括： 获得多帧原始视频图像； 按照预设的帧间隔长度，从所述多帧原始视频图像中间隔抽取原始视频图像，以得到目标视频图像。 7.一种视频特征提取装置，其特征在于，适用于3D卷积神经网络，所述装置包括： 视频图像获得单元，用于获得多帧目标视频图像； 普通卷积处理单元，用于对所述多帧目标视频图像进行时域及空域上的卷积处理，得到第一预设数量通道的第一视频特征； 2

图像中角点(特征点)提取与匹配算法

角点提取与匹配算法实验报告 1 说明 本文实验的目标是对于两幅相似的图像，通过角点检测算法，进而找出这两幅图像的共同点，从而可以把这两幅图像合并成一幅图像。 下面描述该实验的基本步骤: 1.本文所采用的角点检测算法是Harris 角点检测算法，该算法的基本原理是取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，并用解析形式表达。设以像素点(x,y)为中心的小窗口在X 方向上移动u ，y 方向上移动v ，Harris 给出了灰度变化度量的解析表达式： 2 ,,|,|,,()(x y x y x u y v x y x y I I E w I I w u v o X Y ??= -=++??∑∑ (1) 其中，,x y E 为窗口内的灰度变化度量；,x y w 为窗口函数，一般定义为2 2 2 ()/,x y x y w e σ +=； I 为图像灰度函数，略去无穷小项有： 222222 ,,[()()2]2x y x y x y x y E w u I v I uvI I Au Cuv Bv = ++=++∑ （2） 将,x y E 化为二次型有： ,[]x y u E u v M v ?? =???? (3) M 为实对称矩阵： 2 ,2 x y x x y x y y I I I M w I I I ???= ???????∑ (4) 通过对角化处理得到： 11 ,200x y E R R λλ-??= ??? (5) 其中，R 为旋转因子，对角化处理后并不改变以u,v 为坐标参数的空间曲面的形状，其特征值反应了两个主轴方向的图像表面曲率。当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。Harris 的角点响应函数(CRF)表达式由此而得到： 2 (,)det()(())C RF x y M k trace M =- (6)

关于图像特征提取

关于图像特征提取 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 特征的定义 至今为止特征没有万能和精确的定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 有时，假如特征提取需要许多的计算时间，而可以使用的时间有限制，一个高层次算法可以用来控制特征提取阶层，这样仅图像的部分被用来寻找特征。 由于许多计算机图像算法使用特征提取作为其初级计算步骤，因此有大量特征提取算法被发展，其提取的特征各种各样，它们的计算复杂性和可重复性也非常不同。 边缘 边缘是组成两个图像区域之间边界（或边缘）的像素。一般一个边缘的形状可以是任意的，还可能包括交叉点。在实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集。一些常用的算法还会把梯度高的点联系起来来构成一个更完善的边缘的描写。这些算法也可能对边缘提出一些限制。 局部地看边缘是一维结构。 角 角是图像中点似的特征，在局部它有两维结构。早期的算法首先进行边缘检测，然后分析边缘的走向来寻找边缘突然转向（角）。后来发展的算法不再需要边缘检测这个步骤，而是可以直接在图像梯度中寻找高度曲率。后来发现这样有时可以在图像中本来没有角的地方发现具有同角一样的特征的区域。 区域 与角不同的是区域描写一个图像中的一个区域性的结构，但是区域也可能仅由一个像素组成，因此许多区域检测也可以用来监测角。一个区域监测器检测图像中一个对于角监测器来说太平滑的区域。区域检测可以被想象为把一张图像缩小，然后在缩小的图像上进行角检测。 脊 长条形的物体被称为脊。在实践中脊可以被看作是代表对称轴的一维曲线，此外局部针对于每个脊像素有一个脊宽度。从灰梯度图像中提取脊要比提取边缘、角和区域困难。在空中摄影中往往使用脊检测来分辨道路，在医学图像中它被用来分辨血管。 特征抽取 特征被检测后它可以从图像中被抽取出来。这个过程可能需要许多图像处理的计算机。其结果被称为特征描述或者特征向量。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特

数字摄影测量复习题含答案

第五章数字影像与特征提取 1.什么是数字影像?其频域表达有什么作用？ 答：①数字影像是以数字形式保存数字化航空、胶片影像的扫描影像 ②频域表达对数字影像处理是很重要的。因为变换后矩阵中元素的数目与原像中的相同。但其中很多是零值或数值很小，这就意味着通过变换、数据可以被压缩，使其能更有效的存储和传递；其次是影像分解力的分析以及许多影像处理过程。例如滤波、卷积以及在有些情况下的相关运算，在频域内可以更为有利的进行。其中所利用的一条重要关系就是在空间域内的一个卷积，相当于在频率域内其卷积函数的相乘，反之亦然。在摄影测量中所使用的影像的傅立叶谱可以有很大的变化，例如在任何一张航摄影像上总可以找到有些地方只含有很低的频率信息，而有些地方则主要包含高频信息，偶然的有些地区主要是有一个狭窄范围的带频率信息。 2.怎样根据已知的数字影像离散灰度值，精确计算其任意一点上的灰度值？ 答：：当欲知不位于矩阵(采样)点上的原始函数g（x,y）的数值时就需要内插，此时称为重采样 3.常用的影像重采样方法有哪些？试比较他们的优缺点 答：①常用的影像重采样方法有最邻近像元法、双线性插值、双三次卷积法 ②最邻近像元法最简单、计算速度快、且能不破坏原始影像的灰度信息，但几何精度较差； 双线性插值法虽破坏原始影像的灰度信息，但精度较高，较为适宜；

双三次卷积法其重采样中误差约为双线性插值的1/3，但较费时； 4.已知/4，4，为采 样间隔，用双线性插值计算gk,l 答:g(k,l)=W(i,j) g(i,j）+W(i+1,j) g(i+1,j）+W(i,j+1) g(i,j+1）+W(i+1，j+1) =（1- /4）（/4）*102+（/4/4*112+ 4（1- 4） *118+( /4)* ( /4)*126 =102+13/-1 ５.什么是线特征？有哪些梯度算子可用于线特征的提取？ 答：①线特征指影像的边缘与线，边缘可定义影响局部区域特征不相同的那些区域间的分界线，而线则可以认为是具有很小宽度的其中间区域具有相同影响特征的边缘对 ②常用方法有差分算子、拉普拉斯算子、LOG算子等

数字图像的特征提取

呵呵,看了半天，原来你只不过要求进行边缘检测就可以，然后再做阈值化而已，太简单了。按照下面做即可： void RobelEdgeDetect(LPBYTE lpDibTemp, LPBYTE lpDibSave,int width,int height) { int i,j; float R; float RCos,RSin; for(j=1;j =128) //阈值化 lpDibSave[j*width+i]=255; else lpDibSave[j*width+i]=0; } } ok,一切完成！！！其中，阈值化时，要跟你的图像具体情况而定，当然可以使用自适应阈值最 好了。

SIFT 特征提取算法详解

SIFT 特征提取算法总结 主要步骤 1)、尺度空间的生成； 2)、检测尺度空间极值点； 3)、精确定位极值点； 4)、为每个关键点指定方向参数； 5)、关键点描述子的生成。 L(x,y,σ), σ= 1.6 a good tradeoff

D(x,y,σ), σ= 1.6 a good tradeoff

关于尺度空间的理解说明：图中的2是必须的，尺度空间是连续的。在 Lowe 的论文中， 将第0层的初始尺度定为1.6，图片的初始尺度定为0.5. 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。 next octave 是由first octave 降采样得到（如2） ， 尺度空间的所有取值，s为每组层数，一般为3~5 在DOG尺度空间下的极值点 同一组中的相邻尺度（由于k的取值关系，肯定是上下层）之间进行寻找

在极值比较的过程中，每一组图像的首末两层是无法进行极值比较的，为了满足尺度 变化的连续性，我们在每一组图像的顶层继续用高斯模糊生成了 3 幅图像， 高斯金字塔有每组S+3层图像。DOG金字塔每组有S+2层图像.

If ratio > (r+1)2/(r), throw it out (SIFT uses r=10) 表示DOG金字塔中某一尺度的图像x方向求导两次 通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度）？

直方图中的峰值就是主方向，其他的达到最大值80%的方向可作为辅助方向 Identify peak and assign orientation and sum of magnitude to key point The user may choose a threshold to exclude key points based on their assigned sum of magnitudes. 利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备 旋转不变性。以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度 方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。随着距中心点越远的领域其对直方图的贡献也响应减小.Lowe论文中还提到要使用高斯函 数对直方图进行平滑，减少突变的影响。

图像特征提取总结

图像常见特征提取方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1）颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。（5）颜色相关图 二纹理特征 （一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。作为一种统计特征，纹理特征常具有旋转不变性，并且对于噪声有较强的抵抗能力。但是，纹理特征也有其缺点，一个很明显的缺点是当图像的分辨率变化的时候，所计算出来的纹理可能会有较大偏差。另外，由于有可能受到光照、反射情况的影响，从2-D图像中反映出来的纹理不一定是3-D物体表面真实

SIFT特征点提取与匹配算法

SIFT 特征点匹配算法 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能相对高效地计算出关键点的位置，建议使用的是差分高斯函数（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。

图像特征提取方法

图像特征提取方法 摘要 特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。 至今为止特征没有万能和精确的图像特征定义。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”：同一场景的不同图像所提取的特征应该是相同的。 特征提取是图象处理中的一个初级运算，也就是说它是对一个图像进行的第一个运算处理。它检查每个像素来确定该像素是否代表一个特征。假如它是一个更大的算法的一部分，那么这个算法一般只检查图像的特征区域。作为特征提取的一个前提运算，输入图像一般通过高斯模糊核在尺度空间中被平滑。此后通过局部导数运算来计算图像的一个或多个特征。 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。当光差图像时，常 常看到的是连续的纹理与灰度级相似的区域，他们相结合形成物体。但如果物体的尺寸很小 或者对比度不高，通常要采用较高的分辨率观察：如果物体的尺寸很大或对比度很强，只需 要降低分辨率。如果物体尺寸有大有小，或对比有强有弱的情况下同事存在，这时提取图像 的特征对进行图像研究有优势。 常用的特征提取方法有：Fourier变换法、窗口Fourier变换（Gabor)、小波变换法、最 小二乘法、边界方向直方图法、基于Tamura纹理特征的纹理特征提取等。

设计内容 课程设计的内容与要求（包括原始数据、技术参数、条件、设计要求等）：一、课程设计的内容 本设计采用边界方向直方图法、基于PCA的图像数据特征提取、基于Tamura纹理特征的纹理特征提取、颜色直方图提取颜色特征等等四种方法设计。 （1）边界方向直方图法 由于单一特征不足以准确地描述图像特征,提出了一种结合颜色特征和边界方向特征的图像检索方法.针对传统颜色直方图中图像对所有像素具有相同重要性的问题进行了改进,提出了像素加权的改进颜色直方图方法;然后采用非分割图像的边界方向直方图方法提取图像的形状特征,该方法相对分割方法具有简单、有效等特点,并对图像的缩放、旋转以及视角具有不变性.为进一步提高图像检索的质量引入相关反馈机制,动态调整两幅图像相似度中颜色特征和方向特征的权值系数,并给出了相应的权值调整算法.实验结果表明,上述方法明显地优于其它方法.小波理论和几个其他课题相关。所有小波变换可以视为时域频域的形式，所以和调和分析相关。所有实际有用的离散小波变换使用包含有限脉冲响应滤波器的滤波器段(filterbank)。构成CWT的小波受海森堡的测不准原理制约，或者说，离散小波基可以在测不准原理的其他形式的上下文中考虑。 通过边缘检测，把图像分为边缘区域和非边缘区域，然后在边缘区域内进行边缘定位．根据局部区域内边缘的直线特性，求得小邻域内直线段的高精度位置；再根据边缘区域内边缘的全局直线特性，用线段的中点来拟合整个直线边缘，得到亚像素精度的图像边缘．在拟合的过程中，根据直线段转角的变化剔除了噪声点，提高了定位精度．并且，根据角度和距离区分出不同直线和它们的交点，给出了图像精确的矢量化结果 图像的边界是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合，边界广泛的存在于物体和背 景之间、物体和物体之间，它是图像分割所依赖的重要特征．边界方向直方图具有尺度不变性，能够比较好的 描述图像的大体形状．边界直方图一般是通过边界算子提取边界，得到边界信息后，需要表征这些图像的边 界，对于每一个边界点，根据图像中该点的梯度方向计算出该边界点处法向量的方向角，将空间量化为M级， 计算每个边界点处法向量的方向角落在M级中的频率，这样便得到了边界方向直方图． 图像中像素的梯度向量可以表示为[ ( ，)，)，( ，)，)] ，其中Gx( ，)，)，G ( ，)，)可以用下面的

视频内容特征的提取

视频内容特征的提取 【摘要】本文是基于视频特征提取的技术研究，主要是对关键帧进行特征提取，得到一个尽可能充分反映关键帧内容的特征空间，作为视频聚类和检索的依据，着重研究了关键帧的视觉特征，包括颜色特征、纹理特征、形状特征等静态特征和运动特征等。 【关键词】关键帧；特征；运动 0 引言 关键帧是视频的镜头表示帧。基于关键帧的特征检索是基于内容视频检索的重要一部分。虽然人们更倾向于使用语义特征进行视频查询，但由于语义特征很难做到自动提取，所以通常视频检索所采用的是较低层的关键帧的视觉特征，包括颜色特征、纹理特征、形状特征等静态特征，也包括反映镜头一定语义内容的运动特征等。 1 视频特征描述的要求 基于内容的视频检索实际上就是基于特征的检索。因此是视频检索的基础，也是难点所在。良好的特征应具有以下特点： 1）可区别性：对于不同的图像来说，其特征值应具有明显的差异，便于比较； 2）可靠性：对相似图像的特征值应比较相近，查询的结果是按特征值相似程度排列的图像集合； 3）独立性：所用的各个特征之间应彼此不相关； 4）特征维度低：检索复杂度随着特征数量和特征维数会迅速增长，不利于检索。 2 静态特征提取 2.1 提取颜色特征 色彩是物体表面的一种视觉特性，是人类视觉的重要组成部分。每种物体都有其特有的色彩特征，同一类物体往往有着相似的色彩特征。因此可以根据色彩特征来区分物体。而且颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种形变都不敏感，表现出相当强的鲁棒性。颜色内容一般包含两个方面，一个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来索引图像可以通过计算每种颜色的象素的个数并构造颜色灰度直方图来实现，这对检索具有

SIFT特征点提取与匹配算法

二 特征点提取算法 1、基于SIFT （Scale Invariant Feature Transform ）方法的图像特征匹配 参看David G. Lowe 的“Distinctive Image Features from Scale-Invariant Keypoints ” 基于SIFT 方法的图像特征匹配可分为特征提取和特征匹配两个部分，可细化分为五个部分： ① 尺度空间极值检测（Scale-space extrema detection ）； ② 精确关键点定位（Keypoint localization ） ③ 关键点主方向分配（Orientation assignment ） ④ 关键点描述子生成（Keypoint descriptor generation ） ⑤ 比较描述子间欧氏距离进行匹配（Comparing the Euclidean distance of the descriptors for matching ） 1.1 尺度空间极值检测 特征关键点的性质之一就是对于尺度的变化保持不变性。因此我们所要寻找的特征点必须具备的性质之一，就是在不同尺度下都能被检测出来。要达到这个目的，我们可以在尺度空间内寻找某种稳定不变的特性。 Koenderink 和Lindeberg 已经证明，变换到尺度空间唯一的核函数是高斯函数。因此一个图像的尺度空间定义为：(,,)L x y σ，是由可变尺度的高斯函数(,,)G x y σ与输入图像(,)I x y 卷积得到，即： ),(),,(),,(y x I y x G y x L *=σσ （1.1） 其中：2222/)(221 ),,(σπσσy x e y x G +-= 在实际应用中，为了能计算的相对高效，所真正使用的是差分高斯尺度空间（difference of Gaussian ）(,,)D x y σ。其定义如下： ) ,,(),,() ,()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= （1.2） 如上式，D 即是由两个相邻的尺度的差（两个相邻的尺度在尺度上相差一个相乘系数k ）。

视频内容特征的提取-精选资料

视频内容特征的提取 0 引言 关键帧是视频的镜头表示帧。基于关键帧的特征检索是基于内容视频检索的重要一部分。虽然人们更倾向于使用语义特征进行视频查询，但由于语义特征很难做到自动提取，所以通常视频检索所采用的是较低层的关键帧的视觉特征，包括颜色特征、纹理特征、形状特征等静态特征，也包括反映镜头一定语义内容的运动特征等。 1 视频特征描述的要求 基于内容的视频检索实际上就是基于特征的检索。因此是视频检索的基础，也是难点所在。良好的特征应具有以下特点：1）可区别性：对于不同的图像来说，其特征值应具有明显的差异，便于比较； 2）可靠性：对相似图像的特征值应比较相近，查询的结果是按特征值相似程度排列的图像集合； 3）独立性：所用的各个特征之间应彼此不相关； 4）特征维度低：检索复杂度随着特征数量和特征维数会迅速增长，不利于检索。 2 静态特征提取 2.1 提取颜色特征 色彩是物体表面的一种视觉特性，是人类视觉的重要组成部

分。每种物体都有其特有的色彩特征，同一类物体往往有着相似的色彩特征。因此可以根据色彩特征来区分物体。而且颜色特征非常稳定，对于旋转、平移、尺度变化，甚至各种形变都不敏感，表现出相当强的鲁棒性。颜色内容一般包含两个方面，一个对应于全局颜色分布，一个对应于局部颜色信息。按照全局颜色分布来索引图像可以通过计算每种颜色的象素的个数并构造颜色灰 度直方图来实现，这对检索具有相似的总体颜色内容的图像是一个很好的途径。局部颜色信息是指局部相似的颜色区域，它考虑了颜色的分类与一些初级的几何特征。比如，颜色集是通过抽取空间局部颜色信息来提供颜色区域的有效索引。而颜色矩特征的数学依据是任何颜色的分布均可由它的矩来刻画，且大部分信息集中在低阶矩上。 2.2 提取纹理特征 纹理就是图像局部不规则而宏观有规律的特性。它是与物体表面材质有关的图像特征。目前也是基于内容检索系统中所采用的一个重要手段。纹理特征表达是Tamura等人在对人类对纹理的视觉感知的心理学研究的基础上提出的，在视觉上和心理上都是有意义的。纹理特征包括粗糙性（Coarseness）、规则性（Regularity）、线条相似性（Linelikeness）、凹凸性（Roughness）、方向性（Directionality）和对比度（Contrast）等，这些特征都可作为检索项。纹理特征可使用统计方法和结构方法进行分析。结构方法假定图像由较小的纹理基元排列而成，

图像局部特征点检测算法综述

图像局部特征点检测算法综述 研究图像特征检测已经有一段时间了，图像特征检测的方法很多，又加上各种算法的变形，所以难以在短时间内全面的了解，只是对主流的特征检测算法的原理进行了学习。总体来说，图像特征可以包括颜色特征、纹理特等、形状特征以及局部特征点等。其中局部特点具有很好的稳定性，不容易受外界环境的干扰，本篇文章也是对这方面知识的一个总结。 本篇文章现在(2015/1/30)只是以初稿的形式，列出了主体的框架，后面还有许多地方需要增加与修改，例如2013年新出现的基于非线性尺度空间的KAZE特征提取方法以及它的改进AKATE等。在应用方面，后面会增一些具有实际代码的例子，尤其是基于特征点的搜索与运动目标跟踪方面。 1. 局部特征点 图像特征提取是图像分析与图像识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的M×N×3的数据矩阵中，我们看不出任何信息，所以我们必须根据这些数据提取出图像中的关键信息，一些基本元件以及它们的关系。 局部特征点是图像特征的局部表达，它只能反正图像上具有的局部特殊性，所以它只适合于对图像进行匹配，检索等应用。对于图像理解则不太适合。而后者更关心一些全局特征，如颜色分布，纹理特征，主要物体的形状等。全局特征容易受到环境的干扰，光照，旋转，噪声等不利因素都会影响全局特征。相比而言，局部特征点，往往对应着图像中的一些线条交叉，明暗变化的结构中，受到的干扰也少。 而斑点与角点是两类局部特征点。斑点通常是指与周围有着颜色和灰度差别的区域，如草原上的一棵树或一栋房子。它是一个区域，所以它比角点的噪能力要强，稳定性要好。而角点则是图像中一边物体的拐角或者线条之间的交叉部分。 2. 斑点检测原理与举例 2.1 LoG与DoH 斑点检测的方法主要包括利用高斯拉普拉斯算子检测的方法（LOG）,以及利用像素点Hessian矩阵（二阶微分）及其行列式值的方法（DOH）。 LoG的方法已经在斑点检测这入篇文章里作了详细的描述。因为二维高斯函数的拉普拉斯核很像一个斑点，所以可以利用卷积来求出图像中的斑点状的结构。 DoH方法就是利用图像点二阶微分Hessian矩阵：

(完整版)图像特征特点及常用的特征提取与匹配方法

图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩

图像特征特点及其常用的特征提取与匹配方法

图像特征特点及其常用的特征提取与匹配方法 [ 2006-9-22 15:53:00 | By: 天若有情 ] 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1）颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（m ean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。（4）颜色聚合向量 其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 （5）颜色相关图 二纹理特征 （一）特点：纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局

图像特征提取总结

图像常见xx方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点： 颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。 一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。 由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的xx与匹配方法 （1）颜色直方图 其优点在于： 它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于： 它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间： RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：

直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。 在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于： 图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是： 将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 （5）颜色相关图 二纹理特征 （一）特点： 纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行

图像匹配中特征点提取算法研究

、原始依据 1.工作基础 特征点是数字图像中重要的几何特征，特征点的准确提取对于图像处理和图像测量具有重要意义。Harris算子是C. Harris和J. Stephens在1988年提出的一种基于信号的点特征提取算子。Harris角点检测算法是一种非常经典的提取算法，这种算子受信号处理中自相关函数的启发。给出与自相关函数相联系的矩阵M。M阵的特征 值是自相关函数的一阶曲率，如果两个曲率值都高，则认为该点是特征点。Harris算 法具有计算简单、提取的角点特征均匀合理、可以定量提取特征点以及算子稳定的特点。 2?研究条件 系统的开发已经具备的外界条件是具有藏书丰富的天津大学仁爱学院图书馆，并 且随时可以得到指导老师的辅导和指点，系统开发所使用的电脑已经介入In ternet，能方便的在外网上进行查阅资料。开发环境是普通个人计算机，软件支持是Windows 系列的操作系统。 3?应用环境 论文在解决图像特征点的提取问题上积极应用并改进Harris算法，并运用多个不 同类型的图像实验比较算法的优缺点。 4.工作目的 掌握使用Harris算法提取图像特征点的方法以及Harris算法的原理。考证不同类型图像使用Harris算法提取图像特征点的优劣。 二、参考文献修改同开题 [1]陈利军.图像角点检测和匹配算法的研究[D].西安：西安电子科技大学， 2005. 163—168. [2]李兰友，王学彬.Visual C#图像处理程序设计实例[M].北京：北京国防工业出版社，2003. 88— 102. [3]李玲玲，李印清.图像配准中角点检测算法的研究与比较[J].郑州：郑州航空工业管理学院学报 (社会科学版)，2006, 25(2): 190—192. [4]W ANG Wei ，TANG Yi-ping. Image Corner Detection Technique Research on Machine Vision[R] . Beijing : National Natural Scienee Foundation of China 2006. 46—58. ⑸Kitchen L，Rosenfeld A. Gray -Level Corner Detection[J]. Netherlands： Pattern Recog ni tion Letters， 1982，13(2)：163—175. [6]Moravia HP . Towards Automatic Visual Obstacle Avoidance[C]. Proceedings of International Joint Conference on Artificial Intelligenee, Cambridge, MA . USA: 1977. 10—12. [7]Smith S M. Brady M. SUSAN-a New Approach to Low Level Image Processi ng