模板匹配
halcon模板匹配
* 在一个图片中获取ROI并在此图片中匹配
dev_close_window ()
dev_open_window (0, 0, 600, 600, 'black', WindowHandle)
* 窗口语句
read_image(Image,'L:/Halcon test/mk2.jpg')
*read_image(Image,'L:/Halcon test/mk3.jpg')
*read_image(Image,'L:/Halcon test/mk4.jpg')
* 这里有4张图片，每一张都说明一个小问题，附图分析。
gen_rectangle1 (ROI1, 57.8333, 49.5, 181.167, 342.833)
* 画一个矩形选择ROI，矩形在左上角，覆盖一个完整的，无变形规定尺寸的商标，作为模板。
reduce_domain(Image,ROI1,ImageReduced1)
* 大图和这个矩形的ROI相减就会得到一个左上角的商标的图案作为模板，命名ImageReduced。
create_shape_model(ImageReduced1,0,0,rad(360),0,'no_pregeneration','use_polarity',40,10,ModelID1)
* 创建一个比例不变（1:1）的匹配的轮廓模型。具体参数下个帖子说明，也可见[Halcon算子学习交流区] Halcon模版匹配算子解析。
find_shape_model(Image,ModelID1,0,rad(360),0.7,13,0.5,'interpolation',0,0.9,Row,Column,Angle,Score)
* 寻找与模板的大小尺寸必须是一比一匹配的，只是角度的不同而已，若大小发生变化，则不能匹配
get_shape_model_contours(ModelContours1,ModelID1,1)
* 在大图中获取匹配。
for i := 0 to |Row|-1 by 1
vector_angle_to_rigid(0,0,0,Row【i】,Column【i】,Angle【i】,HomMat2D)
affine_trans_contour_xld(ModelContours2,ContoursAffinTrans,HomMat2D)
endfor
* 获取匹配。
disp_message (WindowHandle, '总共匹配了' + |Row| + '个商标', 'window', 12, 12, 'red', 'true')
* 输出数量统计。
clear_shape_model(ModelID1)
stop()
[cpp]view plain copy
1.create_shape_model(
2.Template : : //reduce_domain后的模板图像
3.NumLevels,//金字塔的层数，可设为“auto”或0—10的整数
4.AngleStart,//模板旋转的起始角度
5.AngleExtent,//模板旋转角度范围, >=0
6.AngleStep,//旋转角度的步长， >=0 and <=pi/16
7.Optimization,//设置模板优化和模板创建方法
8.Metric, //匹配方法设置
9.Contrast,//设置对比度
10.MinContrast ://设置最小对比度
11.ModelID ) //输出模板句柄
1. NumLevels越大，找到匹配使用的时间就越小。另外必须保证最高层的图像具有足够的信息（至少四个点）。可以通过inspect_shape_model函数查看设置的结果。如果最高层金字塔的消息太少，算法内部会自动减少金字塔层数，如果最底层金字塔的信息太少，函数就会报错。如果设为auto，算法会自动计算金字塔的层数，我们可以通过
get_shape_model_params函数查看金字塔的层数。如果金字塔的层数太大，模板不容易识别出来，这是需要将
find_shape_model函数中MinScore和Greediness参数设置的低一些。如果金字塔层数太少找到模板的时间会增加。可以先使用inspect_shape_model函数的输出结果来选择一个较好的金字塔层数。
2. 参数AngleStart、AngleExtent定义了模板可能发生旋转的范围。注意模板在find_shape_model函数中只能找到这个范围内的匹配。参数AngleStep定义了旋转角度范围内的步长。如果在find_shape_model函数中没有指定亚像素精度，这个参数指定的精度是可以实现find_shape_mode函数中的角度的。参数AngleStep的选择是基于目标的大小的，如果模板图像太小不能产生许多不同离散角度的图像，因此对于较小的模板图像AngleStep应该设置的比较大。如果AngleExtent不是AngleStep的整数倍，将会相应的修改AngleStep。
如果选择complete pregeneration，不同角度的模板图像将会产生并保存在内存中。用来存储模板的内存与旋转角度的数目和模板图像的的点数是成正比的。因此，如果AngleStep太小或是AngleExtent太大, 将会出现该模型不再适合（虚拟）内存的情况。在任何情况下，模型是完全适合主存储器的，因为这避免了操作系统的内存分页，使得寻找匹配模板的时间变短。由于find_shape_model函数中的角度可以使用亚像素精度，一个直径小于200像素的模板可以选择AngleStep>= 1。
如果选择AngleStep='auto' (or 0 向后兼容),create_shape_model将会基于模板的大小自动定义一个合适的角度步长. 自动计算出来的AngleStep可以使用get_shape_model_params函数查看。
如果没有选择complete pregeneration, 该模型会在每一层金字塔上建立在一个参考的位置。这样在find_shape_model 函数运行时，该模型必须转化为不同的角度和尺度在运行时在。正因为如此，匹配该模型可能需要更多的时间。
3. 对于特别大的模板图像，将参数Optimization设置为不同于'none'的其他数值是非常有用的。如果Optimization= 'none', 所有的模型点将要存储。在其他情况下, 按照Optimization的数值会将模型的点数减少. 如果模型点数变少了，必须在find_shape_model函数中将参数Greediness设为一个比较小的值, 比如：0.7、0.8。对于比较小的模型, 减少模型点数并不能提高搜索速度，因为这种情况下通常显着更多的潜在情况的模型必须进行检查。如果Optimization设置为'auto'，create_shape_model自动确定模型的点数。Optimization的第二个值定义了模型是否进行预处理
（pregenerated completely），是通过选择'pregeneration'或者'no_pregeneration'来设置的。如果不使用第二个值(例如：仅仅设置了第一个值), 默认的是系统中的设置，是通过set_system('pregenerate _shape_models',...)来设置的，对于默认值是('pregenerate_shape_models' = 'false'), 模型没有进行预处理. 模型的预处理设置通常会导致比较低的运行时间，因为模型不需要在运行时间时转换。然而在这种情况下,内存的要求和创建模板所需要的时间是比较高的。还应该指出，不能指望这两个模式返回完全相同的结果，因为在运行时变换一定会导致变换模型和预处理变换模型之间不同的内部数据。比如，如果模型没有completely pregenerated，在find_shape_model函数中通常返回一个较低的scores，这可能需要将MinScore设置成一个较低的值。此外，在两个模型中插值法获得的位置可能略有不同。如果希望是最高精确度，应该使用最小二乘调整得到模型位置。
4. 参数Contras决定着模型点的对比度。对比度是用来测量目标与背景之间和目标不同部分之间局部的灰度值差异。Contrast的选择应该确保模板中的主要特征用于模型中。Contrast也可以是两个数值，这时模板使用近似edges_image 函数中滞后阈值的算法进行分割。这里第一个数值是比较低的阈值，第二个数值是比较高的阈值。Contrast也可以包含第三个，这个数值是在基于组件尺寸选择重要模型组件时所设置的阈值，比如，比指定的最小尺寸的点数还少的组件将被抑制。这个最小尺寸的阈值会在每相邻的金字塔层之间除以2。如果一个小的模型组件被抑制，但是不使用滞后阈值，然而在Contrast中必须指定三个数值，在这种情况下前两个数值设置成相同的数值。这个参数的设置可以在
inspect_shape_model函数中查看效果。如果Contrast设置为'auto'，create_shape_model将会自动确定三个上面描述的数值。或者仅仅自动设置对比度('auto_contrast')，滞后阈值('auto_contrast_hyst')或是最小尺寸('auto_min_size')中一个。其他没有自动设置的数值可以按照上面的格式再进行设置。可以允许各种组合，例如：如果设置
['auto_contrast','auto_min_size']，对比度和最小尺寸自动确定；如果设置['auto_min_size',20,30]，最小尺寸会自动设定，而滞后阈值被设为20和30。有时候可能对比度阈值自动设置的结果是不满意的，例如，由于一些具体应用的原因当某一个模型组件是被包含或是被抑制时，或是目标包含几种不同的对比度时，手动设置这些参数效果会更好。因此对比度阈值可以使用determine_shape_model_params函数自动确定，也可以在调用create_shape_model之前使用inspect_shape_mode函数检查效果。
5. 参数Metric定义了在图像中匹配模板的条件。如果Metric= 'use_polarity'，图像中的目标必须和模型具有一样的对比度。例如，如果模型是一个亮的目标在一个暗的背景上，那么仅仅那些比背景亮的目标可以找到。如果Metric=
'ignore_global_polarity',在两者对比度完全相反时也能找到目标。在上面的例子中，如果目标是比背景暗的也能将目标找到。find_shape_model函数的运行时间在这种情况下将会略微增加。如果Metric= ignore_local_polarity', 即使局部对
比度改变也能找到模型。例如，当目标包含一部分中等灰度，并且其中部分比较亮部分比较暗时，这种模式是非常有用的。由于这种模式下find_shape_model函数的运行时间显著增加，最好的方法是使用create_shape_model创建几个反映目标可能的对比度变化的模型，同时使用find_shape_models去匹配他们。上面三个metrics仅仅适用于单通道图像。如果是多通道图像作为模板图像或搜索图像，仅仅第一个通道被使用。如果Metric='ignore_color_polarity', 即使颜色对比度局部变化也能找到模型。例如，当目标的部分区域颜色发生变化(e.g.从红到绿)的情况。如果不能提前知道目标在哪一个通道是可见的这种模式是非常有用的。在这种情况下find_shape_model函数的运行时间也会急剧增。
'ignore_color_polarity'可以使用于具有任意通道数目的图像中。如果使用于单通道图像，他的效果和'ignore_loc
al_polarity'是完全相同的。
6. create_shape_model创建的模板通道数目和find_shape_model中的图像通道数目可以是不同的。例如，可以使用综合生成的单通道图像创建模型。另外，这些通道不需要是经过光谱细分(像RGB图像)的。这些通道还可以包括具有在不同方向照亮同一个目标所获得的图像。
7. 模型图像Template的domain区域的重心是模板的初始位置，可以在set_shape_model_origin函数中设置不同的初始位置。
[cpp]view plain copy
1.find_shape_model(
2.Image : : //搜索图像
3.ModelID, //模板句柄
4.AngleStart, // 搜索时的起始角度
5.AngleExtent, //搜索时的角度范围，必须与创建模板时的有交集
6.MinScore, //最小匹配值，输出的匹配的得分Score 大于该值
7.NumMatches, //定义要输出的匹配的最大个数
8.MaxOverlap, //当找到的目标存在重叠时，且重叠大于该值时选择一个好的输出
9.SubPixel, //计算精度的设置，五种模式，多选2，3
10.NumLevels, //搜索时金字塔的层数
11.Greediness : //贪婪度，搜索启发式，一般都设为0.9，越高速度快,容易出现找不到的情况
12.Row, Column, Angle, Score) //输出匹配位置的行和列坐标、角度、得分。
1. Row、Column的坐标并不是模板在搜索图像中的精确位置，因此不能直接使用他们。这些数值是为了创建变换矩阵被优化后的，你可以用这个矩阵的匹配结果完成各种任务，比如调整后续步骤的ROI。
2. Score是一个0到1之间的数，是模板在搜索图像中可见比例的近似测量。如果模板的一半被遮挡，该值就不能超过0.5。
3. Image的domain定义了模型参考点的搜索区域，模型参考点是在create_shape_model中用来创建模型的图像的domain区域的重心。不考虑使用函数set_shape_model_origin设置不同的初始位置。在图像domain区域的这些点内搜索模型，其中模型完全属于这幅图像。这意味着如果模型超出图像边界，即使获得的质量系数(score)大于MinScore 也不能找到模型。这种性能可以通过set_system('border_shape_models','true')改变，这样那些超出图像边界，质量系数大于MinScore的模型也能找到。这时那些在图像外面的点看作是被遮挡了，可以降低质量系数。在这种模式下搜索的时间将要增加。
4. 参数AngleStart和AngleExtent确定了模型搜索的旋转角度，如果有必要，旋转的范围会被截取成为
create_shape_model函数中给定的旋转范围。这意味着创建模型和搜索时的角度范围必须真正的重叠。在搜索时的角度范围不会改变为模2*pi的。为了简化介绍，在该段落剩下的部分所有角度都用度来表示，而在find_shape_model函数中使用弧度来设置的。因此，如果创建模板时，AngleStart=-20°、AngleExtent=40°，在搜索模板函数find_shape_model 中设置AngleStart=350°、AngleExtent=20°，尽管角度模360后是重叠的，还是会找不到模板的。为了找到模板，在这个例子中必须将AngleStart=350°改为AngleStart=-10°。
5. 参数MinScore定义模板匹配时至少有个什么样的质量系数才算是在图像中找到模板。MinScore设置的越大,搜索的就越快。如果模板在图像中没有被遮挡，MinScore可以设置为0.8这么高甚至0.9。
6. NumMatches定义了在图像上找到模板的最大的个数。如果匹配时的质量系数大于MinScore的目标个数多于NumMatches，仅仅返回质量系数最好的NumMatches个目标位置。如果找的匹配目标不足NumMatches，那么就只返回找到的这几个。参数MinScore优于NumMatches。
7. 如果模型具有对称性，会在搜索图像的同一位置和不同角度上找到多个与目标匹配的区域。参数MaxOverlap是0到1之间的，定义了找到的两个目标区域最多重叠的系数，以便于把他们作为两个不同的目标区域分别返回。如果找到的两个目标区域彼此重叠并且大于MaxOverlap，仅仅返回效果最好的一个。重叠的计算方法是基于找到的目标区域的任意方向的最小外接矩形(看smallest_rectangle2)。如果MaxOverlap=0, 找到的目标区域不能存在重叠, 如果MaxOverla p=1，所有找到的目标区域都要返回。
8. SubPixel确定找到的目标是否使用亚像素精度提取。如果SubPixel设置为'none'(或者'false' 背景兼容)，模型的位置仅仅是一个像素精度和在create_shape_model中定义的角度分辨率。如果SubPixel设置为'interpo lation'(或'true')，位置和角度都是亚像素精度的。在这种模式下模型的位置是在质量系数函数中插入的，这种模式几乎不花费计算时间，并且能达到足够高的精度，被广泛使用。然而在一些精度要求极高的应用中，模板的位置应该通过最小二乘调整决定，比如通过最小化模板点到相关图像点的距离。与'interpolation'相比，这种模式需要额外的计算时间。对于最小二乘调整的模式有：'least_squares', 'least_squares_high', 和'least_squares_very_high'。他们可用来定义被搜索的最小距离的精度，选择的精度越高，亚像素提取的时间越长。然而，通常SubPixel设置为'interpolation'。如果希望设置最小二乘就选择'least_squares'，因为这样才能确保运行时间和精度的权衡。
9. NumLevels是在搜索时使用的金字塔层数，如有必要，层数截成创建模型时的范围。如果NumLevels=0，使用创建模板时金字塔的层数。另外NumLevels还可以包含第二个参数，这个参数定义了找到匹配模板的最低金字塔层数。NumLevels=[4,2]表示匹配在第四层金字塔开始，在第二层金字塔找到匹配（最低的设为1）。可以使用这种方法降低匹配的运行时间，但是这种模式下位置精度是比正常模式下低的，所谓正常模式是在金字塔最底层匹配。因此如果需要较高的精度，应该设置SubPixel至少为'least_squares'。如果金字塔最底层设置的过大，可能不会达到期望的精度，或者找到一个不正确的匹配区域。这是因为在较高层的金字塔上模板是不够具体的，不足以找到可靠的模板最佳匹配。在这种情况下最低金字塔层数应设为最小值。
10. 参数Greediness确定在搜索时的“贪婪程度”。如果Greediness=0，使用一个安全的搜索启发式，只要模板在图像中存在就一定能找到模板，然而这种方式下搜索是相对浪费时间的。如果Greediness=1，使用不安全的搜索启发式，这样即使模板存在于图像中，也有可能找不到模板，但只是少数情况。如果设置Greediness=0.9，在几乎所有的情况下，总能找到模型的匹配。
前面主要介绍了匹配的2个主要的算子，对这两个算子了解后，我们就可以做匹配了。下面是转自一位前辈的经验总结，
对我们很有帮助。到这里匹配就结束了，但是我们仅仅完成了初步的工作，后面我们还要对其做一定的变换，完成实际项目的具体应用。
（转自基于HALCON的模板匹配方法总结--蓝云杨的机器视觉之路）
Shape-Based matching的基本流程
HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示：
1. 首先确定出ROI的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用area_center()找到这个矩形的中心；
2. 然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个ROI；这之后就可以对这个矩形建立模板，而在建立模板之前，可以先对这个区域进行一些处理，方便以后的建模，比如阈值分割，数学形态学的一些处理等等；
3. 接下来就可以利用create_shape_model()来创建模板了，这个函数有许多参数，其中金字塔的级数由Numlevels指定，值越大则找到物体的时间越少，AngleStart和AngleExtent决定可能的旋转范围，AngleStep指定角度范围搜索的步长；这里需要提醒的是，在任何情况下，模板应适合主内存，搜索时间会缩短。对特别大的模板，用Optimization来减少模板点的数量是很有用的；MinConstrast将模板从图像的噪声中分离出来，如果灰度值的波动范围是10，则MinConstrast应当设为10；Metric参数决定模板识别的条件，如果设为’use_polarity’，则图像中的物体和模板必须有相同的对比度；创建好模板后，这时还需要监视模板，用inspect_shape_model()来完成，它检查参数的适用性，还能帮助找到合适的参数；另外，还需要获得这个模板的轮廓，用于后面的匹配，get_shape_model_contours()则会很容易的帮我们找到模板的轮廓；
4. 创建好模板后，就可以打开另一幅图像，来进行模板匹配了。这个过程也就是在新图像中寻找与模板匹配的图像部分，这部分的工作就由函数find_shape_model()来承担了，它也拥有许多的参数，这些参数都影响着寻找模板的速度和精度。这个的功能就是在一幅图中找出最佳匹配的模板，返回一个模板实例的长、宽和旋转角度。其中参数SubPixel决定是否精确到亚像素级，设为’interpolation’，则会精确到，这个模式不会占用太多时间，若需要更精确，则可设
为’least_square’,’lease_square_high’，但这样会增加额外的时间，因此，这需要在时间和精度上作个折中，需要和实际联系起来。比较重要的两个参数是MinSocre和Greediness，前一个用来分析模板的旋转对称和它们之间的相似度，值越大，则越相似，后一个是搜索贪婪度，这个值在很大程度上影响着搜索速度，若为0，则为启发式搜索，很耗时，若为1，则为不安全搜索，但最快。在大多数情况下，在能够匹配的情况下，尽可能的增大其值。
5. 找到之后，还需要对其进行转化，使之能够显示，这两个函数vector_angle_to_rigid()和affine_trans_contour_xld()在这里就起这个作用。前一个是从一个点和角度计算一个刚体仿射变换，这个函数从匹配函数的结果中对构造一个刚体仿射变换很有用，把参考图像变为当前图像。
基于形状匹配的参数关系与优化
在HALCON的说明资料里讲到了这些参数的作用以及关系，在上面提到的文章中也作了介绍，这里主要是重复说明一下这些参数的作用，再强调一下它们影响匹配速度的程度；
在为了提高速度而设置参数之前，有必要找出那些在所有测试图像中匹配成功的设置，这时需考虑以下情况：
①必须保证物体在图像边缘处截断，也就是保证轮廓的清晰，这些可以通过形态学的一些方法来处理；
②如果Greediness值设的太高，就找不到其中一些可见物体，这时最后将其设为0来执行完全搜索；
③物体是否有封闭区域，如果要求物体在任何状态下都能被识别，则应减小MinScore值；
④判断在金字塔最高级上的匹配是否失败，可以通过find_shape_model（）减小NumLevels值来测试；
⑤物体是否具有较低的对比度，如果要求物体在任何状态下都能被识别，则应减小MinContrast值；
⑥判断是否全局地或者局部地转化对比度极性，如果需要在任何状态下都能被识别，则应给参数Metric设置一个合适的值；
⑦物体是否与物体的其他实例重叠，如果需要在任何状态下都能识别物体，则应增加MaxOverlap值；
⑧判断是否在相同物体上找到多个匹配值，如果物体几乎是对称的，则需要控制旋转范围；
如何加快搜索匹配，需要在这些参数中进行合理的搭配，有以下方法可以参考：
①只要匹配成功，则尽可能增加参数MinScore的值；
②增加Greediness值直到匹配失败，同时在需要时减小MinScore值；
③如果有可能，在创建模板时使用一个大的NumLevels，即将图像多分几个金字塔级；
④限定允许的旋转范围和大小范围，在调用find_shape_model（）时调整相应的参数；
⑤尽量限定搜索ROI的区域；
除上面介绍的以外，在保证能够匹配的情况下，尽可能的增大Greediness的值，因为在后面的实验中，用模板匹配进行视频对象跟踪的过程中，这个值在很大程度上影响到匹配的速度。
当然这些方法都需要跟实际联系起来，不同图像在匹配过程中也会有不同的匹配效果，在具体到某些应用，不同的硬件设施也会对这个匹配算法提出新的要求，所以需要不断地去尝试。
Halcon中模板匹配方法的总结归纳
Halcon中模板匹配方法的总结归纳 基于组件的模板匹配： 应用场合：组件匹配是形状匹配的扩展，但不支持大小缩放匹配，一般用于多个对象（工件）定位的场合。 算法步骤： 1.获取组件模型里的初始控件gen_initial_components() 参数： ModelImage [Input] 初始组件的图片 InitialComponents [Output] 初始组件的轮廓区域 ContrastLow [Input] 对比度下限 ContrastHigh [Input] 对比度上限 MinSize [Input] 初始组件的最小尺寸 Mode[Input] 自动分段的类型 GenericName [Input] 可选控制参数的名称 GenericValue [Input] 可选控制参数的值 2.根据图像模型，初始组件，训练图片来训练组件和组件相互关系train_model_components() 3.创建组件模型create_trained_component_model() 4.寻找组件模型find_component_model() 5.释放组件模型clear_component_model() 基于形状的模板匹配： 应用场合：定位对象内部的灰度值可以有变化，但对象轮廓一定要清晰平滑。 1.创建形状模型：create_shape_model() 2.寻找形状模型：find_shpae_model() 3.释放形状模型：clear_shape_model() 基于灰度的模板匹配： 应用场合：定位对象内部的灰度值没有大的变化，没有缺失部分，没有干扰图像和噪声的场合。 1.创建模板：create_template() 2.寻找模板：best_match() 3.释放模板：clear_template() 基于互相关匹配： 应用场合：搜索对象有轻微的变形，大量的纹理，图像模糊等场合，速度快，精度低。 1.创建模板：create_ncc_model() 2.寻找模板：find_ncc_model() 3.释放模板：clear_ncc_model() 基于变形匹配： 应用场合：搜索对象有轻微的变形。 1.创建模板：create_local_deformable_model() 2.寻找模板：find_local_deformable_model() 3.释放模板：clear_deformable_model()
基于模板匹配算法的数字识别讲解
中南民族大学 毕业论文(设计) 学院: 计算机科学学院 专业: 软件工程年级:2009 题目: 基于模板匹配算法的数字识别学生姓名: 李成学号:09065093指导教师姓名: 李波职称: 讲师 2013年5月
中南民族大学本科毕业论文（设计）原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。本人完全意识到本声明的法律后果由本人承担。 作者签名：2013年月日
摘要 (1) Abstract (1) 1 绪论 (2) 1.1 研究目的和意义 (2) 1.2 国内外研究现状 (2) 2 本文基本理论介绍 (3) 2.1 位图格式介绍 (3) 2.2 二值化 (3) 2.3 去噪 (3) 2.4 细化 (4) 2.5 提取骨架 (4) 3 图像的预处理 (5) 3.1 位图读取 (5) 3.2 二值化及去噪声 (5) 3.3 提取骨架 (6) 4 基于模板匹配的字符识别 (8) 4.1 样本训练 (8) 4.2 特征提取 (8) 4.3 模板匹配 (9) 4.4 加权特征模板匹配 (10) 4.5 实验流程与结果 (10) 5 结论 (16) 5.1 小结 (16) 5.2 不足 (16) 6 参考文献 (17)
基于模板匹配算法的数字识别 摘要 数字识别已经广泛的应用到日常生活中，典型的数字自动识别系统由图像采集、预处理、二值化、字符定位、字符分割和字符识别等几部分组成, 这些过程存在着紧密的联系。传统的模板匹配算法因为图像在预处理之后可能仍然存在较大的干扰，数字笔画粗细不均匀，有较大的噪声，识别效率不高。本文采的主要思想就是对字符进行分类，之后对字符进行细化，提取细化后字符的特征矢量，与模板的特征矢量进行加权匹配，误差最小的作为识别结果。本文在模板匹配法的基础上, 采用了特征值加权模板匹配法, 并且改进了匹配系数的求法。应用该法取得了满意的效果, 提高了识别率。 关键词：模板匹配；数字识别；特征值加权；字符识别； Template matching algorithm-based digital identification Abstract Digital identification has been widely applied to daily life, the typical digital automatic identification system by the image acquisition, pre-processing, binarization, character positioning, character segmentation and character recognition several parts, there is a close link these processes. Traditional template matching algorithm because the image may still exist after pre-greater interference, digital strokes uneven thickness, the noise, the identification efficiency is not high. Adopted herein main idea is to classify the character after character refinement, the characters feature vector extraction refinement, and the template feature vector is weighted matching, the minimum error as a recognition result. Template matching method based on feature weighted template matching method, and improve the matching coefficient method. The application of the method to obtain satisfactory results, to improve the recognition rate. Key words：Template matching; digital identification; characteristic value weighted; character recognition;
模板匹配MATLAB实现及算法优化
模板匹配MATLAB实现及算法优化
一、引言 现代社会已进入信息时代，随着计算机技术、通信技术和数学的发展，图像信息处理能力和水平也不断提高，相应的也得到和更多关注、研究和更加广泛的应用。图像匹配是图像处理的一项关键技术，可广泛用于目标识别与跟踪、立体视觉、变化检测、车场车牌识别、人脸识别、机器人导航、测绘、等领域，已成为一门新兴的分支学科。由于拍摄时间、拍摄角度、自然环境的变化、多种传感器的使用和传感器本身的缺陷，使拍摄的图像不仅受噪声的影响，而且存在严重的灰度失真和几何畸变。在这种条件下，如何有效地进行图像匹配一直是人们研究的热点和难点。 要研究模板匹配，首先必须明确模板匹配的定义：模板匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。简单的讲就是，要判读一幅大图像中是否存在某种已知的图案，则以一幅与该图案有着相同尺寸和方向的小图像为模板，通过一定的算法可以在图中找到目标，确定其坐标位置。 那么如何实现模板与原图像的匹配呢？下面将结合一个具体例子说明模板匹配的实现过程。 二、问题描述及解决方法 1.问题描述 现有模板如下图： 原图如下图： 问题：如何在原图中找到模板所处的位置，并把该位置标记出来。 2.解决方法
首先必须建立判断模板与原图相应位置相似程度的准则。对于彩色图像，是基于图像的特征匹配；而灰度图像，则是基于相关函数。本实验的处理对象主要是灰度图片。 相关函数又分成两类： （1） 差值测度。计算公式如下： max |(,)(,)|f x y g x y ε=- |(,)(,)|D f x y g x y dxdy ε=-?? 22[(,)(,)]D f x y g x y dxdy ε=-?? （2） 相关测度。计算公式如下： 1222(,)(,)(,)[(,)(,)]D D D f x y g x y dxdy p x y f x y dxdy g x y dxdy = ??????? 显然，上式中的p(x,y)取值范围是0到1。越接近于0，表示两图像相差越大；越接近于1，表示两图像越相似。 有了描述相似程度的数学模型，接下来就可以用MATLAB 编程实现模板匹配，从而解决上述问题了。 三、 MATLAB 实现 要实现这个程序，必须有三个重要组成部分： 1. 模板循环 功能：实现模板扫过原图的每一个像素点。 语句： for i=1:M-m for j=1:N-n end end 描述：以模板左上角第一个点为标志点，使其依次从左到右、从上到下扫过原图每一个像素点。 2. 相似性判断 功能：在每一次循环时，计算模板与覆盖的原图区域的相似程度，并判断两图像是否相似。 语句： temp=imcrop(im,[j,i,n-1,m-1]);
基于HALCON的模板匹配方法总结.
基于HALCON的模板匹配方法总结 基于HALCON的模板匹配方法总结 HDevelop开发环境中提供的匹配的方法主要有三种，即Component-Based、Gray-Value-Based、Shape-Based,分别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具特点，分别适用于不同的图像特征，但都有创建模板和寻找模板的相同过程。这三种方法里面，我主要就第三种－基于形状的匹配，做了许多的实验，因此也做了基于形状匹配的物体识别，基于形状匹配的视频对象分割和基于形状匹配的视频对象跟踪这些研究，从中取得较好的效果。在VC下往往针对不同的图像格式，就会弄的很头疼，更不用说编写图像特征提取、模板建立和搜寻模板的代码呢，我想其中间过程会很复杂，效果也不一定会显著。下面我就具体地谈谈基于HALCON的形状匹配算法的研究和心得总结。 1. Shape-Based matching的基本流程 HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示： ⑴ 首先确定出ROI的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用 area_center()找到这个矩形的中心；
⑵ 然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个ROI；这之后就可以对这个矩形建立模板，而在建立模板之前，可以先对这个区域进行一些处理，方便以后的建模，比如阈值分割，数学形态学的一些处理等等； ⑶ 接下来就可以利用create_shape_model()来创建模板了，这个函数有许多参数，其中金字塔的级数由Numlevels指定，值越大则找到物体的时间越少，AngleStart和AngleExtent决定可能的旋转范围，AngleStep指定角度范围搜索的步长；这里需要提醒的是，在任何情况下，模板应适合主内存，搜索时间会缩短。对特别大的模板，用Optimization来减少模板点的数量是很有用的；MinConstrast将模板从图像的噪声中分离出来，如果灰度值的波动范围是10，则MinConstrast应当设为10；Metric参数决定模板识别的条件，如果设为’use_polarity’，则图像中的物体和模板必须有相同的对比度；创建好模板后，这时还需要监视模板，用inspect_shape_model()来完成，它检查参数的适用性，还能帮助找到合适的参数；另外，还需要获得这个模板的轮廓，用于后面的匹配，get_shape_model_contours()则会很容易的帮我们找到模板的轮廓； ⑷ 创建好模板后，就可以打开另一幅图像，来进行模板匹配了。这个过程也就是在新图像中寻找与模板匹配的图像部分，这部分的工作就由函数 find_shape_model()来承担了，它也拥有许多的参数，这些参数都影响着寻找模板的速度和精度。这个的功能就是在一幅图中找出最佳匹配的模板，返回一个模板实例的长、宽和旋转角度。其中参数SubPixel决定是否精确到亚像素级，设为’interpolation’，则会精确到，这个模式不会占用太多时间，若需要更精确，则可设为’least_square’,’lease_square_high’，但这样会增加额外的时间，因此，这需要在时间和精度上作个折中，需要和实际联系起来。比较重要的两个参数是MinSocre和Greediness，前一个用来分析模板的旋转对称和它们之间的相似度，值越大，则越相似，后一个是搜索贪婪度，这个值在很大程度上影响着搜索速度，若为0，则为启发式搜索，很耗时，若为1，则为不安全搜索，但最快。在大多数情况下，在能够匹配的情况下，尽可能的增大其值。 ⑸ 找到之后，还需要对其进行转化，使之能够显示，这两个函数 vector_angle_to_rigid()和affine_trans_contour_xld()在这里就起这个作用。前一个是从一个点和角度计算一个刚体仿射变换，这个函数从匹配函数的
图像处理技术--模板匹配
图像处理技术——模板匹配算法 左力2002．3． 认知是一个把未知与已知联系起来的过程。对一个复杂的视觉系统来说，它的内部常同时存在着多种输入和其它知识共存的表达形式。感知是把视觉输入与事前已有表达结合的过程，而识别也需要建立或发现各种内部表达式之间的联系。 匹配就是建立这些联系的技术和过程。建立联系的目的是为了用已知解释未知。 章毓晋《图像工程下册》P.163 一．模板匹配的基本概念 模板就是一幅已知的小图像。模板匹配就是在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置。 以8位图像(其1个像素由1个字节描述)为例，模板T( m ? n个像素)叠放在被搜索图S( W ? H个像素)上平移，模板覆盖被搜索图的那块区域叫子图Sij。i，j为子图左上角在被搜索图S上的坐标。搜索范围是： 1 ≤ i ≤ W – M 1 ≤ j ≤ H – N 通过比较T和Sij的相似性，完成模板匹配过程。 注意：图像的数据是从下到上、从左到右排列的。 可以用下式衡量T和Sij相似性： ∑∑ = =- = N n ij M m n m T n m S j i D 12 1 )] , ( ) , ( [ ) ,(被搜索图 S 模板 T m i {
∑∑ ∑∑ ∑∑ ======+?-=N n M m N n ij M m N n ij M m n m T n m T n m S n m S 1 2 1 1 1 1 2 1 )] ,([),(),(2)],([ 上式的第一项为子图的能量，第三项为模板的能量，都与模板匹配无关。第二项是模板和子图的互相关，随( i, j )而改变。当模板和子图匹配时，该项有极大值。将其归一化，得模板匹配的相关系数： ∑∑∑∑∑∑======?= N n M m N n ij M m N n ij M m n m T n m S n m T n m S j i R 1 2 1 1 2 1 1 1 )] ,([)],([) ,(),(),( 当模板和子图完全一样时，相关系数R( i, j ) = 1。在被搜索图S 中完成全部搜索后，找出R 的最大值Rmax( im, jm )，其对应的子图Simjm 即为匹配目标。显然，用这种公式做图像匹配计算量大、速度较慢。 另一种算法是衡量T 和Sij 的误差，其公式为： ∑∑ ==-=N n ij M m n m T n m S j i E 1 1 |),(),(|),( E( i, j )为最小值处即为匹配目标。为提高计算速度，取一个误差阈值E 0，当E( i, j )> E 0时就停止该点的计算，继续下一点计算。 试验结果如下： 注：以上试验是在赛扬600 PC 机上用VC6.0进行的。 结果表明：被搜索图越大，匹配速度越慢；模板越小，匹配速度越快。误差法速度较快，阈值的大小对匹配速度影响大，和模板的尺寸有关。 二．改进模板匹配算法 我在误差算法的基础上设计了二次匹配误差算法： 第一次匹配是粗略匹配。取模板的隔行隔列数据，即四分之一的模板数据，在被搜索图上进行隔行隔列扫描匹配，即在原图的四分之一范围内匹配。由于数据量大幅度减少，匹配速度显著提高。 为了合理的给出一个误差阈值E0，我设计了一个确定误差阈值E0的准则： E 0 = e 0 * (m+1)/2 * (n+1)/2
基于HALCON的模板匹配方法总结--蓝云杨的机器视觉之路
基于HALCON的模板匹配方法总结--蓝云杨的机器视觉之路 蓝云杨的机器视觉之路https://www.sodocs.net/doc/56128496.html,/blog/user1/8/index.html 首页相册 标签机器视觉(64)图像处理(11)视频压缩(12)小波分析(5)三峡(3)生活随笔(32)HALCON(7)编程感悟(18)哲思慧语(32) 基于HALCON的模板匹配方法总结 2006-8-16 16:34:00 4 推荐很早就想总结一下前段时间学习HALCON的心得，但由于其他的事情总是抽不出时间。去年有过一段时间的集中学习，做了许多的练习和实验，并对基于HDevelop 的形状匹配算法的参数优化进行了研究，写了一篇《基于HDevelop的形状匹配算法参数的优化研究》文章，总结了在形状匹配过程中哪些参数影响到模板的搜索和匹配，又如何来协调这些参数来加快匹配过程，提高匹配的精度，这篇paper放到了中国论文在线了，需要可以去下载。 德国MVTec公司开发的HALCON机器视觉开发软件，提供了许多的功能，在这里我主要学习和研究了其中的形状匹配的算法和流程。HDevelop开发环境中提供的匹配的方法主要有三种，即Component-Based、Gray-Value-Based、Shape-Based,分别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具特点，分别适用于不同的图像特征，但都有创建模板和寻找模板的相同过程。这三种方法里面，我主要就第三种－基于形状的匹配，做了许多的实验，因此也做了基于形状匹配的物体识别，基于形状匹配的视频对象分割和基于形状匹配的视频对象跟踪这些研究，从中取得较好的效果，简化了用其他工具，比如VC++来开发的过程。在VC下往往针对不同的图像格式，就会弄的很头疼，更不用说编写图像特征提取、模板建立和搜寻模板的代码呢，我想其中间过程会很复杂，效果也不一定会显著。下面我就具体地谈谈基于HALCON的形状匹配算法的研究和心得总结。 1. Shape-Based matching的基本流程 HALCON提供的基于形状匹配的算法主要是针对感兴趣的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示： ⑴ 首先确定出ROI的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用area_center()找到这个矩形的中心； ⑵ 然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个ROI；这之后就可以对这个矩形建立模板，而在建立模板之前，可以先对这个区域进行一些处理，方便以后的建模，比如阈值分割，数学形态学的一些处理等等； ⑶ 接下来就可以利用create_shape_model()来创建模板了，这个函数有许多参数，其中金字塔的级数由Numlevels指定，值越大则找到物体的时间越少，AngleStart 和AngleExtent决定可能的旋转范围，AngleStep指定角度范围搜索的步长；这里需要提醒的是，在任何情况下，模板应适合主内存，搜索时间会缩短。对特别大的模板，用Optimization
模板匹配
halcon模板匹配 * 在一个图片中获取ROI并在此图片中匹配 dev_close_window () dev_open_window (0, 0, 600, 600, 'black', WindowHandle) * 窗口语句 read_image(Image,'L:/Halcon test/mk2.jpg') *read_image(Image,'L:/Halcon test/mk3.jpg') *read_image(Image,'L:/Halcon test/mk4.jpg') * 这里有4张图片，每一张都说明一个小问题，附图分析。 gen_rectangle1 (ROI1, 57.8333, 49.5, 181.167, 342.833) * 画一个矩形选择ROI，矩形在左上角，覆盖一个完整的，无变形规定尺寸的商标，作为模板。 reduce_domain(Image,ROI1,ImageReduced1) * 大图和这个矩形的ROI相减就会得到一个左上角的商标的图案作为模板，命名ImageReduced。 create_shape_model(ImageReduced1,0,0,rad(360),0,'no_pregeneration','use_polarity',40,10,ModelID1) * 创建一个比例不变（1:1）的匹配的轮廓模型。具体参数下个帖子说明，也可见[Halcon算子学习交流区] Halcon模版匹配算子解析。 find_shape_model(Image,ModelID1,0,rad(360),0.7,13,0.5,'interpolation',0,0.9,Row,Column,Angle,Score) * 寻找与模板的大小尺寸必须是一比一匹配的，只是角度的不同而已，若大小发生变化，则不能匹配 get_shape_model_contours(ModelContours1,ModelID1,1) * 在大图中获取匹配。 for i := 0 to |Row|-1 by 1 vector_angle_to_rigid(0,0,0,Row【i】,Column【i】,Angle【i】,HomMat2D) affine_trans_contour_xld(ModelContours2,ContoursAffinTrans,HomMat2D) endfor * 获取匹配。 disp_message (WindowHandle, '总共匹配了' + |Row| + '个商标', 'window', 12, 12, 'red', 'true') * 输出数量统计。 clear_shape_model(ModelID1) stop()
模板匹配
图像模式识别中模板匹配的基本概念以及基本算法 认知是一个把未知与已知联系起来的过程。对一个复杂的视觉系统来说，他的内部常同时存在着多种输入和其他知识共存的表达形式。感知是把视觉输入与事先已有表达结合的过程，而识别与需要建立或发现各种内部表达式之间的联系。匹配就是建立这些联系的技术和过程。建立联系的目的是为了用已知解释未知。（摘自章毓晋《图像工程》） 1、模板匹配法： 在机器识别事物的过程中，常常需要把不同传感器或同一传感器在不同时间、不同成像条件下对同一景象获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图像中寻找相应的模式，这就叫匹配。在遥感图像处理中需要把不同波段传感器对同一景物的多光谱图像按照像点对应套准，然后根据像点的性质进行分类。如果利用在不同时间对同一地面拍摄的两幅照片，经套准后找到其中特征有了变化的像点，就可以用来分析图中那些部分发生了变化；而利用放在一定间距处的两只传感器对同一物体拍摄得到两幅图片，找出对应点后可计算出物体离开摄像机的距离，即深度信息。 一般的图像匹配技术是利用已知的模板利用某种算法对识别图像进行匹配计算获得图像中是否含有该模板的信息和坐标； 2、基本算法： 我们采用以下的算式来衡量模板T（m,n)与所覆盖的子图Sij（i,j)的关系，已知原始图像S(W,H)，如图所示： 利用以下公式衡量它们的相似性： 上述公式中第一项为子图的能量，第三项为模板的能量，都和模板匹配无关。第二项是模板和子图的互为相关，随（i,j）而改变。当模板和子图匹配时，该项由
最大值。在将其归一化后，得到模板匹配的相关系数： 当模板和子图完全一样时，相关系数R(i,j) = 1。在被搜索图S中完成全部搜索后，找出R的最大值Rmax(im,jm)，其对应的子图Simjm即位匹配目标。显然，用这种公式做图像匹配计算量大、速度慢。我们可以使用另外一种算法来衡量T和Sij的误差，其公式为： 计算两个图像的向量误差，可以增加计算速度，根据不同的匹配方向选取一个误差阀值E0，当E(i,j)>E0时就停止该点的计算，继续下一点的计算。 最终的实验证明，被搜索的图像越大，匹配的速度越慢；模板越小，匹配的速度越快；阀值的大小对匹配速度影响大； 3、改进的模板匹配算法 将一次的模板匹配过程更改为两次匹配； 第一次匹配为粗略匹配。取模板的隔行隔列数据，即1/4的模板数据，在被搜索土上进行隔行隔列匹配，即在原图的1/4范围内匹配。由于数据量大幅减少，匹配速度显著提高。同时需要设计一个合理的误差阀值E0： E0 = e0 * (m + 1) / 2 * (n + 1) / 2 式中：e0为各点平均的最大误差，一般取40~50即可； m,n为模板的长宽； 第二次匹配是精确匹配。在第一次误差最小点（imin, jmin)的邻域内，即在对角点为（imin -1, jmin -1), (Imin + 1, jmin + 1)的矩形内，进行搜索匹配，得到最后结果。
基於HALCON的模板匹配方法总结
基於HALCON的模板匹配方法總結 基於HALCON的模板匹配方法總結 很早就想總結一下前段時間學習HALCON的心得，但由於其他的事情總是抽不出時間。去年有過一段時間的集中學習，做了許多的練習和實驗，並對基於HDevelop的形狀匹配算法的參數優化進行了研究，寫了一篇《基於HDevelop的形狀匹配算法參數的優化研究》文章，總結了在形狀匹配過程中哪些參數影響到模板的搜索和匹配，又如何來協調這些參數來加快匹配過程，提高匹配的精度，這篇paper放到了中國論文在線了，需要可以去下載。 德國MVTec公司開發的HALCON機器視覺開發軟件，提供了許多的功能，在這裡我主要學習和研究了其中的形狀匹配的算法和流程。HDevelop開發環境中提供的匹配的方法主要有三種，即Component-Based、Gray-Value-Based、Shape-Based,分別是基於組件（或成分、元素）的匹配，基於灰度值的匹配和基於形狀的匹配。這三種匹配的方法各具特點，分別適用於不同的圖像特征，但都有創建模板和尋找模板的相同過程。這三種方法裡面，我主要就第三種－基於形狀的匹配，做了許多的實驗，因此也做了基於形狀匹配的物體識別，基於形狀匹配的視頻對象分割和基於形狀匹配的視頻對象跟蹤這些研究，從中取得較好的效果，簡化了用其他工具，比如VC++來開發的過程。在VC下往往針對不同的圖像格式，就會弄的很頭疼，更不用說編寫圖像特征提取、模板建立和搜尋模板的代碼呢，我想其中間過程會很復雜，效果也不一定會顯著。下面我就具體地談談基於HALCON的形狀匹配算法的研究和心得總結。 1. Shape-Based matching的基本流程 HALCON提供的基於形狀匹配的算法主要是針對感興趣的小區域來建立模板，對整個圖像建立模板也可以，但這樣除非是對象在整個圖像中所佔比例很大，比如像視頻會議中人體上半身這樣的圖像，我在後面的視頻對象跟蹤實驗中就是針對整個圖像的，這往往也是要犧牲匹配速度的，這個後面再講。基本流程是這樣的，如下所示： ⑴首先確定出ROI的矩形區域，這裡只需要確定矩形的左上點和右下點的坐標即可， gen_rectangle1()這個函數就會幫助你生成一個矩形，利用area_center()找到這個矩形的中心； ⑵然後需要從圖像中獲取這個矩形區域的圖像，reduce_domain()會得到這個ROI；這之後就可以對這個矩形建立模板，而在建立模板之前，可以先對這個區域進行一些處理，方便以後的建模，比如閾值分割，數學形態學的一些處理等等； ⑶接下來就可以利用create_shape_model()來創建模板了，這個函數有許多參數，其中金字塔的級數由Numlevels指定，值越大則找到物體的時間越少，AngleStart和AngleExtent 決定可能的旋轉范圍，AngleStep指定角度范圍搜索的步長；這裡需要提醒的是，在任何情
一种快速鲁棒的模板匹配算法
《工业控制计算机》2019年第32卷第3期 图像匹配是计算机视觉领域的众多重要课题之一，而模板匹配是图像匹配的子类之一。在许多涉及视觉领域的实际应用中，通常需要利用多个视觉传感器采集同一物体不同角度或者不同背景下的图像信息，来确定同一物体在不同图像内位置关系。模板匹配应用在很多计算机视觉领域，比如目标识别、跟踪、图像拼接、三维重建等。 模板匹配的核心是在目标图片内确定模板中的感兴趣物体的位置。传统的模板匹配算法通过计算模板和滑动窗口之间的相似性这一方式来确定匹配结果。但是在实际应用场景中，模板图像中包含的感兴趣目标往往会受到外部条件的影响从而发生颜色和特征上的复杂变化，这些条件包括光照、变形等等。除此之外，感兴趣目标本身也容易发生非刚性变形、被障碍物遮挡、角度变换等情况都会使传统的相似性度量方法遭到很大的挑战。传统的模板匹配算法通常都是基于单一的图像像素点的颜色信息，由于颜色信息容易受到外部条件的影响，所以算法鲁棒性较差。另外，这些基础算法一般都采用滑动窗口来确定搜索空间，这样会浪费较多时间，所以速度较慢，效率较低。除这类算法以外，很多匹配算法在模板图像和目标图像间建立一个具体的带有许多参数的形变转换模型。基于参数模型的算法由于参数条件的限制，一般只能处理特定场景的图像对，能够应用的场景非常有限。因为在估计复杂变换时引入了许多参数，算法中包含大量的计算，从而花费了更多时间，效率也不高。 为了提升模板匹配算法的效率和鲁棒性，本文提出了一种基于特征点的模板匹配方法。 1基于特征点的模板匹配 1．1特征点提取并匹配 在图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用。图像特征点能够反映图像本质特征，能够标识图像中目标物体，通过特征点的匹配能够有效准确地完成图像的匹配。 基于对特征提取算法的研究，本文采用速度较快的ORB特征提取算法，利用其速度快和特征点多的特点，将模板与被搜索图像之间的特征点进行匹配。ORB算法的基本步骤是首先在尺度空间中用oFAST算法提取局部不变特征点，接着用rBRIEF 算法对提取到的特征点构建特征描述子，最后对这些描述子进行匹配。具体步骤为： 步骤一：粗提取。提取大量的特征点，但是有很大一部分的特征点的质量不高； 步骤二：利用机器学习的方法筛选最优特征点； 步骤三：采用非极大值抑制去除局部较密集特征点； 步骤四：建立金字塔，来实现特征点的多尺度不变性； 步骤五：定义矩方法实现特征点的旋转不变性。 ORB是为了满足实时处理的需要而提出的基于FAST特征检测和BRIEF特征描述的一种局部不变特征算法。两幅图片的特征点提取成功后使用BF算法进行匹配得到两幅图片的特征点对。 1．2剔除错误的匹配点对 通过ORB特征点提取算法和BF算法匹配后得到了两幅图片的特征点对。但是由于ORB特征点的数量巨大，且BF算法只能计算特征向量之间的相似性进行粗略匹配，因此特征点对当中包含大量错误的匹配点对，需要进一步剔除错误的匹配点对。如前文所述，本文算法注重提升运行速度和增强鲁棒性，所以本文采用基于运动统计模型的GMS算法来筛选特征点对。 近两年关于计算机视觉的国际会议中，将平滑度约束引入特征匹配用以实现超强鲁棒匹配的方法屡见不鲜。然而基于这个方法的方案或模型既复杂又缓慢，使得它们难以适用于视频或者实时系统。在CVPR2017会议上，毕业于南开大学现于新加坡科技设计大学担任助理研究员的边佳旺提出了基于网格的运动统计模型GMS，将运动平滑度作为统计量进行局部区域的匹配。由于算法实现了高速并且超稳定的图像匹配效果，对计算机视觉领域的研究产生重要影响。 图像对邀I a，I b妖各自具有邀N，M妖特征点，x＝邀x1，x2，x3，…，x i，…，x N妖表示从I a到I b的相似点对集合，GMS的目的就是将集合内正确点对与错误点对区分开来。假设两幅图像的对应区域a和b各自具有特征点数为邀n，m妖。GMS的统计模型为： S i ＝x i－1 上式中，x i哿x是a和b区域之间特征点对集合中的一个元素，S i表示区域内支持这个点对的度量方法，S i越大，支持这个点对的特征点对越多，表示点对是正确点对的可能性越大；S i越 一种快速鲁棒的模板匹配算法 A Fast and Robust Template Matching Algorithm 王美和陈金波（上海大学机电工程与自动化学院，上海200072） 摘要：模板匹配是计算机视觉领域中一项重要的研究内容。提出了一种基于特征点匹配的快速鲁棒的模板匹配算法。为了 提升匹配速度，该算法提取模板图片与目标图片的特征点进行匹配，而不是采用传统的计算模板匹配与滑动窗口相似性的方法。首先提取出两幅图片的特征点并对这两个特征点集合进行匹配；然后基于运动统计模型移除错误点对；最后利用网格框架 来定位目标图片中的物体。实验结果表明，该算法匹配速度较快、准确度较好，并且在匹配水下声呐图片时有较好的表现。 关键词：模板匹配，特征点，网格框架，快速鲁棒 Abstract:T his paper presents a fast and robust method for template matching based on the feature matches between a target image and the template．It extract two sets of feature points from two images by ORB algorithm and match the key points to get a number of matches,and remove the wrong matches to leverage feature numbers to improve quality．Then,this paper uses a grid framework to locate the target object． Keywords:template matching,key points,grid framework,fast and robust 45
模板匹配详解
模板匹配? 目标? 在这节教程中您将学到: ?使用OpenCV函数matchTemplate在模 板块和输入图像之间寻找匹配,获得匹配结 果图像 ?使用OpenCV函数minMaxLoc在给定的 矩阵中寻找最大和最小值(包括它们的位 置). 原理? 什么是模板匹配?? 模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配(相似)部分的技术. ?我们需要2幅图像: 1. 原图像(I):在这幅图像里,我们希望 找到一块和模板匹配的区域 2. 模板(T):将和原图像比照的图像 块 我们的目标是检测最匹配的区域:
?为了确定匹配区域, 我们不得不滑动模板图像和原图像进行比较: ?通过滑动, 我们的意思是图像块一次移动一个像素(从左往右,从上往下). 在每一个位置, 都进行一次度量计算来表明它是“好” 或“坏” 地与那个位置匹配(或者说块图像和原图像的特定区域有多么相似). ?对于T覆盖在I上的每个位置,你把度量值保存到结果图像矩阵(R)中. 在R 中的每个位置都包含匹配度量值:
上图就是TM_CCORR_NORMED方法 处理后的结果图像R . 最白的位置代表最 高的匹配. 正如您所见, 红色椭圆框住的位 置很可能是结果图像矩阵中的最大数值, 所以这个区域(以这个点为顶点,长宽和模 板图像一样大小的矩阵) 被认为是匹配的. 实际上, 我们使用函数minMaxLoc来定 位在矩阵R中的最大值点(或者最小值, 根据函数输入的匹配参数) . 问得好. OpenCV通过函数matchTemplate实现了模板匹配算法. 可用的方法有6个: 1. 平方差匹配method=CV_TM_SQDIFF 这类方法利用平方差来进行匹配,最好匹配为0.匹配越差,匹配值越大. b. 标准平方差匹配 method=CV_TM_SQDIFF_NORMED
模板匹配,ncc
竭诚为您提供优质文档/双击可除 模板匹配,ncc 篇一：ncc计算公式 ncc是基于相似度度量的匹配算法，因为对线性光照不敏感，在目标识别和工业检测领域得到了广泛的应用。传统的ncc算法计算公式如下： {[i(x+i,y+j)-i(x,y)][t(i,j)-t]} mnncc(x,y)=其中i为目标图像；t为模板图像，模板大小为m*n 篇二：基于halcon的模板匹配方法总结 基于halcon的模板匹配方法总结 分类：halcon学习20xx-06-2616:0247人阅读评论(0)收藏举报 德国mVtec公司开发的halcon机器视觉开发软件，提供了许多的功能，在这里我主要学习和研究了其中的形状匹配的算法和流程。hdevelop开发环境中提供的匹配的方法主要有三种，即component-based、gray-Value-based、shape-based,分别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具
特点，分别适用于不同的图像特征，但都有创建模板和寻找模板的相同过程。这三种方法里面，我主要就第三种－基于形状的匹配，做了许多的实验，因此也做了基于形状匹配的物体识别，基于形状匹配的视频对象分割和基于形状匹配的视频对象跟踪这些研究，从中取得较好的效果，简化了用其他工具，比如Vc++来开发的过程。在Vc下往往针对不同的图像格式，就会弄的很头疼，更不用说编写图像特征提取、模板建立和搜寻模板的代码呢，我想其中间过程会很复杂，效果也不一定会显著。下面我就具体地谈谈基于halcon的形状匹配算法的研究和心得总结。 1.shape-basedmatching的基本流程 halcon提供的基于形状匹配的算法主要是针对感兴趣 的小区域来建立模板，对整个图像建立模板也可以，但这样除非是对象在整个图像中所占比例很大，比如像视频会议中人体上半身这样的图像，我在后面的视频对象跟踪实验中就是针对整个图像的，这往往也是要牺牲匹配速度的，这个后面再讲。基本流程是这样的，如下所示： ⑴首先确定出Roi的矩形区域，这里只需要确定矩形的左上点和右下点的坐标即可，gen_rectangle1()这个函数就会帮助你生成一个矩形，利用area_center()找到这个矩形的中心；⑵然后需要从图像中获取这个矩形区域的图像，reduce_domain()会得到这个Roi；这之后就可以对这个矩形
HALCON形状匹配总结
HALCON形状匹配总结 Halcon有三种模板匹配方法：即Component-Based、Gray-Value-Based、Shaped_based,分别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配， 此外还有变形匹配和三维模型匹配也是分属于前面的大类 本文只对形状匹配做简要说明和补充： Shape_Based匹配方法： 上图介绍的是形状匹配做法的一般流程及模板制作的两种 方法。 先要补充点知识：形状匹配常见的有四种情况一般形状匹配模板shape_model、线性变形匹配模板 planar_deformable_model、局部可变形模板 local_deformable_model、和比例缩放模板Scale_model 第一种是不支持投影变形的模板匹配，但是速度是最高的， 第二种和第四种是支持投影变形的匹配，第三种则是支持局 部变形的匹配。 一般形状匹配模板是最常用的，模板的形状和大小一经制作 完毕便不再改变，在查找模板的过程中，只会改变模板的方 向和位置等来匹配目标图像中的图像。这个方法查找速度很 快，但是当目标图像中与模板对应的图像存在比例放大缩小
或是投影变形如倾斜等，均会影响查找结果。涉及到的算子 通常为create_shape_model 和find_shape_model 线性变形匹配模板planar_deformable_model是指模板在行列方向上可以进行适当的缩放。行列方向上可以分别独立的 进行一个适当的缩放变形来匹配。主要参数有行列方向查找 缩放比例、图像金字塔、行列方向匹配分数（指可接受的匹 配分数，大于这个值就接受，小于它就舍弃）、设置超找的角度、已经超找结果后得到的位置和匹配分数 线性变形匹配又分为两种：带标定的可变形模板匹配和不带 标定的可变形模板匹配。涉及到的算子有： 不带标定的模板：创建和查找模板算子 create_planar_uncalib_deformable_model和 find_planar_uncalib_deformable_model 带标定模板的匹配：先读入摄像机内参和外参 read_cam_par 和read_pose 创建和查找模板算子create_planar_calib_deformable_model和 find_planar_calib_deformable_model 局部变形模板是指在一张图上查找模板的时候，可以改变 模板的尺寸，来查找图像上具有局部变形的模板。例如包装 纸袋上图案查找。参数和线性变形额差不多 算子如下：create_local_deformable_model和 find_local_deformable_model