基于深度学习和回归模型的视觉目标跟踪算法研究

华中科技大学博士学位论文

摘要

近些年来，视觉目标跟踪已经成为计算机视觉中非常重要的研究方向之一。在一些常见的基于视频序列的应用，例如异常事件检测，无人机控制等中，一个准确度高、稳定性好、运行速度快的视觉目标跟踪算法都是非常必要的。视觉目标跟踪算法的主要任务是在给定待跟踪目标后准确可靠地预测目标在后续图像序列中的位置和大小。视觉目标跟踪的主要难点则在于，给定的待跟踪目标的形貌特征是任意的，而且正样本数量非常有限。其次，待跟踪目标的形貌会受到多个方面因素的干扰，比如光照变化，遮挡，旋转，变形等。这也要求视觉目标跟踪算法具有更强的判别能力。

针对视觉目标跟踪中的正样本少，目标形貌特征变化多的两个难点，论文基于回归模型和深度学习技术，提出了四种针对特定目标跟踪问题的视觉目标跟踪算法。具体的，论文完成了以下四种视觉目标跟踪算法的研究：

首先，论文提出了一种基于结构化相关滤波实现的回归模型，用于对视觉目标的跟踪。原始的相关滤波模型将目标整体作为输入，对于目标被遮挡或者发生严重形变的情况，该算法无法很好的完成目标跟踪。为解决这些问题，论文提出将目标分为结构化的多个图像块，并自适应地调整它们的权重，抑制遮挡部分对于目标定位的贡献，实现对目标的准确跟踪。同时，论文还提出基于目标–背景直方图的目标增强模型，解决了目标发生形变时特征不明显的问题。基于上述两种方法，算法的跟踪性能得到了显著提高。

受到当前流行的深度卷积网络的启发，论文进一步提出将深度学习技术与回归模型结合在一起，利用单层的卷积层网络实现对回归模型的求解，从而实现目标跟踪。传统的相关滤波算法可以实现对回归模型的快速求解，但是其训练样本包含大量额外背景信息，且样本数量有限，不利于目标跟踪。而该算法中的训练样本基于滑动窗形式提取得到，因此不包含额外背景信息，且样本数量得到极大提高，使得回归模型具有更强的判别能力。该算法为视觉目标跟踪领域提供了一种全新的基于卷积回归模型的跟踪算法，并且其跟踪性能超越了大部分现有的基于相关滤波模型的跟踪算法。

基于整体目标训练得到的卷积回归模型显然无法很好地解决目标发生变形带来的挑战，也无法快速地实现对目标大小的预测。因此，论文还设计一种层级式的卷积回归模型，用于目标的定位和大小预测。该算法引入了一个基于局部纹理信息的卷积回归模型，用于预测目标的前景。该纹理回归模型可以很好地在目标发生变形或者旋转时辅助对目标定位，提高跟踪准确度。此外，论文还提出一种基于贝叶斯模型的最大后验估计的方法，能够利用目标的前景预测图直接估计目标的大小，显著

华中科技大学博士学位论文

提高了算法的运行速度，以及对目标大小预测的准确度。

上述三种跟踪算法都是基于监督式回归模型的，因此在跟踪过程中，模型参数都必须在线更新，极大地降低了算法的运行速度。为了解决这一问题，论文还提出了一种基于双通道卷积神经网络的视觉目标跟踪算法。该卷积网络模型接收两个图像块作为输入，并输出一个二维的热图，用来指示目标在图像中最可能出现的位置。基于这样的网络设计，可以巧妙地将视觉目标跟踪被转化为一个求解目标相似度的问题。不同于以往的跟踪算法，该模型只需要经过一次离线学习，就可以实现对任意目标的跟踪，而且不需要额外的在线更新，因此其运行速度非常快。相关实验表明，该算法在取得有竞争力的跟踪效果同时，能够以每秒钟45帧的速度实时运行。

论文中提出的以上四种跟踪算法分别从四个不同的角度出发，将回归模型与深度学习技术结合起来，解决了视觉目标跟踪中的特定问题。论文还在多个流行的视觉目标跟踪测试数据集上进行了充分的对比实验。实验结果显示论文中提出的算法取得了良好的跟踪性能。

关键词：视觉目标跟踪回归模型深度学习核化相关滤波卷积回归孪生网络