步态识别论文
课程论文
步态识别
学号：12426009
班级：通信122
：楚舒琦
目录
摘要 (3)
一、背景介绍 (4)
二、相关研究 (4)
三、主题（算法） (5)
3.1基于线图模型的动态特征提取 (6)
3.2基于整体的静态特征提取 (8)
3.3识别 (9)
四、实验 (9)
五、结果讨论 (12)
六、总结 (12)
七、应用前景 (13)
八、技术难点及解决途径 (14)
8.1技术难点 (14)
8.2解决途径 (15)
九、参考文献 (16)
摘要
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。对步态识别的优缺点以及步态识别所涉及到的运动分割、特征提取与选择、模式识别算法进行了综述,并对步态识别中存在的问题与未来的研究方向进行了讨论。
关键词:生物特征识别;步态识别;特征提取;运动分割;动态时间规正
一、背景介绍
步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的"风格"上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。
人类自身很善于进行步态识别，在一定距离之外都有经验能够根据人的步态辨别出熟悉的人。步态识别的输入是一段行走的视频图像序列，因此其数据采集与面像识别类似，具有非侵犯性和可接受性。但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。尽管生物力学中对于步态进行了大量的研究工作，基于步态的身份鉴别的研究工作却是刚刚开始。步态识别主要提取的特征是人体每个关节的运动。到目前为止，还没有商业化的基于步态的身份鉴别系统。
二、相关研究
信息融合：感知融合是人类感知外部世界的本能之一。人类可以非常自然地运用这一能力把来自人体各个感知器官眼耳鼻四肢的信息图像声音气味触觉组合起来并使用先验知识去估计理解和识别周围的环境以及正在发生的事情。融合理论正是对人类这一本能的模仿旨在利用计算机技术对按时序获得的多源观测信息在一定准则下加以自动分析综合以完成所需的决策和估计任务而进行的信息处理过程。
信息融合的基本原理就像人脑综合处理信息一样充分利用多源信息通过对这些多源的观测信息的合理支配和使用把多源信息在空间或时间上的冗余或互补依据某种准则来进行组合以获得被测对象的一致性解释或描述。按照信息抽象的个层次可将信息融合分为3级（像素级融合特征级融合和决策级融合）。
像素级融合是在采集到的原始数据上进行的融合是原始测报未经预处理之前就进行的综合和分析是最低层次的融合。
●特征级融合属于中间层次它先对原始信息进行特征提取然后对特征信息进行关联处理
和综合分析最终用于目标识别。一般来说提取的特征信息应该是这一目标的充分表示量并且去除了一定的冗余信息。其优点是实现了可观的信息压缩有利于实时的目标识别。
特征级融合算法的一般流程如图1所示。
图1特征级融合算法一般流程
●决策级融合是一种高层次融合。先将多源传感信息对目标属性进行独立决策。再对各自
得到的决策结果进行融合以获得整体一致的决策。其优点是具有很强的容错性和很好的开放性。并且处理时间较短)难点在于分类特征组合与表达的机理难以量化和统一图2给出了决策级融合算法的一般流程。决策级融合必须从具体决策的实际需求出发。充分利用特征级融合所提取的测量对象的各类特征信息。采用适当的融合技术来实现。常用的方法包括k/n准则、Bayes准则和Dempster-Shafer理论等。
图2决策级融合算法一般流程
三、主题（算法）
信息融合在其他生物特征识别领域已经取得了很好的效果。也为步态识别性能的进一步提高提供了可能的方法。在步态识别领域中。常采用特征级融合和决策级融合两类方法。融合的特征包括不同类的步态特征(多特征融合)、步态特征和其他生物特征(多模态特征融合)以及不同角度摄像机拍摄的步态特征(多视角融合)等。在决策级融合中。通常假设各个特征之间具备统计独立性。则各个分类器得到的匹配分值可用Bayes理论D-S证据理论、表决法、
聚类分析、模板法、模糊集合论、神经网络、熵法等进行合并。通常使用的合并规则有加法规则、乘法规则、最大规则、最小规则、中值规则和多数投票规则等。
为了进一步研究融合理论在步态识别中的应用。我们提出一种基于线图模型和静态特征的步态识别算法、静态特征主要用于反映人体目标的全貌。例如形体高度胖瘦等。线图模型主要用于反映人体目标的运动特点。如行走过程中主要关节点位置的变化(肢体间角度的变化等、本文分别研究了使用特征级和决策级融合’加法规则和乘法规则理论进行步态识别的方法、算法流程如图3图4所示。
在视频序列分析中。首先要将运动目标从背景图像中分割出来、通过背景减除二值化及阴影消除后。可以得到步态序列中每帧图像的单连通人体运动区域、为了去除图像中存在的大量冗余信息并减小计算量。进一步使用图像模板化技术将目标缩放到固定大小的图像模板中（见图6（a ））步态的静态和动态特征都是从二值化侧影的目标模板中提取的。
图3特征级融合策略流程图 图4决策级融合策略流程图
3.1基于线图模型的动态特征提取
首先抽取出二值侧影图像的骨架信息。然后根据该骨架信息和解剖学知识共同得到各个关节点的位置及相互间形成的角度。最后使用这些位置和角度信息形成步态的动态特征、算法的具体步骤如下:
步骤1利用图像处理技术中的中轴变换方法提取二值侧影图像的骨架图、它是一种可逆变换。既能压缩图像信息。又能由中轴及其数值恢复原图像、提取方法如下:
1) D 表示原图区域中像素点的集合i E (D)表示其边界0E (D)表示其外边界,S(D)表示区域D 及其8连通区域的所有像素点、令D D dd .
2) 一步细化之后得到的结果区域如下:
]))(([)]([)(0old old old i old old new D D S E D E D D S D -= （1）
3) 如果old D D =new ，终止迭代，跳转到第4)步.否则,令new old D D =，并跳转到第2）步。 4) ew D n 即为所求区域的骨架像素的集合。
步骤2根据解剖学中人体各部分肢体占身高的比例关系。来提取人体的关节点位置、即对人体骨架进行扫描。扫描线与人体骨架的交叉点即为关节点的位置、这样可以得到人体的8个关节点：
)
,(),,(),,(),,(),,(),,(),,(),,22212211ankle ankel ankle ankle knee knee knee knee pelvis pelvis shoulder shouldwer neck neck head head y x y x y x y x y x y x y x y x （
连接这8个关节点，得到人体的骨骼化模型，图5示出简化的人体比例关系。
图5简化的人体比例关系图
步骤3进一步计算出骨骼化模型中各部分肢体所形成的角度、这里取肢体与竖直线的角度)这7个角度分别包括。2121ne h ,,,,,,shin shin thigh thigh back ck ead θθθθθθθ，人体骨架及骨骼化模型、
以及肢体夹角示意图如图6所示。令），（00y x 和），（11y x 分别为肢体两端的关节点所在位
置、则肢体夹角计算如下:0
101tan a y y x x rc --=θ (2)
图6人体骨架及骨骼化模型
步骤4确定步态参数)通过上述讨论，可以看出在骨骼化模型中一共有23维参数特征，关节点位置2*8=16维，肢体角度7维。关节点位置中的x 值通常是固定不变的、为了简化运算、可以将其去除、留下关节点的y 值信息及肢体角度信息共同构成15维参数特征的步态模式)进一步、为了消除空间尺度不同带来的影响、需要将这些参数特征归一化到区间[π/2,3π/2]中。
3.2基于整体的静态特征提取
侧影的宽度和高度信息是决定目标形状的两个重要因素，宽度代表了运动目标的胖瘦程度、高度则代表了运动目标的身高)身高和胖瘦是人类视觉系统进行身份识别的主要依据之
一、但是这两个参数常常随着摄像机拍摄距离的变化而变化)例如、同样焦距下、一个高个子目标由于拍摄距离较远会显得比近处的矮个子目标还要矮小)宽度所代表的胖瘦信息也是如此)因此、它们都不可以单独作为形体特征来进行步态识别)为了消除这种误差、本文算法采用了侧影的伸长度作为基于整体的形态特征、即：H W E =
(3)式中W 代表侧影的宽度,H 代表侧影的高度。
然而，伸长度中的除法运算常常会消除掉一些有用的信息、例如一个拍摄距离较远的又高又胖的人可能会和一个拍摄距离较近的又矮又瘦的人拥有同样的伸长度、因此单独使用伸长度很难将目标区分开来)为了克服上述缺点、又引入了空间度特征:∑∑==∈=n 11)1,0(),(),,(i m j j i P j i P S (4)空间度代表了二值侧影目标中前景像素
的数目。同样、两种静态参数特征也需要进行幅度上的归一化运算。
3.3识别
本算法采用K 近邻分类器进行模式分类)由于步态数据具有周期性)循环性的特征、因此相似性度量采用基于周期的方法、具体步骤如下:
1)令训练序列为},...,,{,2,1,g N g g g g X X X X =，测试序列为g N p p p p N X X X X p },,...,,{,2,1,=和p N 分别表示两序列的帧数,j i X ,表示第i 个序列中的第j 个特征矢量。
2)对任意一个序列},...,,{21N X X X X =计算出它的步态周期n(n 成[N/n]个子序列.其中,第k 个子序列可表示为},...,,{21n k k k X X X k X +++=） （。 3)对于测试集中的第K 个子序列和训练集中任意以L 为起始帧的子序列、计算它们之间的距离:∑=++-= N j j l g j k p x k x X X l dis g p 1,,)),(()( (4) 4)得到整个测试 序列和训练序列之间的相似度:))((1 1),(im )),((1min l dis K X X S g p X k X K k l g p ∑=-= (5)式中K=[m/p N ]。l 为训练样 本序列中和测试样本子序列进行比较的起始帧l=0,1,...,n-g N 。相似度Sim 的值越大,说明两个序列越相似。 四、实验 我们分别对仅基于整体形状特征的算法)仅基于动态模型特征的算法)特征级融合算法以及运用了加法和乘法规则的决策级融合算法进行了实验和比较（见图7-图10）实验数据采用了来自于卡耐基梅隆大学的CMU 数据库。该数据库包含25人、每人6个视角4种走路姿势。快走)慢走)上坡和抱球共24个序列，每个序列340帧左右、重点测试了步速对算法的性能影响。 算法评价采用CMS 和ROS 曲线。为了便于进行评价(需要将数据库中每个样本序列按照步态周期拆分为若干子序列、每个快步走序列大约包含8个步态周期(每个慢步走序列大约包含7个步态周期)(再为每人随机抽取一个步态周期作为测试集(其余步态周期序列作为训练集(来进行步态识别。另外(为了测试算法对行走速度的敏感性(本文分别以快步走和慢步 走数据互为训练和识别样本、未拆分序列)进行了实验。算法识别率采用5阶CMS结果的平均值。实验结果如表1所列 图7实验1,(CMU数据库，Train:fast;T est:fast)的识别校验性能曲线 图8实验2(CMU数据库，Train:slow;T est:slow)的识别校验性能曲线 图9实验3(CMU数据库，Train:fast;T est:slow)的识别校验性能曲线 图10实验4(CMU数据库，Train:slow;T est:fast)的识别校验性能曲线 五、结果讨论 1)融合算法确实比单一特征算法的识别率有所提高。 2)对于相同步速的实验来说(使用决策级融合算法结果更好(而且乘法规则明显优于加法规则。 3)对于不同步速的实验(仅基于形状的步态特征识别率下降最多(基于模型的算法识别率变化不大(可见形状特征对步速变化不具有鲁棒性。 4)特征级融合算法在步速变化的实验中得到了最好的识别结果(说明决策级融合算法性能的提高更容易受特征算法识别结果的影响。 六、总结 步态识别的标准数据库以及算法统一评价准则还没有制定。目前的数据库规模较小且不够全面。一种步态识别方法在不同数据库上的识别结果可能会不同，使用不同评价标准对每种算法进行评价所得到的评价结果也是不同的，也不具有可比性。基于自身数据量大、计算复杂的特点，不可能将所有步态识别算法在每个数据库上进行测试。所以，如何客观评估步态识别算法的性能，是步态识别的研究难点，也是亟需解决的问题。 影响步态识别正确率的因素很多，如何采取相应的措施克服各种因素的影响，以达到期望的性能仍是研究的难点。 拥挤状态下，运动目标的自遮挡以及目标之间的互遮挡问题难于处理。可以用统计的方法从已有图像信息中进行人体姿势、位置等的估计和预测。另外，利用多摄像机多视角跟踪拍摄来解决遮挡问题的方法也是很有潜力的一种方法。 随着对步态识别中融合技术更深入的研究，如何选择性能互补的特征、如何优化具有冗余信息的特征、如何采用不同层次的融合策略来提升算法性能也亟需进一步研究。 七、应用前景 随着我们逐渐迈入数字时代,基于步态特征的身份识别技术愈加显示出它的价值。对于诸如军事基地、停车场、机场、高档社区等重要场所,出于管理和安全的需要,人们必须知道该区域发生的事件,并有效准确地识别人、快速检测威胁并且提供不同人员的进入权限级别,于是采用某种特定方法来监视该场景。特别是场景中的人,人脸、指纹和虹膜等生理特征识别不再适用,而步态识别作为有效的行为特征,不需要任何交互性接触就可以实现远距离情况下的身份识别。美国国防高级研究计划署(DARPA)资助的远距离身份识别HID(Human I- dentification at a Distance)计划,其任务就是开发多模式、大围的视觉监控技术以实现远距离条件下的检测、分类和识别,从而增强国防、民用等场合免受恐怖袭击的自动保护能力。美国五角大楼也正在拟定采用步态识别技术进行反恐。美国9·11恐怖袭击以后,人们已经意识到安全的脆弱性,目前各国都高度重视这样一个问题,即如何对国家重要安全部门和敏感场所进行全天候、自动、实时的远距离监控和身份识别。而基于步态特征的身份识别技术就是解决这一问题的有效手段之一。虽然目前步态识别技术的效果还不尽如人意,系统的准确率不够高,而且成本较高,但这项技术有着美好的应用前景。预计5年后,步态识别机将实现商品化。届时,世界各国均可享受到这一新型识别技术的好处,在各国机场及其他重要场所的出入口安装这种机器,结成一无形的反恐巨网,增强人类社会的安全度,构筑一个和谐、安全的人类家园。 在临床工作中,对人体行走方式进行客观记录并对步行功能进行系统评价,是康复评定的重要组成部分。现实中有很多疾病会引起步态变化,即产生走路姿态异常。为此可通过对步行规律的研究,分析人体骨骼、关节的三维空间定位以及生物力学特性,准确评价人体各部位在运动过程中的动态变化,从而揭示步态异常的病理原因。步态评价也是神经病学、风湿病学、矫形学和康复医学在日常临床实践中的重要方面。对患有神经系统或骨骼肌肉系统疾 病而可能影响行走能力的患者需要进行步态分析,以评估患者是否存在异常步态以及步态异常的性质和程度,从而为分析异常步态原因和矫正异常步态、制定治疗方案提供必要的依据。通过步态分析还可以理解步态异常的基本过程和机制,从而对力、关节角度和肌肉活动进行详细分析,进而进行相关的医学研究。 另外,步态识别问题是人的运动分析的一个子问题,因而步态识别问题的研究成果有可能扩展应用于解决计算机视觉领域里的其他问题,如区分不同的运动(走路、跑步、打网球的击球动作)、手语的解释等。 八、技术难点及解决途径 步态识别是计算机视觉和模式识别领域一个非常新的研究方向,近10年来,研究者在这方面取得了许多成绩,但是要设计并实现一个实用性强的步态识别系统非常复杂并且困难。由于人的行走姿势受各种因素的影响,在不同环境条件下行走姿势有或多或少的变化,因此步态识别的计算较复杂,识别的准确度还不够高。目前该系统的准确率在80。～90。,准确性低于第一代身份识别技术。 许多客观因素的存在,给步态的最终识别带来了困难,如何更准确地识别步态特征,是步态识别领域面临的难题。然而,医学研究所确定的特征,或者因为特征本身没有可重复性,或者由于观察角度的限制和自遮挡问题,并不适于基于计算机视觉的系统去提取。从计算的角度来看,从低质量和没有标记的视频序列中对运动物体进行跟踪和分割的算法的不精确性导致了所提取特征的不可靠性,而由摄像机深度和角度不同造成的透视的影响使特征提取工作变得十分繁重。 8.1技术难点 复杂背景的干扰：运动目标的有效检测对于目标识别、跟踪和行为理解等后期的处理是非常重要的。步态序列图像是一个复杂、具有非常高维数的视觉模式,图像获取过程中的不确定性,使得步态识别过程必然会受到各种外界因素的干扰,从而使得复杂背景图像中的目标检测非常困难。如何消除复杂背景的影响,准确提取运动人体的目标特征, 成为步态特征提取以及后续处理的关键。 识别算法问题：目前已有几种常用的模式分类器应用于步态识别,但是尚且处于实验研 究阶段,没有一种完美无缺的算法。常见的方法有最近邻(Nearest-neighbor,NN)分类、人工神经网络(Ar-tificial neural network,ANN)及隐马尔可夫模型(Hidden markov model,HMM)等,这些方法有许多弱点。其中最近邻分类器是根据欧几里得距离对已知向量和待识别量进行比对,该方法没有深入挖掘数据部包含的变化信息,即:哪种数据变化属于同一个体部变化信息引起的,哪种变化是由于不同个体之间的差别造成的。其次,最近邻分类技术对于权重大小的分配具有不可靠性,这在步态识别以及数据融合中是非常重要的因素。对步态数据进行简单的融合也会严重影响步态识别率。而人工神经网络和隐马尔可夫模型的理论基础是经典统计学,采用的是样本数目趋于无穷大时的渐进理论。然而在步态识别的实际研究中,样本数目往往有限,故这些在理论上有显著长处的分类方法在实际应用中却可能不尽人意。另外,由于这些算法本身存在的问题,就会出现随着样本数的增多,识别率会有所下降。这是因为,样本数量越大,出错的机会就越多;根据步态识别的特征来看,样本数的增加导致特征空间出现拥挤现象,个体之间的差别就会缩小。如何解决这个问题,一直困扰着许多研究者。 环境因素干扰：影响步态识别的外界因素也很多。Laszlo等认为地面状况影响一个人走路的平衡性,从而对步态识别会产生影响。Murray等认为受伤尤其是腿部的伤害会严重影响一个人的步态。von T scharner等证实赤脚与鞋子类型均会影响步态识别。观测角度、携带物品状况、观测时间等,这些因素都严重影响着步态特征的识别。另外,可用于研究人员使用的数据库目前大部分提供的都是两维形象,并且很大程度上取决于照相机的角度,这也在很大程度上严重制约了步态识别的研究。遮挡现象在实际应用中随时都可能出现,人的步行存在着携带诸如提包、雨伞、背包等足以改变外形、掩盖部分人体的现象。另外,同一个人身着不同种类的鞋和衣服,也会导致身体在二维平面的投影出现变化,对于基于统计特征的方法而言,显然会造成影响。 8.2解决途径 随着图像处理、模式识别、人工智能以及生物心理学的研究进展,步态识别技术也将会获得更大的发展。在一些高级信息安全的应用中,需要研究步态与人脸、指纹、虹膜、语音等识别技术的融合方法,这也是生物特征识别技术的发展趋势。因此多分类器的混合使用、基于步态的多生物特征融合、3 D人体建模以及利用外部环境模型等,都将是未来研究发展的方向,也是今后解决步态识别难题的有效方法。另外支持向量机、混合概率模型和隐马尔可夫模型都是很有潜力的新方法,可能会给现有方法带来很大改进。 从提高步态识别系统实用性能的角度,步态识别技术可以在以下几方面做出努力:首先,进一步研究特征提取算法和识别算法,提高识别精度;其次,研究对海量步态数据的分布式检索比对方法,以便提高识别速度;最后,提高系统的适用性,降低对应用环境的条件限制。总之,步态识别是涉及生理学、神经科学以及心理学等众多学科的一门边缘学科,因此今后人们也必须借鉴生物生理模型、行为模型和心理模型的研究成果,最大限度地获取各种信息并且有机地集成起来加以利用,以便提高步态识别系统的正确识别率。 另外,将红外步态序列图像用于识别的研究还比较少,目前只是停留在对红外图像进行运动学分析。因此红外步态识别也有可能是一种有效的解决方法。 九、参考文献 【1】步态识别研究现状与进展_薛召军 【2】步态识别关键技术研究_卢官明 【3】融合理论在步态识别中的应用研究_柴艳妹 课程论文 步态识别 学号： 班级：通信122 姓名：楚舒琦 目录 摘要 (3) 一、背景介绍 (4) 二、相关研究 (4) 三、主题（算法） (5) 基于线图模型的动态特征提取 (6) 基于整体的静态特征提取 (8) 识别 (9) 四、实验 (9) 五、结果讨论 (12) 六、总结 (12) 七、应用前景 (12) 八、技术难点及解决途径 (14) 技术难点 (14) 解决途径 (15) 九、参考文献 (16) 摘要 步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。对步态识别的优缺点以及步态识别所涉及到的运动分割、特征提取与选择、模式识别算法进行了综述,并对步态识别中存在的问题与未来的研究方向进行了讨论。 关键词:生物特征识别;步态识别;特征提取;运动分割;动态时间规正 一、背景介绍 步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的"风格"上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。 人类自身很善于进行步态识别，在一定距离之外都有经验能够根据人的步态辨别出熟悉的人。步态识别的输入是一段行走的视频图像序列，因此其数据采集与面像识别类似，具有非侵犯性和可接受性。但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。尽管生物力学中对于步态进行了大量的研究工作，基于步态的身份鉴别的研究工作却是刚刚开始。步态识别主要提取的特征是人体每个关节的运动。到目前为止，还没有商业化的基于步态的身份鉴别系统。 二、相关研究 信息融合：感知融合是人类感知外部世界的本能之一。人类可以非常自然地运用这一能力把来自人体各个感知器官眼耳鼻四肢的信息图像声音气味触觉组合起来并使用先验知识去估计理解和识别周围的环境以及正在发生的事情。融合理论正是对人类这一本能的模仿旨在利用计算机技术对按时序获得的多源观测信息在一定准则下加以自动分析综合以完成所需的决策和估计任务而进行的信息处理过程。 信息融合的基本原理就像人脑综合处理信息一样充分利用多源信息通过对这些多源的观测信息的合理支配和使用把多源信息在空间或时间上的冗余或互补依据某种准则来进行组合以获得被测对象的一致性解释或描述。按照信息抽象的个层次可将信息融合分为3级（像素级融合特征级融合和决策级融合）。 像素级融合是在采集到的原始数据上进行的融合是原始测报未经预处理之前就进行的综合和分析是最低层次的融合。 (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910309192.7 (22)申请日 2019.04.17 (71)申请人 北京易达图灵科技有限公司 地址 100013 北京市朝阳区安定门外大街1 号1幢9层905室 (72)发明人 袁飞 华仁红 马向军 孙文凤 (74)专利代理机构 北京路浩知识产权代理有限 公司 11002 代理人 王庆龙 苗晓静 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/46(2006.01) G06N 3/04(2006.01) (54)发明名称 一种步态识别方法及装置 (57)摘要 本发明实施例提供一种步态识别方法及装 置。方法包括：获取待识别视频中任一行人对应 的人体关键点特征向量序列；将人体关键点特征 向量序列输入至目标神经网络，根据目标神经网 络的输出结果，识别人体关键点特征向量序列对 应的行人身份；其中，目标神经网络是根据带有 行人身份标签的人体关键点特征向量序列进行 训练后得到的。本发明实施例提供的方法及装 置，通过获取待识别视频中任一行人对应的人体 关键点特征向量序列，并将该序列输入至目标神 经网络，根据目标神经网络的输出结果，识别该 序列对应的行人身份。通过充分利用人体关键点 特征，自学习人体的步态特征，大大提高了步态 识别的鲁棒性和准确性，并且，对硬件的要求较 低， 便于实际应用。权利要求书2页 说明书8页 附图2页CN 110070029 A 2019.07.30 C N 110070029 A 权 利 要 求 书1/2页CN 110070029 A 1.一种步态识别方法，其特征在于，包括： 获取待识别视频中任一行人对应的人体关键点特征向量序列； 将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份； 其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。 2.根据权利要求1所述的方法，其特征在于，所述获取待识别视频中任一行人对应的人体关键点特征向量序列，包括： 获取待识别视频，所述待识别视频中包括若干个行人； 对所述待识别视频进行采样，得到多帧图像并组成采样图像序列； 将所述采样图像序列输入至人体关键点检测模型，得到所述待识别视频中任一行人对应的人体关键点特征向量序列。 3.根据权利要求1所述的方法，其特征在于，所述将所述人体关键点特征向量序列输入至目标神经网络，之前还包括： 获取多个样本视频和每一样本视频中每一行人对应的行人身份标签，并获取每一样本视频中每一行人对应的人体关键点特征向量序列； 将每一行人对应的人体关键点特征向量序列和行人身份标签的组合作为一个训练样本，得到多个训练样本并组成训练集； 通过所述训练集对原始神经网络进行训练，得到所述目标神经网络。 4.根据权利要求3所述的方法，其特征在于，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括： 将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值； 若所述损失值小于第一预设阈值，则将所述原始神经网络作为所述目标神经网络。 5.根据权利要求3所述的方法，其特征在于，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括： 将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值； 若所述损失值小于第一预设阈值，则将所述原始神经网络作为候选神经网络； 多次调整所述神经网络的结构，每调整一次则重复执行训练过程以得到对应的候选神经网络，并从得到的多个候选神经网络中选择一个作为所述目标神经网络。 6.根据权利要求5所述的方法，其特征在于，所述从得到的多个候选神经网络中选择一个作为所述目标神经网络，包括： 从所述多个候选神经网络中，选择损失值小于第二预设阈值的若干个候选神经网络； 基于验证集对所述若干个候选神经网络中的每一候选神经网络进行验证，得到每一候选神经网络的准确率，并将准确率最高的候选神经网络作为所述目标神经网络。 7.根据权利要求1-6任一所述的方法，其特征在于，所述目标神经网络为长短期记忆网络。 8.一种步态识别装置，其特征在于，包括： 2 第21卷第4期湖 北 工 业 大 学 学 报2006年08月 V ol.21N o.4 Journal of H ubei U niversity of T echnology Aug.2006 [收稿日期]2006-05-23[作者简介]程 琼(1959-),女,湖北武汉人,湖北工业大学副教授,研究方向:模式识别及计算机控制. [文章编号]1003-4684(2006)0820101203 基于计算机视觉步态识别系统的方法研究 程 琼,庄留杰 (湖北工业大学电气与电子工程学院,湖北武汉430068) [摘 要]对目前步态识别系统的研究方法进行了分析、归类与总结,并在原有的研究方法基础上提出了三维 系统建模与跟踪新方法.计算机视觉技术为步态识别系统提供了强有力的分析工具. [关键词]步态识别;计算机视觉;研究方法[中图分类号]TP391.41 [文献标识码]:A 步态识别作为一种新兴的生物特征识别技术, 当前已成为基于视觉的人体运动分析领域的研究热点.步态识别是一种潜在的行为特征,相关研究已证实它可以用于身份识别. 1 步态识别系统组成 步态识别是从相同行走行为中寻找和提取相应个体的可区分的变化来自动进行身份识别.基于视 觉的步态识别系统,如图1所示,监控摄像机用于捕捉监控领域中的行人,结合背景的自动建模和更新,步态检测用来检测行人.行人在二维或三维空间中被连续跟踪.从跟踪结果中,步态模式的一些个性化特征被相应地提取.结合在步态数据库中已经存储的步态模式,分类器最后给出识别结果 . 2 基于视觉的步态分析 步态作为生物特征的可用性在早期已得到证明,关健是如何利用计算机视觉方法来获取个体运动特征.人体建模的选择对于从图像中识别人的形状,正确分析人的运动是非常重要的.骨架图模型是 以直线近似在关节点处所连接的骨骼来表达人体;立体模型能更好地表达人体,它利用广义锥台、椭圆柱、球等三维模型来描述人体的结构细节[1]. 许多研究将人的运动定义为身体运动的不同姿势.有2种主要方法来建模人的运动:一种是基于模型的方法,即选择人体模型后,该模型的三维结构从图像序列中进行恢复;另一种方法重在确定运动场的特征,而不需结构的重构.运动行为的识别可以认为是时变数据的分类问题. 可以看出,人体建模、跟踪与运动识别技术等视觉方法已为步态分析提供了一种强有力的分析工具. 3 步态识别方法分类 当前的步态识别方法有:1)使用行人的时空模式得到步态特征;2)通过光流分布来提取特征;3)特征化实际运动的外观.而如何紧支有效地表达分割出来的或跟踪的行人是非常重要的,因为它将直接或被进一步分析,以获取用于识别的步态特征. 步态包括2类分量:结构化分量,它捕捉了一个人的身体形状;动态分量,它捕捉人体行走期间的运 动特征.根据分析,步态识别方法一是基于模型或结构的方法,它通常建模人体结构并且提取图像特征来影射它们为模型的结构化分量,或者衍生出人体部分的运动轨迹来识别个体;二是非结构或者基于运动的方法,它通常特征化人体的整个运动模式来获取运动特征,而不考虑潜在的结构[2]. 步态识别方法的分类及各类方法的比较 程汝珍1,2 1河海大学计算机及信息工程学院，江苏南京(210098) 2水文水资源与水利工程科学国家重点实验室，江苏南京(210098) E-mail：chengruzhen@https://www.sodocs.net/doc/f56605706.html, 摘要：步态识别是生物特征识别技术中的一个新兴领域，它旨在根据个体的行走方式识别身份。步态识别主要是针对含有人的运动图像序列进行分析处理,所涉及到的几项关键技术包括:视频处理、图像处理、模式识别。步态识别分析可以划分为特征抽取、特征处理和识别分类三个阶段。在最近的文献中已经有许多研究尝试，提出了许多步态识别的具体方法。但国内外尚无将步态识别技术分类，本文提出了步态识别的六类分类法，且初步比较了每类方法的适用范围和优缺点，使读者较为全面了解步态识别技术现状。 关键词：步态识别；分类；适用范围；优缺点；比较 中图分类号：TP391.4 1.引言 步态识别是生物特征识别技术中的一个新兴领域，它旨在根据个体的行走方式识别身份[1]。根据早期的医学研究[2]人的步态有24个不同的分量，在考虑所有的步态运动分量的情况下步态是唯一的。精神物理学[3]中的研究结果显示即使通过受损的步态信息人们也能够识别出身份，这表明在步态信号中存在身份信息。 步态识别主要是针对含有人的运动图像序列进行分析处理,所涉及到的几项关键技术包括:视频处理、图像处理、模式识别[4]。步态识别分析可以划分为特征抽取、特征处理和识别分类三个阶段[5]。 步态识别部分 图1 步态自动识别系统框图 Fig1 the framework of gait automatic recognition system 步态识别系统的一般框架如图所示[6]。监控摄像机首先捕捉监控领域来人的行走视频，然后送入计算机进行检测和跟踪，提取人的步态特征，最后结合已经存储的步态模式进行身份识别。若发现该人是罪犯或嫌疑人，系统将自动发出警告。 邮局订阅号：８２－９４６３６０元／年 技术创新 人工智能 《ＰＬＣ技术应用２００例》 您的论文得到两院院士关注 基于贝叶斯网络的步态识别 ＨｕｍａｎｇａｉｔｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｏｎＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓ （北京科技大学）张 磊刘冀伟 Ｚｈａｎｇ，ＬｅｉＬｉｕ，Ｊｉｗｅｉ 摘要：步态作为一种重要的生物特征由于其远距离身份识别能力而逐渐受到人们的重视。本文提出了一种基于贝叶斯网络的步态识别方法。首先应用背景差方法获得运动人体侧面二值图像，将侧面像分为七部分来提取特征，采用最大方差法对 训练集进行离散化，对各部分分别建立贝叶斯网络，最后利用“投票” 规则将网络推理结果进行组合。将该方法在Ｓｏｔｏｎ步态数据库上进行试验，取得了比较理想的识别效果。关键词：生物特征识别；步态识别；贝叶斯网络 中图分类号：ＴＰ３９１．４ 文献标识码：ＡＡｂｓｔｒａｃｔ：Ｇａｉｔｈａｓｒｅｃｅｎｔｌｙｇａｉｎｅｄｍｏｒｅａｎｄｍｏｒｅａｔｔｅｎｔｉｏｎａｓａｎｉｍｐｏｒｔａｎｔｂｉｏｌｏｇｉｃｆｅａｔｕｒｅｆｏｒｉｔｓａｂｉｌｉｔｙｏｆｉｄｅｎｔｉｆｉｃａｔｉｏｎａｔｄｉｓｔａｎｃｅ． ＴｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓａｈｕｍａｎｇａｉｔｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓ．Ｆｏｒｅａｃｈｋｅｙｆｒａｍｅ，ａｂａｃｋｇｒｏｕｎｄｓｕｂｔｒａｃｔｉｏｎｐｒｏｃｅｄｕｒｅｉｓｕｓｅｄｔｏｅｘｔｒａｃｔｍｏｖｉｎｇｓｉｌｈｏｕｅｔｔｅｏｆｔｈｅｗａｌｋｉｎｇｆｉｇｕｒｅｆｒｏｍｔｈｅｂａｃｋｇｒｏｕｎｄ．Ｅａｃｈｓｉｌｈｏｕｅｔｔｅｉｓｄｉｖｉｄｅｄｉｎｔｏｓｅｖｅｎｐａｒｔｓｔｏｅｘｔｒａｃｔｆｅａｔｕｒｅｓ．Ｔｈｅｔｒａｉｎｉｎｇｄａｔａｉｓｄｉｓｃｒｅｔｉｚｅｄｂｙｔｈｅｍｅｔｈｏｄｏｆｍａｘｉｍａｌｖａｒｉａｎｃｅｄａｔａｄｉｓｃｒｅｔｉｚａｔｉｏｎ．ＴｈｅＢａｙｅｓｉａｎｎｅｔｗｏｒｋｓａｒｅｓｅｔｆｏｒｅａｃｈｓｕｂ－ｒｅｇｉｏｎｏｆｔｈｅｓｉｌｈｏｕｅｔｔｅ．Ａｔｌａｓｔ，ｔｈｅｒｅｓｕｌｔｓｏｆｉｎｆｅｒｅｎｃｅａｒｅｃｏｍｂｉｎｅｄｗｉｔｈｖｏｔｉｎｇｒｕｌｅ．ＴｈｉｓｍｅｔｈｏｄｉｓｔｅｓｔｅｄｏｎｔｈｅＳｏｔｏｎｇａｉｔｄａｔａｂａｓｅ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓａｒｅｄｅｍｏｎｓｔｒａｔｅｄｔｈａｔｔｈｅｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅ．Ｋｅｙｗｏｒｄｓ：ｂｉｏｍｅｔｒｉｃｓｒｅｃｏｇｎｉｔｉｏｎ，ｇａｉｔｒｅｃｏｇｎｉｔｉｏｎ，ｂａｙｅｓｉａｎｎｅｔｗｏｒｋｓ 文章编号：１００８－０５７０（２００６）０９－２－０２６３－０３ １前言 近年来在例如视频监视，智能交互等许多重要领域中对自动身份识别系统的需求显著增加，极大的促进了基于计算机视觉的远距离身份识别的研究。步态作为一种重要的生物特征由于其远距离身份识别能力而逐渐受到人们的重视。相对于指纹、虹膜等生物特征，步态还具有非入侵、难伪装等特点。 步态识别是指通过人走路方式来判断人的身份。虽然步态识别仍是生物特征识别中的新兴领域，但近年来已经涌现出了大量的研究成果。ＵＭＤ的ＣｈｉｒａｚＢｅｎＡｂｄｅｌｋａｄｅｒ等通过估计人体高度参数和步幅参数来进行识别。中科院的王亮等提出了基于Ｐｒｏｃｒｕｓｔｅｓ形状分析的识别方法。ＭＩＴ的ＬｉｌｙＬｅｅ采用七个椭圆描述人的侧面二值图像，采用椭圆参数和人体质心的高度作为特征，通过模板匹配方法进行步态识别。 贝叶斯网络是对不确定知识进行表达和推理的拓扑结构，广泛应用于人工智能、决策评估等领域。作为一种分类器，贝叶斯网络能清晰的表示上下层之间的依存关系，由于模仿了人的推理机制，贝叶斯网络能较好的表达知识的不确定性，并且能实现快速推理，因此本文提出了基于贝叶斯网络的步态识别方法。首先利用背景差获得人体侧面二值图像，以文献中的图像表示方法为基础，将其改进后用于特征提取。根据各特征间的独立关系建立贝叶斯网络，通过贝叶斯网络推理实现对步态的识别。 ２步态特征提取 人体行走是一个周期运动，如果对周期中每个静态姿势提取特征，特征维数过高，训练数据有限，建模将会非常困难。考虑到步态周期中双足支撑期和单足支撑期姿态相对稳定，因此，取这两个姿态作为关键姿态。 运动人体侧面二值图像通过背景差的方法获得，侧面二值图像的宽度随时间呈周期变化，以宽度为标准获取关键帧，这种方法算法步骤少，效率高，虽然精度有限，但仍然可以满足后面工作的要求。 Ｌｅｅ提出了将人体侧面二值图像分为七部分并用椭圆来拟合的表示方法。本文以这种方法为基础，文献中的人体结构比例，采用如下方法将侧面像分成七个区域：取人体质心，质心上半部分１／３作头部部分， ２／３作躯干部分， 质心下半部分平均分成两份，除了头部部分，用通过质心的垂线把人体区域分成前后两部分，形成共７个区域，如图１ａ所示。 这７个区域分别用一椭圆来匹配，如图１ｂ。以椭圆参数构成子区域特征向量，这些参数包括：归一化后的质心（ｘ／ｈ，ｙ／ｈ），长短轴比例（ｌ），长轴方向（α）以及相对面积（ｎ／ａｒｅａ），即各子区域的特征向量为ｒｉ＝（ｘｉ／ｈ，ｙｉ／ ｈ，ｌｉ，αｉ，ｎｉ／ａｒｅａ）， ｉ＝１，２，．．．７，ｒｉ，与人体区域的质心相对高度张磊：硕士研究生 北京市“现代信息科学与网络技术”重点实验室资助项目（基金项目编号为：ＴＤＸＸ０５０３） ２６３－－ 课程论文 步态识别 学号：12426009 班级：通信122 ：楚舒琦 目录 摘要 (3) 一、背景介绍 (4) 二、相关研究 (4) 三、主题（算法） (5) 3.1基于线图模型的动态特征提取 (6) 3.2基于整体的静态特征提取 (8) 3.3识别 (9) 四、实验 (9) 五、结果讨论 (12) 六、总结 (12) 七、应用前景 (13) 八、技术难点及解决途径 (14) 8.1技术难点 (14) 8.2解决途径 (15) 九、参考文献 (16) 摘要 步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。在智能视频监控领域，比面像识别更具优势。对步态识别的优缺点以及步态识别所涉及到的运动分割、特征提取与选择、模式识别算法进行了综述,并对步态识别中存在的问题与未来的研究方向进行了讨论。 关键词:生物特征识别;步态识别;特征提取;运动分割;动态时间规正 一、背景介绍 步态是指人们行走时的方式，这是一种复杂的行为特征。罪犯或许会给自己化装，不让自己身上的哪怕一根毛发掉在作案现场，但有样东西他们是很难控制的，这就是走路的姿势。英国南安普敦大学电子与计算机系的马克·尼克松教授的研究显示，人人都有截然不同的走路姿势，因为人们在肌肉的力量、肌腱和骨骼长度、骨骼密度、视觉的灵敏程度、协调能力、经历、体重、重心、肌肉或骨骼受损的程度、生理条件以及个人走路的"风格"上都存在细微差异。对一个人来说，要伪装走路姿势非常困难，不管罪犯是否带着面具自然地走向银行出纳员还是从犯罪现场逃跑，他们的步态就可以让他们露出马脚。 人类自身很善于进行步态识别，在一定距离之外都有经验能够根据人的步态辨别出熟悉的人。步态识别的输入是一段行走的视频图像序列，因此其数据采集与面像识别类似，具有非侵犯性和可接受性。但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。尽管生物力学中对于步态进行了大量的研究工作，基于步态的身份鉴别的研究工作却是刚刚开始。步态识别主要提取的特征是人体每个关节的运动。到目前为止，还没有商业化的基于步态的身份鉴别系统。 二、相关研究 信息融合：感知融合是人类感知外部世界的本能之一。人类可以非常自然地运用这一能力把来自人体各个感知器官眼耳鼻四肢的信息图像声音气味触觉组合起来并使用先验知识去估计理解和识别周围的环境以及正在发生的事情。融合理论正是对人类这一本能的模仿旨在利用计算机技术对按时序获得的多源观测信息在一定准则下加以自动分析综合以完成所需的决策和估计任务而进行的信息处理过程。 信息融合的基本原理就像人脑综合处理信息一样充分利用多源信息通过对这些多源的观测信息的合理支配和使用把多源信息在空间或时间上的冗余或互补依据某种准则来进行组合以获得被测对象的一致性解释或描述。按照信息抽象的个层次可将信息融合分为3级（像素级融合特征级融合和决策级融合）。 像素级融合是在采集到的原始数据上进行的融合是原始测报未经预处理之前就进行的综合和分析是最低层次的融合。步态识别论文
【CN110070029A】一种步态识别方法及装置【专利】
基于计算机视觉步态识别系统的方法研究
步态识别方法的分类及各类方法的比较
基于贝叶斯网络的步态识别
步态识别论文