搜档网
当前位置:搜档网 › 融合改进的ASM和AAM的人脸形状特征点定位算法_王晶

融合改进的ASM和AAM的人脸形状特征点定位算法_王晶

光电子·激光

第22卷第8期 2011年8月 Journal of Optoelectronics·Laser Vol.22No.8 Aug.2011

融合改进的ASM和AAM的人脸形状特征点定位算法

王 晶*,苏光大,刘炯鑫,任小龙

(清华大学电子工程系,北京100084)

摘要:基于主动形状模型(ASM)和主动表面模型(AAM),提出了一种融合改进的ASM和AAM的人脸形状特

征点定位算法。利用ASM定位外轮廓的形状特征点,AAM定位内部形状特征点;采用对部分关键特征点使用

二维梯度的方法以提高特征点搜索的准确性;利用眼、鼻和嘴这些关键特征点的定位信息初始化人脸的平均形

状以改善初始位置不当造成的搜索失败;建立多尺度的ASM以提高收敛速度。实验结果表明,本文方法比传

统的ASM、AAM方法以及已有的改进算法IASM和PAAM定位更精确。

关键词:人脸形状特征点定位;主动形状模型(ASM);主动表观模型(AAM)

中图分类号:TP391 文献标识码:A 文章编号:1005-0086(2011)08-1227-04

Facial feature point localization algorithm combining improved

ASM and AAM

WANG Jing*,SU Guang-da,LIU Jiong-xin,REN Xiao-long

(Department of Electronic Engineering,Tsinghua University,Beijing 100084,China)

Abstract:Active shape models(ASM)and active appearance model(AAM)are the primary methods of

facial feature point localization.In this paper,an improved facial feature localization algorithm that com-

bines ASM and AAM is proposed to overcome the shortcomings of the traditional ASM and AAM.ASM

is used to locate the outer points,and the AAM is used to locate the inner points,which significantly im-

proves the accuracy.Besides,the 2Dcontour is used on some key feature points to improve the accuracy

of locating.The position information of face,eyes,nose and mouth is used to initialize the average face

shape.The multi-scaled ASM model is used to accelerate the convergence rate.Experimental results

show that our proposed method can achieve higher accuracy than the traditional ASM,AAM and the im-

proved IASM,PAAM method.

Key words:facial feature point localization;active shape model(ASM);active appearance model

(AAM)

1 引 言

人脸形状特征点定位是人脸识别领域的一个重要课题。对于人脸识别系统而言,人脸形状特征点定位的精度和鲁棒性是十分重要的。

主动形状模型(ASM)[1,2]和主动表观模型(AAM)[3]均是基于点分布模型(PDM)的算法,已成功的应用于人脸等图像的特征定位[4~7]。AAM与ASM的不同之处是它不仅利用了对象的形状信息,而且利用了对象的纹理信息,将形状与纹理结合起来建模。AAM的优点是考虑了人脸的纹理信息,对于人脸内部各个部件的特征点的定位更加准确;它的缺点在于将人脸形状与纹理混合起来建模,两者的耦合作用给AAM的搜索过程带来了干扰,对人脸形状施加了过强的约束,使形状定位不准,尤其是外轮廓特征点的定位[8]。

本文针对ASM和AAM的优缺点,对人脸形状特征点定位算法进行了改进:一是有选择性地对部分特征点使用二维梯度[9];二是考虑到ASM和AAM的准确定位依赖于平均模型的初始化位置,使用脸、眼、鼻和嘴的这些关键部位的定位信息初始化人脸形状,并建立多尺度的ASM提高收敛速度,改善初始位置不当造成的搜索失败;三是考虑到ASM对外轮廓有较好的定位精度,而AAM对人脸内部各部件的特征点定位比较准确,提出外轮廓ASM与内部特征点AAM相结合的正面人脸配准方法。在TH-FACE人脸数据库上进行测试结果表明,本文方法的准确性比传统的ASM、AAM方法以及已有的改进算法IASM、PAAM都有显著提高。

*E-mail:jwang08@mails.tsinghua.edu.cn

收稿日期:2010-06-22 修订日期:2011-05-03

基金项目:公安部重点攻关计划资助项目(2005ZDGGQHDX005);国家“973”计划资助项目(2007CB310600)DOI:10.16136/j.joel.2011.08.026

2 结合ASM和AAM的人脸形状特征点定位算法

选择了1

05个特征点描述正面人脸形状,如图1所示。在建立模型前,

需要手工标定训练人脸图像的特征点位置

。图1 

105点正面人脸形状Fig.1 105feature p

oints of the frontal face2.1 初始形状的估计

为了提高拟合算法的收敛速度,

避免因为算法陷入局部收敛而产生拟合错误,初始形状应尽可能的逼近人脸轮廓。为此,通过对平均模板进行几何变换(平移,旋转,拉伸)估计初始形状。

首先定位人脸以及眼球位置[10

],计算两眼间距d′ey

e,然后根据平均模板计算出两眼间距dey

e,计算出缩放因子s=d′eye/deye,取左眼为参考点,计算平移向量t=(tx,ty)T

计算模板两眼连线和待识别人脸图像两眼连线的夹角作为旋转因子θ

,做

x0i

()i

scos(θ)-ssin(θ

)ssin(θ)scos(θ(

))xiy()i

txt()

y(1

)其中:(x0i,y0i)T为调整后模板V0的第i个特征点;(xi,yi)

为平均模板珚V

的第i个特征点。 接着利用Krupp

a[11]

训练的检测器定位嘴角坐标,计算到两眼的垂直距离d′vertical,

然后根据平均模板计算出相应的垂直距离dvertical,根据比例s=d′vertical/dvertical对初始模板的纵坐标进行拉伸调整。

2.2 A

SM和AAM模型 A

SM方法的问题是容易收敛到局部极值,从而不能得到全局最优解,原因在于迭代优化过程中它是对各个特征点独立地进行搜索。不过,

对于人脸外轮廓边缘这种灰度梯度比较明显的部位,在背景、光照等条件不带来太大影响时,能够得到准确的定位结果。AAM的优点是考虑了人脸的纹理信息,对于人脸内部各个部件的特征点的定位更加准确;它的缺点在于将人脸形状与纹理混合起来建模,两者的耦合作用给AAM的搜索过程带来了干扰,

对人脸形状施加了过强的约束,会使形状定位不准,尤其是外轮廓特征点的定位。实验中,用于训练的人脸共177张,单独使用AAM方法的结果如图2所示。可见,虽然内部点能准确的定位,但是外轮廓的误差比较大。于是提

出了ASM与AAM相结合的正面人脸形状特征点定位方法,如图3所示就是本文选用的ASM与AAM形状模型

图2 AAM方法的配准结果Fig.2 Locating 

results of the AAM

1)ASM模型。为外部的51个点建立ASM模型,并且建立多尺度的ASM(共4层),训练出每个尺度上的灰度模型和形状模型。为了进一步提高ASM算法搜索的准确度,采用二维梯度(13×13图像块)与一维梯度(17维向量)特征相结合的方法。二维的纹理特征包含的信息更多,但是运算量也更大。

为此,只对最大的两个尺度模型并且只对3个关键点使用了二维梯度特征,3个点在图3(a)中用“o

”标识出

。图3 ASM与AAM的形状模型Fig.3 Shap

e model of the ASM and AAM 设图像块为I(x,y),二维梯度特征G(x,y)

的计算式为G(x,y)=[I(x,y)-I(x+1,y)]+[I(x,y)-I(x,y+1)](2

) 对于某一个点的一维梯度,

需要确定采样线的方向,采用指定前序和后序点,然后计算角平分线的方式来确定,如图4所示

图4 一维梯度特征的采样线Fig.4 Sample line of 1-D g

radient feature 假设已经得到了采样线上的像素点灰度向量{f1,f2,

…,fn,fn+1}

,一维梯度特征向量珔g的计算式为 珔g={f1-f2,f2-f3,…,fn-fn+1}(3) 无论是二维还是一维的纹理特征,

最终都写为向量的形·8221·

光电子·激光 2

011年 第22卷 

式,并且按照

v=

v‖

v‖1(4

)进行归一化来消除光照等环境因素的影响。其中,‖v‖1表示向量v的l1范数。

2)AAM模型。由于ASM模型能较好地配准人脸的外轮廓,而AAM算法的内部点配准精度较高,因而只对内部点建立AAM形状模型。对于AAM纹理模型,按照105个特征点的Delaunay三角化结果进行采样和归一化,但是在进行主成分分析(PCA)形状建模时只取图3(b)所示的78个特征点;纹理采样时则是在整个人脸区域进行。AAM的搜索速度较慢,因而只建立单尺度的AAM。

2.3 配准的过程

结合A

SM和AAM的人脸形状特征点定位的流程如下:

1)载入105点平均人脸形状,并根据眼、鼻与嘴的定位信息调整该形状;

2)以外部51个特征点作为初始形状,利用外部51点的ASM模型搜索并得到配准后的形状;

3)根据外部51点的人脸形状信息,更新105点形状的眉毛部分;

并进一步确定眉、鼻与嘴部位的特征点需要平移或者缩放的参数值,作相应调整;

4)取内部78个特征点作为初始形状,利用内部78点AAM模型搜索并得到内部特征点的位置;

5)将ASM与AAM定位的结果相融合:对眉毛部分的特征点位置采取加权求和,然后取各自不相重叠的其余特征点,合并得到完整的人脸形状。

3 实验结果和分析

将改进的人脸形状特征点定位算法用于T

H-FACE人脸库(证件照)进行测试(测试环境:双核2.8GCPU,2G内存)。选取200张图像进行模型的训练,1000张进行测试。测试过程

中,手工挪动矫正特征点的位置,同时记录下每一个特征点的像素偏移值,作为特征点的偏移量err。测试用的人脸图像尺度均归一化到360×480(下颌点到两眼中心连线的距离为200p

ixel),测试结果如图5所示

。图5 融合改进的A

SM和AAM的人脸形状特征点定位结果

Fig.5 Locating results combining 

improved ASM and AAM 采用平均定位准确性衡量算法的定位结果。由于特征点

定位的主观误差,可以认为特征点偏差在3pixel内为定位正确,误差在3pixel内所占的比例E为

E=1N∑N

i=1[1n∑n

j=1

Is(errij≤3)](5)其中:N是测试图像的总数;n代表每幅图像中标记点数(本实验n=105);errij是特征点偏移量;

Is(x)为判定函数,x为真则为1,x为假则为0

。 用传统A

SM和AAM方法以及IASM[12]、PAAM[13]

和本文算法进行测试,实验结果见表1。可以看出,结合ASM和

AAM的定位算法的准确性最高。

表1 不同算法的定位结果

Tab.1 Locating 

results of different algorithmsAlgorithms Average location accuracy Opervation time/sASM 0.863 1.1AAM 0.904 10.0IASM 0.921 2.3PAAM 0.939 12.3ASM+AAM 

0.959 

10.5

为了更好分析算法的性能,

详细记录了几个有代表性的特征点的偏移量err

,测量结果见表2。表2 特征点定位的偏差

Tab.2 Locating 

errors of feature pointsNo.err≤3 

err≤6 

err≤9

1 0.968 0.987 0.99414 0.990 0.993 0.99528 0.974 0.979 0.98940 0.988 0.992 0.99448 0.983 0.994 0.99668 1.000 1.000 1.00080 0.984 0.993 0.99394 0.921 0.975 0.993103 

0.947 

0.982 

0.988

表2中,err≤

C表示1000个测试图片中,特征点的定位偏差在C个像素内所占的比例。根据测试结果,

绝大部分特征点定位的偏差在3pixel以内;

眼眉鼻的定位都比较准确;而嘴的定位(94,103

)相对稍差,原因主要在于嘴部的特征点数不够多,但嘴型的差异性却很大,而且还有胡须、皱纹等的干扰。

4 结 论

利用A

SM和AAM方法的优点,并改进了其不足,而提出了一种将改进的ASM和AAM融合的人脸形状特征点定位算

法。在定义105点正面人脸形状的基础上,对外部的51个点

建立ASM模型,对内部78个点建立AAM形状模型。实验表明,本文算法能精确地定位面部的特征点,而且不增加使用时间。

参考文献:

[1] Cootes T,Taylor C,Cooper D et al.Active shap

e models-theirtraining 

and application[J].Computer Vision and Image Under-·

9221·第8期 王 晶等:融合改进的ASM和AAM的人脸形状特征点定位算法

standing,1995,61(1):38-59.

[2] Cootes T,Taylor C,Lanitis A.Multi-resolution search with ac-tive shape models[A].Int.C.Pattern Recognition,IEEE SignalProcess[C].1994,610-612.

[3] Cootes T,Edwards G,Taylor C.Active appearance models[J].IEEE Trans Pattern Analysis and Machine Intelligence,2001,23(6):681-685.

[4] Hu J,Li Y,Deng W,et al.Locating facial features by robust ac-tive shape model[A].Network Infrastructure and Digital Con-tent[C].2010,196-200.

[5] Li D,Kong F.Facial feature point extraction using a newq im-

prove active shape model[A].Image and Signal Processing(CISP)[C].2010,944-948.

[6] Yi F,Xiong W,Huang Z,Zhao J.A Multi-view Nonlinear ActiveShape Model Based on 3D Transformation Shape Search[A].Information Assurance and Security[C].2009,15-18.

[7] Wang J,Su G.Face color transfer for specified image region

[J].Journal of Optoelectronics·Laser,2010,(1):116-119.

王晶,苏光大.确定区域的人脸彩色传递[J].光电子·激光,2010,(1):116-119.

[8] Hassanpour R,Atalay V.Delaunay triangulation based 3D hu-man face modeling from uncalibrated images[A].Int.C.Com-

puter Vision and Pattern Recognition[C].IEEE Computer Soci-ety,2004,75-75.

[9] Milborrow S.Locating facial features with active shape models[D].cape:University of Cape Town,2007.

[10]ZHOU Jun.Face recognition research in monitoring system[D].Beijing:Tsinghua University,2008.

周筠.监控系统中人脸识别的研究[D].北京:清华大学电子

系,2008.

[11]Kruppa H,Santana M,Schiele B.Fast and robust face findingvia local context[A].VS-PETS Joint IEEE International Work-shop on Visual Surveillance and Performance Evaluation ofTracking and Surveillance[C].Nice France:2003,157-164.[12]Wei Y,Xie M.An improved active shape model for facial fea-ture location[A].CNMT[C].2009,1-4.

[13]Kim D,Kim J,Jang Y,et al.Progressive AAM based robustface alignment[A].Proc.of world academy of science,engi-neering and technology[C].2007,488-492.

作者简介:

王 晶 (1986-),女,南京人,博士研究生,主要从事图像处理、人脸识别等的研究.

·

· 光电子·激光 2011年 第22卷 

相关主题