人脸动画中基于样条插值的器官拼接算法实现

技术研发ＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈ

电子技术

计算出图像变形的日标，例如特征点的位移等。特征点定位得到的特征点位置用于人脸建模，例如构造变形网格或样条以供Ｍｅｓｈ—Ｗａｒｐｉｎｇ算法使用等。在本文实现的系统中，图像变形部分的具体算法流程图如图２所示。

罔２图像变形部分的算法沉程罔

图２显示出的足生成一帧动画图像的计算过程。前一部分是根据可视因素和人脸模型计算出特征点的位移，后一部分是使用Ｍｅｓｈ．Ｗａｒｐｉｎｇ算法对人脸图像变形。

通常来说，提供的中性人脸图像都足嘴部闭合的，没有口腔的图像信息。所以如果在图２中图像变形的最后，不对口腔进行处理，那么当通过变形使嘴巴张开时，口腔部分将｛乍常不自然（参见图８）。通常可以使用将这部分口腔涂黑的方法来掩盖，但效果仍然不够好。本文的方法就是为了解决这个问题，通过将口腔／眼球的样本图像融合到原来的人脸图像中，来得到较为逼真的Ｕ腔／眼球效果。

２配准样本图像和人脸图像

本实验中使用的口腔和眼球的样本图片如图３所示，人脸图片如图４所示。

圈３Ｉ－Ｉ腔（左）和眼球（右）的样本图

图４用于产生动嘶的中性人脸图像

口腔特征点主要由嘴角和嘴唇上／下沿来确定；眼睛特征点主要由眼角和眼睑上下沿确定。由于肤色不依赖于面部的细节特征，对于旋转、表情等变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别，因此肤色特征分析在图像的人脸特征定位中经常作为图像预处理的方法，肤色特征主要由肤色模型描述［４］。

首先通过相似度公式（１）来计算人脸图像和样本图像的肤色分布。

Ｐ（Ｃｒ，Ｃｂ）＝ｅｘｐ［－Ｏ．５（ｘ－酊Ｃ－ｌＯ一纠．

工＝［Ｃｒ，Ｃｂ］丁（１）

根据肤色分布将图像二值化，计算二值化的公式，

订，、一Ｊ０尸（ｃｒ，Ｃｂ）＞０．６（２）

八＂１１Ｐ（Ｃｒ，ｆ６）ｓ０．６

对二值化后的图像进行边缘检测，找到样本图像和人脸图像的口腔特征点和眼睛特征点。可以根据需要来决定需要找特征点的个数。通常来说，对于口腔动画的口腔图像，两嘴角特征点和嘴唇上下顶点这四个特征点是必不町少的；对于眼睛动画的眼睛图像，两眼角特征点和眼睑上下顶点这四个特征点也是必不可少的。

３构造样条并根据极坐标插值变形样本图像

口腔在人脸动画中的运动有个特点就是始终是以口腔的中心为准来变形。眼睛眨眼的时候也存在一个中心。以这个中心为原点来建立极坐标，然后在极坐标中计算样图跟人脸图像的映射关系会更为方便。本文假定这个中心为嘴角／ｆｉｒ角的连线的中点。

下面以口腔的拼接融合为例来说明本文算法。将口腔特征点通过构造样条连接起来，如图５所示：

ｂ

图５特征点样条示意图

在图５中，ｆｌ、ｃ是左／右嘴角特征点，ｄ、ｂ是嘴唇上／下沿顶点，线ｌ是嘴角的连线。在图５中建立极坐标，点０是口腔的中心点，也是极华标的原点（眼睛的样条与此类似）。需要指出的是，可以使用更多的特征点来构造更为精细的样条以轶得更好的动画效果，但相应地会增加计算量。为了保证动Ｉ囡ｉ的实时效果，本实验中采用了尽可能少的点来减少计算量。

在样本图像中建立了上述样条后，对中性人脸图像中的口腔也需要建立对应的样条，假设为ａ’、ｂ’、ｃ‘、ｄ’、０－、１。按以Ｆ步骤来对样本图像进行采样：

（１）将样本图像的口腔跟人脸图像的口腔中心点０和０’配准；

（２）将样本图像的极坐标轴１旋转至跟人脸图像的极坐标轴１’一致；

（３）根据样条ａｂｃｄ和样条ｆｌ…ｂＣ…ｄ对应关系确定极坐标中每点的对应关系，具体方法描述如下：

假设在样本图像中的点ｐ坐标为（０ｐ，ｒｐ），过原点Ｏ作经过Ｐ的射线与样条ａｂｃｄ相交于点ｑ（０ｑ，ｒｑ）。根据样条ａｂｃｄ和样条ａ＂ｏ…Ｃｄ’的对应关系，可以在人脸图像中计算出对应的ｑ’（０ｑ。，ｒｑＩ）点，那么ｐ点对应的Ｐ’的坐标为：

０Ｐ’＝０

ｑ

７（３）

ｒｐｋｒｐ?等（４）

（４）通过后向映射计算得到变形后的图像。在计算最终的人脸图像时的映射方式可以用前向映射或者后向映射。前向映射是将样本图像中的点映射到人脸图像中去，而后向映射刚好相反。由于图像的像素是离散的，

导致映射町能会出现多个点映射为一个点。前向映射在

技术研发ＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈ

电子技术

实现时会存在两个问题，一个是会产生孔洞，另一个是会出现重叠，为了避免这些问题，在映射过程中必须采用如相交检测、非均匀采样等措施。而后向映射能避免这些问题而且实现简单，即取人脸图像中需要计算的点Ｐ’，然后映射到样本图像中对应的Ｐ点，这个Ｐ点通常不会刚好对应到图中的某个像素，而是可能在相临的四个像素之间，通过这四个像素的灰度值的线性插值来求得Ｐ点的灰度值。假设计算得到ｐ点的世标为（０ｐ，ｒｐ），转换为直角似标是（Ｘｐ，Ｙｐ），由于计算的关系，这里的坐标值通常不是整数，另［ｉ／Ａｐ点周围的四个像素点刚好是：Ｐｌ（ｃｅｉｌ（Ｘｐ），ｃ２ｉｌ（Ｙｐ））

Ｐ２（ｆｌｏｏｒｔＸｐ），ｃｅｉｌ（Ｙｐ））

Ｐ３（ｃｅｉｌ（Ｘｐ），ｆｌｏｏｒ（Ｙｐ））

Ｐ４（ｆｉｏｏａ硒），ｆｌｏｏ州ｐ））

图６后向映射后线性插值

Ｘ

这罩ｃｅｉｌ（ｘ）函数表示对ｘ向上取整，ｆｌｏｏｒ（ｘ）函数表示对ｘ向下取整。假设这四个像素的灰度值分别为Ｆｐｌ、Ｆｐ２、Ｆｐ３、Ｆｐ４。令

口＝Ｃ。．ＩｌＣｘｐ）一ｂ．）（５）

１３＝汹（Ｙ，）一Ｙｐ）（６）

线性插值的计算Ｐ点灰度值Ｆｐ的公式如下：

Ｆ，＝雕咚ｌ＋（１吨）Ｆ，２１＋（１前ｌ西”＋（１吨）‰】（７）通过上述计算可以实现将样本图像变形并拼接到人脸图像的相应位置。

４图像融合

由于样本图像和人脸图像的来源不同，所以拼接后图像的接合边界会显得很不自然，为了使融合后的图像具有视觉一致性，采用基于灰度的加权平均的融合方法［５］来处理图像。假设ｆ是样本图像的像素的灰度值，ｆ是对应的人脸图像的像素点的灰度值，他们在空间上叠加，融合后的图像像素点的灰度值＆为：

ｆ姻．ｒ）（ｅ．ｒ）Ｅｆ

Ｅ扣．ｒ）＝｛ｄｌｆＣＯ．ｒ）＋ｄ２ｆ，（９，ｒ）（９，ｒ）Ｅ（ｆｎｆ’（８）

Ｌｆ’（ｅ。ｒ）（０，ｒ）Ｅｆ’

这里ｄ１和ｄ２表示权重，是一个随着到中心点距离渐变的值。在人脸图像中过原点Ｏ作经过点（０Ｄ的射线与样条相交于点ｑ（０ｑ，ｒｑ），那么

ｄｌ＝粥ｌ壬?詈ｌ（９）

、‘ｑ。’

屯＝１一ｄｌ（１０）

在合并区域中，ｄｌ南ｌ逐渐变为０，ｄ２由０逐渐变为１，渐变曲线为到关于该点到原点距离的余弦关系曲线，这样可以让渐变平滑，并且融合入更多的样本图像。脸图像中。有一点不同于口腔的拼接，当口型不同时，口腔的形状和大小是需要变化的，而眼睛眨动时，眼球是不会变形的，应始终保持圆形，只足在眨眼时根据眼皮的高度决定显示部分眼球。所以在根据样条变形眼睛的时候，对所有点的极坐标（０．ｒ）中ｒ的缩放系数必须是一个定值，在本文实验中这个缩放系数以原点到眼睑上边沿特征点的距离为准。这样就能保持眼球在整个眨眼过程中形状不变。

拼接样本图像的眼球能有两个效果，一个是可以根据特殊需要将原图像中的眼睛替换为其他的眼睛，另一个就是在原来的人脸动画中加入眼球运动的效果。比如在人脸动画中，表现某些高兴、悲伤等表情时加上眼球的相戍运动将会使动画更加逼真。而这个效果只需要在上述算法中，对眼球的中心点０和０’配准的时候加上一个固定的偏移量就可以实现。

６实验效果和结果分析

本实验在ＩｎｔｅｌＣｏｒｅ２ＤｕｏＣＰＵ２．４０ＧＨｚ，ｖｉｓｔａ操作系统下使用Ｖｉｓｕａｌｓｔｕｄｉｏ２００８中使用Ｃ＋＋语言编写完成。

全脸变形使用的是ｍｅｓｈｗａｒｐｉｎｇ算法，在此基础上加入了本文介绍的ｕ腔／眼睛拼接融合。为了使动画看起来流畅，帧率通常要求不低于２０ｆｐｓ，也就是说，牛成每一帧的时问不能超过５０ｍｓ。生成基于单幅图像人脸动Ｉ画的时Ｉ’日Ｊ跟所用人脸图像的图像尺寸大小有关，一般来说图像尺寸越大，相应计算时间越长。在全脸变形的基础上使用本文方法拼接上口腔和眼球，这部分额外增加的计算量跟两个因素有关，一个是人脸图像中ｕ腔／眼球区域的尺寸大小，另一个是所用样本图像的尺寸大小。图７是使用本算法前后，生成每个动画帧的平均时间对比，人脸图像的尺寸是２９５×３９０像素的２４位ｂｍｐ图像，口腔的样本图像是７８×５７像素的２４位ｂｍｐ［蛩像，眼球的样本图像是２４７Ｘ１５２像素的２４位ｂｍｐ图像。

ｌ使用ｍｅｓｈｗａｒｐｍ￥算法，２３ｍｓ

｝但没有处理腔和眼球

｝使用了奉算法拼接融合口２６ｍｓ

ｉ腔和眼球

图７使用奉算法前后，生成每个动圃帧的半均时同对比从加入本文方法前后的耗时对比来看，额外增加的计算量并不大，可以满足人脸动画的实时性要求。

下面我们来观察拼接效果。图８是对人脸图像使用Ｔｍｅｓｈ．ｗａｒｐｉｎｇ算法但没有对口腔和眼球做任何处理所形成的人腧动ＩＩｆｊｉ的几个口犁拖图。

图８未处理口腔的人脸动画效果

图９是使用本文方法后，人脸动画的相应口型效果。

５眼球的拼接的特殊处理

眼球的拼接融合与上述ＥＪ腔的处理极为相似。通过肤色模型定位出眼睛特征点后，构造出与图５类似的样条，然后按上述口腔拼接融合算法将眼睛样本图像融合到人

图９使用本文算法后的人脸动闾效果

技术研发ＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈ

电子技术

对比图８和图９可以发现，在使用本文方法后，拼接上的口腔较为ｔｑ然，在口型张开较大时能显现出舌头、牙齿等内部器官（图１０）。

图１０嘴巴张开较大时可见ｆ：排牙齿

图１１和图１２是将眼球模板拼接到人脸图片前后眨眼效果对比图。在使用本文方法后，眼球被替换为了样本图像中的眼球，眨眼效果比较自然。眼球也很好地保持了原有形状。

图】１不使用本文算法的眨跟效果

圈１２使用了本文算法后的眨眼效果

图１３是使用本文方法，并在眼球中心点配准时加入了偏移系数而产生的眼球运动效果。从图中可以看到眼睛成了对眼，运动效果也比较自然。

圈１３使用本文方法产生的对眼效果

７结论

从本实验结果可以看出：

（１）本文所提出的算法可以较快地完成人脸口腔／眼睛器官样本图像与人脸图像的拼接和融合。可以满足人脸动画系统的实时性要求。并且算法具有灵活性，通过选用不同的样条，可以在变形效果和计算时间之间寻找符合用户要求的折衷点。

（２）此算法可以在人脸图像中融合进样本图像中的口腔、舌头、牙齿、眼球等原图中并没有的器官，并且效果较为自然。

（３）此算法可以在融合器官的同时，通过修改配准时的对应关系，可以方便地实现类似眼球运动等更为复杂的动画。

参考文献：

［１］ＤａｎｉｅｌＫＳ．Ａｃｏｍｐａｒｉｓｏｎｏｆｔｗｏｍｅｔｈｏｄｓｆｏｒｂｕｉｌｄｉｎｇａｓｔｒｏｎｏｍｉｃａｌｉｍａｇｅｍｏｓａｉｃｓｏｎａｇｒｉｄ『Ｊ１．ＰａｒａｌｌｅＩ

Ｐｒｏｃｅｓｓｉｎｇ，２００５，７（１）：８５—９４．

［２］ＡｂｒａｎｔｅｓＧＡ，ＰｅｒｅｉｍＥＭＰＥＧ－４ｆａｃｉａｌａｎｉｍａｔｉｏｎ

ｔｅｃｈｎｏｌｏｇｙ：Ｓｕｒｖｅｙ，ｉｍｐｌｅｍｅｎｔａｔｉｏｎ，ａｎｄｒｅｓｕｌｔｓ［Ｊ］．

ＩＥＥＥＴｒａｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏ

Ｔｅｃｈｎｏｌｏｇｙ。１９９９，９（２）：２９０—３０５．

［３］ＷｏｉｂｅｒｇＧ．ＤｉｇｉｍｌＩｍａｇｅＷａｒｐｉｎｇ［Ｍ］．ＬｏｓＡｌａｍｉｔｏｓＭＡ，ＵＳＡ：ＩＥＥＥＣｏｍｐｕｔｅｒＳｏｃｉｅｔｙＰｒｅｓｓ，１９９０。

［４］艾海舟，梁路宏，徐光祜，等．基于肤色和模板的人脸检测啪．软件学报，２００１，１２（１２）：１７８４一１７吆［５］ＳｚｅｌｉｓｋｉＲ．Ｖｉｄｅｏｍｏｓａｉｃｆｏｒｖｉｒｔｕａｌｅｎｖｉｒｏｎｍｅｎｔｓ［Ｊ］．ＩＥＥＥＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄＡｐｐｌｉｃａｔｉｏｎ．１９９６．

１６（２）：２２—３０．

［６３王孤涛，董兰芳，倪奎．基于Ｂｉｈａｒｍｏｎｉｃ样条插值的图像渐变算法及实现［Ｊ］．中国图象图形学报，

２００７，１２（１２）：２１９０－２１９４．

［７］仵建宁，郭宝龙，冯宗哲．一种基于兴趣点匹配的图像拼接方法［Ｊ］．计算机应用，２００６，２６（３）：６１０－６１２．［８］王奎武，董兰芳，陈意云，等．基于ＭＰＥＧ一４的人脸变形算法的研究［Ｊ］．计算机辅助设计与图形学学报，

２００２，１４（１）：２１－２５．

［９］ＢｅｉｅｒＴ，ＮｅｅｌｙＳ．Ｆｅａｔｕｒｅ—ｂａｓｅｄｉｍａｇｅｍｅｔａｍｏｒｐｈｏｓｉｓ

『Ｊ１．ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ，１９９２，２６（２）：３５—４２．

【１Ｏ］ＺｈｅｎｇｙｏｕＺｈａｎｇ，ＺｉｃｈｅｎｇＬｉｕ，ＡｄｌｅｒＤ，ｅｔａ１．Ｒｏｂｕｓｔａｎｄｒａｐｉｄｇｅｎｅｒａｔｉｏｎｏｆａｎｉｍａｔｅｄｆａｃｅｓｆｒｏｍｖｉｄｅｏ

ｉｍａｇｅｓ：ａｍｏｄｅｌ．ｂａｓｅｄｍｏｄｅｌｉｎｇａｐｐｒｏａｃｈ［Ｊ】．

ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｍａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．

２００４，５８（２）：９３一１１９．

［１１］ＲｕｐｒｅｃｈｔＤ．ＭｕｌｌｅｒＨ．Ｉｍａｇｅｗａｒｐｉｎｇｗｉｔｈｓｃａｔｔｅｒｅｄｄａｔａｉｎｔｅｒｐｏｌａｔｉｏｎ［Ｊ］．ＩＥＥＥＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓａｎｄ

Ａｐｐｌｉｃａｔｉｏｎｓ，１９９５，１５（２）：３７—４３．

作者简介：

倪奎，中国科学技术大学，硕士研究生。

电话：１３４８５６９５８３６

电子信箱：ｎｉｑｕｅ＠ｍａｉ１．ｕｓｔｃ．ｅｄｕ．ｃｎ

联系地址：合肥市高新区城市风景小区９栋８０６倪奎收（２３００２７）

基金项目：

中国科学技术大学校青年基金

人脸动画中基于样条插值的器官拼接算法实现

作者：倪奎， 董兰芳， Ni Kui， Dong Lanfang

作者单位：中国科学技术大学计算机科学与技术系

刊名：

电子技术

英文刊名：ELECTRONIC TECHNOLOGY

年，卷(期)：2009,36(12)

参考文献(11条)

1.Woiberg G Digital Image Warping 1990

2.Abrantes G A;Pereira E MPEG-4 facial animation technology:Survey,implementation,and results[外文期刊] 1999(02)

3.Ruprecht D;Muller H Image warping with scattered data interpolation[外文期刊] 1995(02)

4.Zhengyou Zhang;Zicheng Liu;Adler D Robust and rapid generation of animated faces from video images:a model-based modeling approach[外文期刊] 2004(02)

5.Beier T;Neely S Feature-based image metamorphosis 1992(02)

6.王奎武;董兰芳;陈意云基于MPEG-4的人脸变形算法的研究[期刊论文]-计算机辅助设计与图形学学报 2002(01)

7.仵建宁;郭宝龙;冯宗哲一种基于兴趣点匹配的图像拼接方法[期刊论文]-计算机应用 2006(03)

8.王亚涛;董兰芳;倪奎基于Biharmonic样条插值的图像渐变算法及实现[期刊论文]-中国图象图形学报A 2007(12)

9.Szeliski R Video mosaic for virtual environments[外文期刊] 1996(02)

10.艾海舟;梁路宏;徐光祐基于肤色和模板的人脸检测[期刊论文]-软件学报 2001(12)

11.Daniel K S A comparison of two methods for building astronomical image mosaics on a grid 2005(01)本文链接：https://www.sodocs.net/doc/4111257872.html,/Periodical_dzjs200912025.aspx