motion capture

https://www.sodocs.net/doc/667014303.html,/view/3114161.htm




运动捕捉（motoin capture，后文简称mocap）在科研领域大概有接近20年的时间，真正大规模用在电影领域，大概就是5年左右的时间。自从在《阿凡达》（Avatar）里一展伸手，开始为大众所熟悉。之后的好莱坞大片里，几乎每部电影有用到mocap技术。之所以想拿这部片子来说运动捕捉，一是它刚上映，大家关注都比较高，二是这里面同时用到了三种运动捕捉, 分别是肢体运动捕捉，表情捕捉和动物运动捕捉。广义上的运动捕捉应该是包括这三大类的，不过大家平时说的mocap技术基本上是指肢体运动捕捉，也就是只捕捉四肢和躯干的。要捕捉人的表情，难度在于其复杂程度，肌肉多，建模难度大，而同时表情丰富，需要的精度比较高（这可以看我同学写的另一篇文章，是从<听听历险记>谈面部表情 。

动物捕捉难度在于没有固定的尺寸和骨架模型，大到大象，小到蚂蚁，这基本上很难有固定的模型，现在比较多的动物捕捉也就是狗的运动。在里，制作组就曾试图采集骆驼的运动数据来模拟Tharks他们骑的“犀牛”的运动。



第一部广泛使用mocap技术的电影是Sinbad: Beyond the Veil of Mists, 这是一部2000年的动画电影(Feature Animation)。面部表情缺失很严重，运动也很单调，基本上是以简单的走路，跑步，跳跃等运动，角色之间的打斗也比较简单。而且当时的渲染的技术确实让人汗颜，整体的画面比起现在的<玩具总动员><汽车总动员>来说，差距太远，不过这也是由当时的技术限制的。



《极地特快》(Polar Express)也是一部大量采用mocap技术的电影，其中我们的汤姆汉克斯(Tom Hanks)还同时做了若干个角色的运动表演。但看完了这部动画电影以后，人物的动作确实显得僵硬，这也是后文里即将要提到的mocap的一个致命缺点。




正如前文所说，在近几年的大片里，mocap几乎如同吃饭离不开筷子一样，在每部电影的制作中都能看到它的身影。夸张的说，它的出现，让无数人“闻风散胆“，一方面，演员认为自己的饭碗不稳了，以后的电影已经和真人演员告别了，另一方面，动画师认为自己要彻底下岗了。而事实上，到目前为止，这两种人都没有下岗，而且也基本肯定的说，这两类人不会因为mocap而下岗。相反，mocap技术在电影里的应用还需要依靠这两类人。虽然呈现在屏幕上的是虚拟角色，可是捕捉到的真实演员的运动的好坏直接决定了角色的表现力，好演员依然是电影里至关重要的因素。不过可能偶像派的演员会有影响

，实力派的演员则可以有更大的施展空间。而对于动画师来说，mocap采集到的数据不可能直接应用到虚拟角色上面，基本上都要有动画师的后期处理，甚至有些不能被捕捉的运动，依然要靠动画师的传统关键帧的手段来实现。

mocap作为一项新兴的技术，对于行业的推动是显而易见的，但现在我们却没有看到它具有颠覆传统生产流水线的实力。事实上，在如今的电影制作流程中，它的角色是十分尴尬的。很多导演都不喜欢用mocap，重要的角色都是要动画师一帧一帧的手调每个关节。皮克斯在<汽车总动员>里打出的标语是"纯手工动画，无运动捕捉"的标语（"100% Pure Animation – No Motion Capture!"）。深究其原因，我们可以看到mocap有若干的缺点限制了它的应用：

1. 预算限制。一套教学级别的设备下来大概是100万RMB，工业级别则另说了，要看导演想要什么样的配置。对于小成本制作的电影来说预算承受不了。现在商业产品做的最好的是Vicon和Motion Analysis两家


2. 场地限制。mocap采集数据主要靠两种途径：光学捕捉和感应器捕捉。光学捕捉又分为有标记(marker-based)和无标记(marker-less)两种，现在成熟的商用产品基本上是marker-based，它精度高，marker-less正处于科研到工业应用的过程。为了避免可见光的干扰，一般采用的是红外线来捕捉marker的运动。所以前期的mocap依靠光学捕捉，它必须要在室内固定的场所进行，要搭建红外线的发射器和感应器，这极大的限制了mocap的应用。而除了光学捕捉，通过磁场和加速度感应关节运动也是另一种技术，它不受场地限制，但精度有问题。


3. 表演限制。mocap如果采用光学捕捉的话，当被遮挡的光学感应器太多时，系统就无法正确的分析此时演员的姿势。这个缺点限制了演员不能做过于复杂或迅速变化的运动，进一步限制了mocap的实际应用。


4. 无法实时判断效果。现在的大部分mocap系统已经可以实时的用与表演者相同的骨架模型来观察运动效果了，可是无法实时的呈现出最后虚拟角色上的效果。如果失败，则需要重复拍摄，如果涉及多个角色，则多个角色均要重拍.


5. 能捕捉到的运动有限。mocap只能捕捉真实角色可以做出的运动，但是很多电影里面，主角是很牛的！！！于是超自然的运动也是无法捕捉的，需要动画师自己来制作。


6. 运动难以修改。捕捉下来的数据难以修改，如果修改一部分的话，会显得和剩余部分不协调，失去自然。而如果去改变全身动作的话，又成本很大，这和动画师完全手调就区

别不大了，效果还没有后者好。再比如很多导演喜欢用Retiming这个效果，这对于mocap的数据来说挑战就很大，因为mocap的数据说到底是离散的帧数据，要去做retiming就要去重新采样，容易出现失真的情况。


7. 运动重定向（motion retargetting）困难。运动重定向也就是把捕捉下来的运动数据重定向到虚拟角色上面，这在前10年还是很热的研究课题，大家提出了各种各样的解决方法，但是依旧没有完美的解决，现在还有人在做。当真实角色和虚拟角色相差太多的时候，比如里真实演员和Thark之间的骨架有明显的不同，单纯的拉伸四肢会导致明显的运动失真（比如走路的时候支撑脚会有滑动，称为foot-skating,也比如两个角色之间握手或者打斗，或者角色和外部环境有接触的时候，失真很明显就看出）。在皮克斯的《汽车总动员》里，遇到非人物的角色，给运动重定向带来了很大的困难。



(虚拟角色和真实演员存在差异，即使骨架的拓扑结构是一样的，比例不一样也会有很大的问题)


以上的缺点限制了mocap技术的应用，但是这也不代表mocap就没有它的地位了。正如前文所说，绝大多数的好莱坞大片都采用了这个技术。随着技术的进步，比如说在<阿凡达> (Avatar) 里卡梅隆用来捕捉面部表情只用了一个摄像头，在里，他们就用了两个摄像头同时来捕捉面部表情。而同时随着科研人员不断的提出各种方法来改进mocap数据的处理，mocap也越来越多的应用在了实际的电影制作里。





(里的面部表情捕捉)

事实上，除了真正将捕捉到的运动附加到虚拟角色上面，mocap技术现在正在更广泛的用在电影制作的其他领域：

1. 给动画师做Reference。这是最常见的一种应用。虽然说捕捉的数据不能直接应用在虚拟角色上面，但是给动画师做参考还是有价值的。




2. 做Previsulization。这是大家不太熟悉的一块，现在电影在真正上摄像机拍之前，导演是需要把剧本按照故事线先来个草稿，这个时候不需要精确的动作，也不需要高标准的渲染合成，也不用复杂的模型和贴图，主要目的是场景的布置和摄像机的定位。这个时候虚拟角色的运动一般就用mocap来做，速度很快，很多导演都愿意用这个。现在的Previs已经应用很广泛了，已经有很多公司专门为电影做Previs



（<怪物史莱克>Shrek的Previs的效果）


3. 做群体运动仿真(Crowd Simulation)或者背景角色的仿真。群体仿真

里面，像里面的Tharks，制作组就用mocap采集了大概800个不同的人的运动片段，然后再附到群体中单一角色上，这样做出来的效果更丰富，自然。



(里Tharks的群体运动的仿真)

mocap技术发展到现在，基本上已经进入了成熟期，或者也是瓶颈期。大家除了提高帧速、感应器数量、摄像机数量等硬件之外，突破性的创新还没有。mocap的未来发展，一是要看电影行业的整体发展趋势，比如走入立体放映的话，对于mocap来说还是有优势的，二是要看能不能解决运动重定向的问题，能否提出简单有效的方法来把捕捉到的运动数据重定向到任意的虚拟角色上，三是要看自身技术能否有创新，除了光学捕捉和感应器捕捉之外，如果能有其他捕捉方式，则有可能会进一步提升mocap在电影制作里的地位。