黑神话悟空——游戏科学的动作捕捉技术

在游戏科学最新的虎年贺岁视频中，他们重点调侃整活了“动作捕捉”技术，而近年来，大制作的游戏使用动作捕捉技术已经越来越普遍了，荒野大镖客2、死亡搁浅都是业界内运用动作捕捉非常成功的游戏。随着技术日新月异的更新，游戏科学的动作捕捉技术也在发展的过程中。

动作捕捉

最直观的动作捕捉技术，大概是看《金刚》的猩猩或者《魔戒》中的咕噜，一个是巨大无比的黑猩猩，一个是侏儒状的霍比特人，这些背后都是演员的动作捕捉技术。在游戏领域，传统的技术动画师，大概并不需要学习太多动捕技术和人工智能方向的知识。

本科四年的计算机基础学习，熟练使用Maya和Unity，能够在UE4中构建状态机做出基础的人物动画设计，之后无论是去游戏公司还是影视动画公司深造都有很好的发展前景。但随着技术发展，引擎的不断更新，以及2016年Nature上DeepMind公司发表狗狗的强化学习方法，这些给了游戏界众多研究人员灵感，让动作捕捉技术迎来了进一步的发展。

在GDC大会上，育碧蒙特利尔的研究院Simon Clavet做了一个关于动作捕捉技术的讲座，会议上他提出了一个动作捕捉的新方法、新思路Motion Matching，译为“运动匹配系统”，这个方法最终要实现的目标就一句话，搭配人物模型设计，让这些人物能够自己运动起来，这样就能辅助减轻游戏动作捕捉开发很大的工作量。

整活

这次整活视频中的海龟技术大佬的原型疑似游戏科学的的招文勇，他曾在去年Epic举办的虚幻引擎线下技术沙龙上提到了Motion Matching的技术问题。我们先从初版的Motion Matching开始讲起，育碧最早是在《荣耀战魂》这款游戏中使用这项技术，当时主要是蒙特利尔工作室开发。

育碧出品，请认准蒙特利尔，这项技术出自蒙特利尔一点也不意外，毕竟人工智能深度学习领域的三巨头Youshua Bengio就是蒙特利尔大学的教授，Motion Matching从诞生之初就有革动作捕捉命的味道。在传统的游戏动画制作中，动画师从零到有搭建一套完整的动作设计需要数月甚至数年的时间。

动作捕捉提供了便利，游戏厂商可以对专业的武术团队进行动补，然后捕捉到的动作转换为一个个可视的数据点，最终被反馈到游戏模型上，从而让人物“动起来”。这意味着动画师不需要自己去“手动创造”模型的动画，而是直接从动捕数据库拿数据。

动捕棚

比如CDPR在制作《巫师3：狂猎》的时候，就比前作《巫师2：国王刺客》有了更多的动作捕捉，他们聘请了专业的剑术大师Maciej Kwiatkowski为杰洛特担任动作捕捉的特技演员（拜年剑法），当然，还有很多女性以及比较香艳的镜头，均是来源于动作捕捉技术，光靠动画师脑补动作设计当然比不上动作捕捉的精细流畅程度。

有了动作捕捉，原来数月甚至数年设计动作的时间缩减到几周，游戏厂商会在动捕棚中录制“演员”大量的动作。以前动捕棚很贵，所以大家都是去租，动作设计师提前把动作规划好然后再去录，当然也会有后续数次补录的过程，这样可以最大限度节省资源。

动捕工作完成后，动画师可以随意使用这些动捕数据，他们的工作不再是从0到1的创作，而是研究如何优化这些动作，让它们看起来更加流畅，提升动作的质量。工作量的大大缩减，并不意味着游戏偷工减料，科研技术的进步是为了更好服务生产，这让更多用心做游戏的公司能产出更高质量的游戏。

成本问题

比如像R星这样的公司恐怕没有那么在乎动作捕捉的成本问题，他们在制作荒野大镖客2时足足使用了1200名演员拍摄动作捕捉，共用工时2200天，这是前无古人的大制作，之后的来者恐怕也只有GTA6或者荒野大镖客前传重制版能享受这个待遇。

不过并非每一家公司都有能力模仿R星这样“十年磨一剑”的制作方式，舍得用充足的资金去打造一款买断制的3A大作，于是游戏开发者们思考，能否搭建一个大型的动捕数据库，这样不必每次开发一款新游戏就去找大量演员做动捕，只要有动作需求就复用数据库的素材。

red dead redemption mocap

然而在很长一段时间里，游戏界一直在尝试解决这样的问题，但是效果一直不佳，没办法达到商用的地步，尽管Yann LeCun在1989年就提出了神经网络相关的反向传播算法，但直到快20年后，学者们才认识到神经网络的重要性，Motion Catching正是在蒙特利尔这个大环境下被提出的。

Motion Matching

2010年，华盛顿大学计算机系和Bungie一起提出Motion Fields方法，简单来说，这个方法是人物根据玩家的输入通过搜寻动捕数据库的数据来自动生成动作，这样的想法当然也能应用在制作游戏上。不出意外的话，这个方法应该很快会被微软注意到，但育碧蒙特利尔挖走了论文的一作Yongjoon Lee。

到了2016年GDC上Motion Matching延续了之前Motion Fields的基本思想，然后再对一些游戏中角色的基本动作进行优化，最后得到了一个初版的Motion Matching系统，即预测下一帧的动作，然后根据所有的预测构建一个N帧状态树。在育碧公开这则消息的新闻下面，大量玩家在嘲讽育碧是不是又在写Bug了。

然而几乎所有游戏大厂都被这项技术吸引到了注意力，有能力的就自己用类似的方法再开发一个系统，资金不够的就对着育碧公开的细节复现学习。有了这个状态树，动画设计师可以直接看不同节点分支的效果，然后在其中选择合适的动作，然后再像传统方法那样Polish动画状态机。

未来

虽然Motion Matching不能完全取代动捕，但却能最大限度去利用动捕的数据，三十年前、二十年前这项技术仍然是遥不可及的，但是从16年开始，Motion Matching的研究已经初具规模，学术界也开始与工业界联手优化，UE4也能开始实现Motion Matching。

在2020年，Learned motion matching方法被提出，可预期的是如果Motion Matching在复杂行为上的效果越来越好，游戏领域的动捕也会迎来革命性的改变。本次黑神话悟空整活视频中，调侃陆吾系统的同时，游戏科学明显透露出他们仍然在使用Motion Matching做一些新东西。