给游戏一张照片，就能自适应创造角色和智能捏脸，2021年人工智能顶会AAAI的一篇论文，提供了一个可直接集成到现有的游戏中的技术——MeInGame，只需要提供一张肖像照，就能在游戏中自动捏出脸，不用考虑捏脸复杂的参数，也不用再为当韩国一级整形美容技师而发愁！
GTAV捏脸
一、应用
在游戏领域中，要么是厂商已经提供了玩家角色的脸型，要么是由玩家手动调整各种面部参数来达到心目中预期的图片，许多玩家可能心目中已经有了想捏的人，却苦于技术有限，捏不出相貌奇特的面部。
本文的这项MeInGame技术让玩家可以一步到位，而且玩家还可以在这个AI捏脸的基础上继续自己的创作，甚至未来一些游戏公司也可以让大量玩家提供照片，然后快速捏脸做成路人放在游戏中。
MeInGame
二、示例
给一张鬼才导演克里斯托弗·诺兰的照片，能看到国外名导在中国风游戏中的面孔。
放上一张模特小姐姐的照片，也能得到一张眉眼容貌非常相似的图片。
即使放上obm，也能在任何游戏中模拟出相近的图片。
三、原理
在给定一张人脸输出图片的情况下，首先利用三位变形人脸模型3DMM（3D Morphable Face Model ）和卷积神经网络（CNNs）重建三维人脸，然后将三维人脸的形状导入到游戏的标准模组中（Mesh）。
神经网络以人脸图片和未处理过的UV粗纹理贴图的“空间坐标映射”为输入，预测光照系数和细化后的纹理图，由于许多游戏的渲染引擎无法直接使用这些渲染后的人脸图，所以将这些渲染输出后的人脸图的梯度，通过反向传播训练到每个需要更新的人脸参数模块，从而达到“端到端”的训练方式。
简单来说，上图中，研究者将人脸形状和纹理重建定义为一个自监督（self-supervised）的人脸相似度问题。然后设计了一个渲染循环，将预测的形状和纹理与输入的人脸图片，在这二者之间进行相似的二维人脸渲染。
除此之外，学者继续设计了光照回归器，由几个完全连接层（full-connected layer）组成，能够根据输入的图像特征，进行光照方向、环境光、漫反射和高光等光照系数的预测。
最后，再将这些光照系数以及上一步预测的形状和纹理反馈给“可微分渲染器”，将可微分渲染器的结果和输入的人脸照片进行相似度训练，然后得到最终的捏脸数据。
四、总结
这项技术相比于以前的“面部生成模型”（Facial Generative Model）计算量更小，而且能得到更高保真度的面部纹理细节，论文提供了一种可以将3DMM模型转换成各种游戏内置的面部捏脸算法，同时也提出了新方法用来训练游戏中3D人脸模型的重建。在实验中表明，该技术在测试集上能达到比2K等游戏更快更好的效果。
在未来，这项技术或许可以不止是用来玩家自己捏脸，游戏快速大量建模NPC，甚至可以配合行人重识别ReID技术，一次性从一张图生成多个NPC，随着计算机技术的发展，给未来的游戏开发提供了更多可选的好技术，也给玩家提供了很多的游戏体验。
往期AI技术游戏帖：
巫师三——AI如何帮助老游戏画质重获新生
AI技术学习帖：
机器学习入门——数学基础（积分篇）
机器学习入门——数学基础（代数篇）
论文相关：
Latex——毕业论文&数学建模排版语言介绍
本文由小黑盒作者：gdtop 原创
未经授权禁止转载或摘编