联系我们

面部识别

人工智能研究人员根据用户照片创建3D视频游戏面部模型

mm

更新

 on

中国游戏公司网易的一组研究人员创建了一个系统,该系统可以自动从照片中提取面孔并使用图像数据生成游戏中模型。论文结果标题为 用于游戏角色自动创建的面参转换,是 由Synced on Medium总结。

越来越多的游戏开发人员选择利用AI来自动化耗时的任务。例如,游戏开发人员一直在使用AI算法来帮助 渲染动作 字符和对象。游戏开发人员最近对AI的另一种用途是创建功能更强大的角色自定义工具。

角色自定义是角色扮演视频游戏广受欢迎的功能,允许游戏玩家以多种不同方式自定义他们的玩家头像。许多玩家选择使他们的化身看起来像自己,随着角色定制系统的复杂性增加,这变得更加容易实现。但是,随着这些角色创建工具变得越来越复杂,它们也变得越来越复杂。创建一个与自己相似的角色可能需要花费数小时的时间来调整滑块和更改秘密参数。网易研究团队的目标是通过创建一个系统来分析玩家的照片并为游戏中角色生成玩家面部模型,从而改变这一切。

自动字符创建工具包括两半:模仿学习系统和参数翻译系统。参数转换系统从输入图像中提取特征,并创建供学习系统使用的参数。然后,模仿学习模型使用这些参数来迭代生成并改善输入面部的表示。

模仿学习系统的体系结构可以模拟游戏引擎创建具有恒定样式的角色模型的方式。模仿模型旨在提取面部基本信息,并考虑胡须,口红,眉毛和发型等复杂变量。人脸参数通过以下过程进行更新: 梯度下降,与输入相比。不断检查输入要素与生成的模型之间的差异,并对模型进行调整,直到游戏中的模型与输入要素对齐为止。

训练好仿制网络后,参数转换系统会根据输入的图像特征检查仿制网络的输出,并确定可以计算最佳面部参数的特征空间。

最大的挑战是确保3D角色模型可以保留基于人类照片的细节和外观。这是一个跨域问题,必须比较3D生成的图像和真实人物的2D图像,并且两者的核心特征必须相同。

研究人员使用两种不同的技术解决了这个问题。第一项技术是将他们的模型训练分为两个不同的学习任务:面部内容任务和区分性任务。通过最小化两个全局外观值之间的差异/损失来识别人脸的总体形状和结构,而通过最小化诸如小区域阴影之类的东西之间的损失来填充区分/精细的细节。两种不同的学习任务被合并在一起以获得完整的表示。

用于生成3D模型的第二种技术是3D人脸构造系统,该系统使用模拟的骨骼结构,并考虑了骨骼形状。与依赖于网格或面网格的其他3D建模系统相比,这使研究人员可以创建更加复杂和准确的3D图像。

可以创建基于2D图像的逼真的3D模型的系统本身就给人留下了深刻的印象,但是自动生成系统不仅仅适用于2D照片。该系统还可以拍摄人脸的草图和讽刺画,并将其渲染为3D模型,并具有惊人的准确性。研究团队怀疑该系统是否能够基于2D字符生成准确的模型,因为该系统分析面部语义而不是解释原始像素值。

虽然可以使用自动字符生成器根据照片创建字符,但研究人员表示,用户还应该能够将其用作辅助技术,并根据自己的喜好进一步编辑生成的字符。