用于游戏角色自动生成的零样本文本到参数翻译
计算机视觉与模式识别
2023-03-03 v1
摘要
近期流行的角色扮演游戏(RPG)中，角色自动生成系统取得巨大成功。由连续参数(如骨骼位置)与离散参数(如发型)控制的骨骼驱动人脸模型，使用户能够个性化定制游戏内角色。以往的游戏中角色自动生成系统多为图像驱动，即通过优化面部参数使渲染角色看起来与参考人脸照片相似。本文提出一种新颖的文本到参数翻译方法(T2P)，以实现零样本文本驱动的游戏角色自动生成。借助我们的方法，用户无需任何参考照片或手动编辑数百个参数，仅凭任意文本描述即可创建生动的游戏内角色。在我们的方法中，利用大规模预训练多模态CLIP与神经渲染的能力，T2P在统一框架中搜索连续面部参数与离散面部参数。由于参数表示的不连续性，以往方法难以有效学习离散面部参数。据我们所知，T2P是首个能同时处理离散与连续参数优化的方法。实验结果表明，T2P能根据给定文本提示生成高质量且生动的游戏角色。在客观与主观评价上，T2P均优于其他SOTA文本到3D生成方法。
引用
@article{arxiv.2303.01311,
title = {Zero-Shot Text-to-Parameter Translation for Game Character Auto-Creation},
author = {Rui Zhao and Wei Li and Zhipeng Hu and Lincheng Li and Zhengxia Zou and Zhenwei Shi and Changjie Fan},
journal= {arXiv preprint arXiv:2303.01311},
year = {2023}
}
备注
Accepted in CVPR 2023