面向沉浸式远程呈现虚拟形象的 VR 面部动画
计算机视觉与模式识别
2023-04-25 v1 机器人学
摘要
即便佩戴 VR 头显，在需要清晰看到面部的应用中，VR 面部动画仍是必要的。在我们的场景中，旨在为操控机器人虚拟形象系统的操作员面部生成动画。我们提出一种具备针对特定操作员快速适配能力的实时流水线。在快速注册步骤中，我们采集操作员未戴 VR 头显时的一段源图像序列，其中包含全部重要的操作员专属外观信息。在推理时，我们利用从嘴部相机与两个眼部相机提取的操作员关键点信息来估计目标表情与头部姿态，并将源静态图像的外观映射至此。为提升嘴部表情精度，我们从所采集序列中动态选取一帧辅助表情帧；该选取通过学习将当前嘴部关键点变换至源相机空间来完成，从而可精确确定对齐关系。此外，我们展示了可在不到一分钟内训练完成的眼动追踪流水线、在仅含完整人脸的数据集下训练整体流水线的高效方法，给出了本方法生成的示例结果，并讨论了在 ANA Avatar XPRIZE 半决赛中的表现。
引用
@article{arxiv.2304.12051,
title = {VR Facial Animation for Immersive Telepresence Avatars},
author = {Andre Rochow and Max Schwarz and Michael Schreiber and Sven Behnke},
journal= {arXiv preprint arXiv:2304.12051},
year = {2023}
}
备注
Published in IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2022