X-Avatar：富有表现力的人体化身
计算机视觉与模式识别
2023-03-10 v2
摘要
我们提出 X-Avatar，一种新颖的化身模型，可捕捉数字人类的完整表现力，为远程呈现、AR/VR 等领域带来栩栩如生的体验。我们的方法以整体方式建模身体、手部、面部表情与外观，并可从完整 3D 扫描或 RGB-D 数据中学习。为此，我们提出一种部件感知的学习型前向蒙皮模块，可由 SMPL-X 的参数空间驱动，从而实现 X-Avatar 的表现性动画。为高效学习神经形状与形变场，我们提出新颖的部件感知采样与初始化策略。这带来了更高保真度的结果，尤其对于较小的身体部位，同时在关节骨骼数量增加的情况下仍保持高效训练。为捕捉具有高频细节的化身外观，我们将几何与形变场扩展为一个以姿态、面部表情、几何以及形变表面法线为条件的纹理网络。我们通过实验表明，在动画任务上，我们的方法在两个数据域中均定量与定性地优于强基线。为促进未来对表现性化身的研究，我们贡献了一个名为 X-Humans 的新数据集，包含来自 20 名参与者的 233 段高质量带纹理扫描序列，总计 35,500 个数据帧。
引用
@article{arxiv.2303.04805,
title = {X-Avatar: Expressive Human Avatars},
author = {Kaiyue Shen and Chen Guo and Manuel Kaufmann and Juan Jose Zarate and Julien Valentin and Jie Song and Otmar Hilliges},
journal= {arXiv preprint arXiv:2303.04805},
year = {2023}
}
备注
Project page: https://skype-line.github.io/projects/X-Avatar/