可动画虚拟人体：在UV空间中学习姿态相关的人体表征以实现交互式表演合成
计算机视觉与模式识别
2024-03-20 v1 图形学
摘要
我们提出一种新颖的虚拟人体表征，用于三维应用中高度逼真的实时动画与渲染。我们从最先进的多视角视频重建所获的高精度动态网格序列中学习姿态相关外观与几何。从网格序列学习姿态相关外观与几何面临重大挑战，因其要求网络学习人体复杂的形状与关节运动。然而，诸如SMPL之类的统计身体模型提供了有价值的先验知识，我们加以利用以约束搜索空间的维度，从而实现更高效且具针对性的学习并定义姿态依赖性。我们不直接学习绝对姿态相关几何，而是学习观测几何与拟合SMPL模型之间的差异。这使我们能在SMPL模型一致的UV空间中编码姿态相关外观与几何。该方法不仅确保高真实感，也促进了实时场景下虚拟人体的流畅处理与渲染。
引用
@article{arxiv.2310.03615,
title = {Animatable Virtual Humans: Learning pose-dependent human representations in UV space for interactive performance synthesis},
author = {Wieland Morgenstern and Milena T. Bagdasarian and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2310.03615},
year = {2024}
}