PINA：从单段RGB-D视频序列学习个性化隐式神经化身
计算机视觉与模式识别
2022-04-11 v2
摘要
我们提出了一种从短RGB-D序列学习个性化隐式神经化身（PINA）的新方法。这使得非专业用户能够创建详细且个性化的自身虚拟副本，并可通过逼真的衣物形变进行动画化。PINA不需要完整扫描，也不需要从大规模着装人体数据集上预先学习。在此设定下学习完整化身具有挑战性，因为仅可获得少量深度观测，这些观测有噪声且不完整（即每帧仅身体部分可见）。我们提出一种通过定义在规范空间中的姿态条件隐式表面和形变场来学习形状与非刚性形变的方法。这使我们能够将全部部分观测融合为单一一致的规范表示。融合被表述为对姿态、形状和蒙皮参数的全局优化问题。该方法可从真实有噪声的RGB-D序列中为多样化人群和服装风格学习神经化身，且这些化身可在给定未见运动序列时进行动画化。
引用
@article{arxiv.2203.01754,
title = {PINA: Learning a Personalized Implicit Neural Avatar from a Single RGB-D Video Sequence},
author = {Zijian Dong and Chen Guo and Jie Song and Xu Chen and Andreas Geiger and Otmar Hilliges},
journal= {arXiv preprint arXiv:2203.01754},
year = {2022}
}
备注
CVPR'2022; Video: https://youtu.be/oGpKUuD54Qk | Project page: https://zj-dong.github.io/pina/ | Supplementary Material: https://ait.ethz.ch/projects/2022/pina/downloads/supp.pdf