A-NeRF：用于学习人体形状、外观与姿态的关节化神经辐射场
计算机视觉与模式识别
2021-11-01 v3 图形学
摘要
尽管深度学习以前馈网络重塑了经典动作捕捉流程，但仍需生成模型通过迭代细化恢复精细对齐。遗憾的是，现有模型通常是手工设计或在受控条件下学习，仅适用于有限领域。我们提出一种通过扩展神经辐射场（NeRFs）从未经标注的单目视频学习生成式神经身体模型的方法。我们为其装备骨架以应用于时变和关节化运动。一个关键洞见是，隐式模型需要显式表面模型中所用正运动学的逆运算。我们的重参数化相对于身体部位的姿态定义空间潜变量，从而通过过参数化克服不适定逆运算。这使得能够从零学习体积身体形状与外观，同时联合细化关节化姿态；所有这一切都不需要输入视频上外观、姿态或三维形状的 ground truth 标注。当用于新视角合成与动作捕捉时，我们的神经模型在多样数据集上提升了精度。项目网站：https://lemonatsu.github.io/anerf/ 。
引用
@article{arxiv.2102.06199,
title = {A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose},
author = {Shih-Yang Su and Frank Yu and Michael Zollhoefer and Helge Rhodin},
journal= {arXiv preprint arXiv:2102.06199},
year = {2021}
}
备注
NeurIPS 2021. Project website: https://lemonatsu.github.io/anerf/