Neural Novel Actor：学习用于人体角色的泛化可动画神经表示
计算机视觉与模式识别
2023-05-24 v2
摘要
我们提出一种新方法，从多人的稀疏多视角图像集中学习泛化可动画的神经人体表示。所学表示可用于从稀疏相机集合成任意人的新视角图像，并进一步通过用户的姿态控制对其动画化。尽管现有方法要么能泛化到新人，要么能合成带用户控制的动画，但无一能同时实现两者。我们将此成就归因于采用 3D 代理作为共享多人人体模型，并进一步将不同姿态的空间扭曲至共享规范姿态空间，在该空间中我们学习神经场并预测依赖于人和姿态的形变以及从输入图像提取特征得到的外观。为应对体型、姿态和衣物形变巨大差异的复杂性，我们将神经人体模型设计为几何与外观解耦。此外，我们利用 3D 代理上空间点与表面点的图像特征来预测依赖于人和姿态的属性。实验表明，我们的方法在两项任务上均显著优于最先进水平（state-of-the-arts）。视频与代码见 https://talegqz.github.io/neural_novel_actor。
引用
@article{arxiv.2208.11905,
title = {Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors},
author = {Yiming Wang and Qingzhe Gao and Libin Liu and Lingjie Liu and Christian Theobalt and Baoquan Chen},
journal= {arXiv preprint arXiv:2208.11905},
year = {2023}
}