Neural Body：基于结构化潜码隐式神经表示的人体新视角合成
计算机视觉与模式识别
2021-03-30 v2
摘要
本文解决了从极稀疏相机视角集合成人体表演者新视角的挑战。一些近期工作表明，给定密集输入视角，学习 3D 场景的隐式神经表示可获得卓越的视角合成质量。然而，若视角高度稀疏，表示学习将是病态的。为解决这一病态问题，我们的核心思想是在视频帧上整合观测。为此，我们提出 Neural Body，一种新的人体表示，其假设不同帧上学习的神经表示共享锚定在可变形网格上的同一组潜码，从而跨帧观测可被自然整合。可变形网格也为网络更高效地学习 3D 表示提供了几何引导。为评估我们的方法，我们创建了名为 ZJU-MoCap 的多视角数据集，捕捉具有复杂动作的表演者。在 ZJU-MoCap 上的实验表明，我们的方法在新视角合成质量上大幅优于先前工作。我们还展示了在 People-Snapshot 数据集上从单目视频重建运动人物的能力。代码与数据集可在 https://zju3dv.github.io/neuralbody/ 获取。
引用
@article{arxiv.2012.15838,
title = {Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans},
author = {Sida Peng and Yuanqing Zhang and Yinghao Xu and Qianqian Wang and Qing Shuai and Hujun Bao and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2012.15838},
year = {2021}
}
备注
CVPR 2021. Project page: https://zju3dv.github.io/neuralbody/