数分钟内学习动态人体的神经体积表示
计算机视觉与模式识别
2023-02-27 v2 人工智能
图形学
摘要
本文致力于解决从稀疏多视角视频快速重建动态人体自由视角视频的挑战。一些近期工作将动态人体表示为规范神经辐射场(NeRF)与运动场，并通过可微渲染从视频中学习。但每场景优化通常需数小时。其他可泛化 NeRF 模型利用从数据集中学到的先验，并通过仅在新场景上微调来减少优化时间，代价是视觉保真度。本文中，我们提出一种新方法，可在数分钟内从稀疏视角视频以具竞争力的视觉质量学习动态人体的神经体积视频。具体而言，我们定义了一种新颖的基于部件体素化人体表示，以更好地将网络的表示能力分配到不同人体部件。此外，我们提出了一种新颖的 2D 运动参数化方案以提高形变场学习的收敛速度。实验表明，我们的模型可比先前每场景优化方法快 100 倍学习，同时在渲染质量上具竞争力。在单块 RTX 3090 GPU 上，以 分辨率、100 帧的视频训练我们的模型通常约需 5 分钟。代码将发布于我们的项目页：https://zju3dv.github.io/instant_nvr
引用
@article{arxiv.2302.12237,
title = {Learning Neural Volumetric Representations of Dynamic Humans in Minutes},
author = {Chen Geng and Sida Peng and Zhen Xu and Hujun Bao and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2302.12237},
year = {2023}
}
备注
Project page: https://zju3dv.github.io/instant_nvr