NeuralHumanFVV：基于 RGB 相机的实时神经体积人体表演渲染
计算机视觉与模式识别
2021-03-16 v1
摘要
人体活动的四维重建与渲染对于沉浸式 VR/AR 体验至关重要。现有进展仍未能从稀疏多视角 RGB 相机中恢复出与输入图像细节水平相当的精细几何与纹理结果。本文提出 NeuralHumanFVV，一种实时神经人体表演捕捉与渲染系统，用于在任意新视角下生成人体活动的高质量几何与照片级真实纹理。我们提出一种具有分层采样策略的神经几何生成方案，用于实时隐式几何推断，以及一种新颖的神经混合方案，在新视角下生成高分辨率（如 1k）且照片级真实的纹理结果。此外，我们采用神经法线混合来增强几何细节，并将我们的神经几何与纹理渲染构建为一个多任务学习框架。大量实验证明了我们的方法在为具有挑战性的人体表演实现高质量几何与照片级自由视点重建方面的有效性。
引用
@article{arxiv.2103.07700,
title = {NeuralHumanFVV: Real-Time Neural Volumetric Human Performance Rendering using RGB Cameras},
author = {Xin Suo and Yuheng Jiang and Pei Lin and Yingliang Zhang and Kaiwen Guo and Minye Wu and Lan Xu},
journal= {arXiv preprint arXiv:2103.07700},
year = {2021}
}