面向可泛化高效神经人体渲染的几何引导渐进式NeRF
计算机视觉与模式识别
2022-03-31 v3 图形学
机器学习
多媒体
摘要
在这项工作中，我们开发了一个通用且高效的神经辐射场（NeRF）流程，用于在稀疏相机视角设置下合成高保真自由视点人体。尽管现有的基于NeRF的方法可以合成相当逼真的人体细节，但当输入存在自遮挡时，尤其是在稀疏视角下对未见人体进行渲染时，它们往往会产生较差的结果。此外，这些方法通常需要大量的采样点进行渲染，导致效率低下并限制了其实际应用。为了解决这些挑战，我们提出了几何引导的渐进式NeRF（GP-NeRF）。特别是，为了更好地处理自遮挡，我们设计了一种几何引导的多视角特征集成方法，该方法利用估计的几何先验来整合来自输入视角的不完整信息，并为目标人体构建完整的几何体。同时，为了实现更高的渲染效率，我们引入了一种通过几何引导的渐进式渲染流程，该流程利用几何特征体和预测的密度值来逐步减少采样点数量并加速渲染过程。在ZJU-MoCap和THUman数据集上的实验表明，我们的方法在多种泛化设置下显著优于现有最优技术，同时通过应用我们高效的渐进式渲染流程，时间成本降低了70%以上。
引用
@article{arxiv.2112.04312,
title = {Geometry-Guided Progressive NeRF for Generalizable and Efficient Neural Human Rendering},
author = {Mingfei Chen and Jianfeng Zhang and Xiangyu Xu and Lijuan Liu and Yujun Cai and Jiashi Feng and Shuicheng Yan},
journal= {arXiv preprint arXiv:2112.04312},
year = {2022}
}