HumanRecon：利用几何线索与物理先验的动态人体神经重建
计算机视觉与模式识别
2023-11-28 v1
摘要
近期的动态人体重建方法已取得有前景的重建结果。这些方法大多仅依赖RGB颜色监督而未考虑显式几何约束。这导致现有人体重建技术更容易过拟合于颜色，并引起几何固有的歧义，尤其在稀疏多视角设置下。受单目几何预测领域近期进展的启发，我们在动态人体重建的神经隐式表示学习中考虑了估计深度与法线的几何约束。作为几何正则化，这提供了可靠且显式的监督信息，并提升重建质量。我们还利用了若干有益的物理先验，例如向视角方向添加噪声以及最大化人体表面的密度。这些先验确保沿光线渲染的颜色对视角方向鲁棒，并减少沿光线估计密度的固有歧义。实验结果表明，由人体专用单目估计器预测的深度与法线线索可提供有效监督信号并渲染更准确图像。最后，我们也展示了所提物理先验显著减少过拟合并改善新视角合成的整体质量。我们的代码可在：~\href{https://github.com/PRIS-CV/HumanRecon}{https://github.com/PRIS-CV/HumanRecon} 获取。
引用
@article{arxiv.2311.15171,
title = {HumanRecon: Neural Reconstruction of Dynamic Human Using Geometric Cues and Physical Priors},
author = {Junhui Yin and Wei Yin and Hao Chen and Xuqian Ren and Zhanyu Ma and Jun Guo and Yifan Liu},
journal= {arXiv preprint arXiv:2311.15171},
year = {2023}
}