SparseNeuS：基于稀疏视角快速泛化神经表面重建
计算机视觉与模式识别
2022-08-03 v2
摘要
我们提出 SparseNeuS，一种基于神经渲染的新方法，用于从多视角图像进行表面重建的任务。当仅提供稀疏图像作为输入时，该任务变得更加困难，现有神经重建方法在此情形下通常产生不完整或扭曲的结果。此外，它们无法泛化到未见过的新场景，阻碍了实际应用。相反，SparseNeuS 能够泛化到新场景，并且在稀疏图像（少至2或3张）下也能良好工作。SparseNeuS 采用符号距离函数（SDF）作为表面表示，并通过引入几何编码体来从图像特征中学习可泛化的先验以进行通用表面预测。此外，我们提出了若干策略以有效利用稀疏视角实现高质量重建，包括：1）多级几何推理框架以由粗到细的方式恢复表面；2）多尺度颜色混合方案以获得更可靠的颜色预测；3）一致性感知微调方案以控制由遮挡和噪声引起的不一致区域。大量实验表明，我们的方法不仅优于当前最优（SOTA）方法，还展现出良好的效率、泛化能力和灵活性。
引用
@article{arxiv.2206.05737,
title = {SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse Views},
author = {Xiaoxiao Long and Cheng Lin and Peng Wang and Taku Komura and Wenping Wang},
journal= {arXiv preprint arXiv:2206.05737},
year = {2022}
}
备注
Project page: https://www.xxlong.site/SparseNeuS/