通过多视角图像特征先验提升神经表面重建
计算机视觉与模式识别
2024-09-17 v2
摘要
近期神经表面重建（NSR）技术的进展显著提升了多视角重建效果，尤其在体积渲染集成后。然而，仅依赖图像空间的光度一致性难以应对现实数据中的遮挡和非Lambertian表面等复杂问题。为此，我们提出探究基于特征层面的一致性损失，以从多样化预置视觉任务中汲取有价值的特征先验，克服现有局限。关键在于现有研究尚未确定最佳预置视觉任务以增强NSR效果。本文综合探讨来自七种预置视觉任务（涵盖十三种方法）的多视角特征先验，旨在通过多种可能性强化NSR训练。此外，我们还考察了不同特征分辨率的影响，评估了像素级与patch级一致性损失，为提高NSR性能提供策略洞见。通过融合MVSFormer和QuadTree的预训练表示，我们生成了MVS-NeuS和Match-NeuS的变体。基于DTU和EPFL数据集的实验表明，图像匹配和多视图立体声的特征先验优于其他预置任务。我们还发现，将patch级光度一致性扩展至特征层面可优于像素级方法。这些发现凸显了此类技术在提升NSR效果方面的有效性。
引用
@article{arxiv.2408.02079,
title = {Improving Neural Surface Reconstruction with Feature Priors from Multi-View Image},
author = {Xinlin Ren and Chenjie Cao and Yanwei Fu and Xiangyang Xue},
journal= {arXiv preprint arXiv:2408.02079},
year = {2024}
}
备注
ECCV2024