中文

基于混合表示与法向先验增强的细粒度室内场景重建

计算机视觉与模式识别 2024-08-14 v3

摘要

从多视角RGB图像重建室内场景具有挑战性,因为平坦无纹理区域与精细细粒度区域共存。近期方法借助预测的表面法向先验辅助神经辐射场来恢复场景几何,这些方法在地板和墙面区域能生成完整且平滑的结果。然而,由于神经表示能力不足以及预测的法向先验不准确,它们难以捕捉具有高频结构的复杂表面。本工作旨在通过解决上述局限来重建具有细粒度细节的高保真表面。为提升隐式表示的容量,我们提出一种混合架构分别表示低频和高频区域。为增强法向先验,我们引入一种简单而有效的图像锐化与去噪技术,并结合一个估计预测表面法向向量逐像素不确定性的网络。识别此类不确定性可防止我们的模型被不可靠的表面法向监督误导,从而避免阻碍精细几何的准确重建。在基准数据集上的实验表明,我们的方法在重建质量上优于现有方法。此外,所提方法对我们手持手机捕捉的真实室内场景也具有良好泛化性。我们的代码公开于:https://github.com/yec22/Fine-Grained-Indoor-Recon。

关键词

引用

@article{arxiv.2309.07640,
  title  = {Indoor Scene Reconstruction with Fine-Grained Details Using Hybrid Representation and Normal Prior Enhancement},
  author = {Sheng Ye and Yubin Hu and Matthieu Lin and Yu-Hui Wen and Wang Zhao and Yong-Jin Liu and Wenping Wang},
  journal= {arXiv preprint arXiv:2309.07640},
  year   = {2024}
}

备注

accepted by TVCG