中文

BoostMVSNeRFs:提升基于 MVS 的 NeRF 在大规模场景中的可泛化视图合成能力

计算机视觉与模式识别 2024-07-23 v1

摘要

虽然神经辐射场(NeRF)已显示出卓越的渲染质量,但其漫长的训练时间仍是局限。通用型和基于 MVS 的 NeRF 虽然能够缓解训练时间问题,却常常在质量上进行权衡。本文提出一种新方法,称为 BoostMVSNeRFs,以增强大规模场景中 MVS 基于 NeRF 的渲染质量。我们首先识别了 MVS 基于 NeRF 方法的局限性,如视口覆盖范围受限以及由于输入视角有限导致的图像伪影。随后,我们提出一种新方法,通过选择和组合多个代数体积来解决这些局限性。该方法无需训练即可适用于任何 MVS 基于 NeRF 方法,以前馈方式提升渲染质量。此外,我们的方法也是端到端可训练的,允许对特定场景进行微调。我们通过在大规模数据集上的实验,展示了该方法在大规模场景和无界限户外场景中渲染质量的显著提升。我们在 https://su-terry.github.io/BoostMVSNeRFs/ 上发布了 BoostMVSNeRFs 的源代码。

关键词

引用

@article{arxiv.2407.15848,
  title  = {BoostMVSNeRFs: Boosting MVS-based NeRFs to Generalizable View Synthesis in Large-scale Scenes},
  author = {Chih-Hai Su and Chih-Yao Hu and Shr-Ruei Tsai and Jie-Ying Lee and Chin-Yang Lin and Yu-Lun Liu},
  journal= {arXiv preprint arXiv:2407.15848},
  year   = {2024}
}

备注

SIGGRAPH 2024 Conference Papers. Project page: https://su-terry.github.io/BoostMVSNeRFs/