中文

寻找沃尔多:迈向 NeRF 场景空间的高效探索

计算机视觉与模式识别 2024-03-11 v2 图形学

摘要

神经辐射场 (NeRF) 因其卓越的性能,近年来已迅速成为 3D 重建和新视角合成的主要方法。尽管人们对 NeRF 方法兴趣浓厚,但 NeRF 的一个实际用例却在很大程度上被忽视了;即对 NeRF 建模的场景空间的探索。在本文中,我们首次在文献中提出并正式定义了场景探索框架,即高效发现 NeRF 模型输入(即坐标和视角),利用这些输入可以渲染符合用户选择标准的新视角。为了弥补缺乏解决场景探索方法的不足,我们首先提出了两种基线方法:引导随机搜索 (GRS) 和基于姿态插值的搜索 (PIBS)。随后,我们将场景探索构建为一个优化问题,并提出了与标准无关的进化引导姿态搜索 (EGPS) 以实现高效探索。我们用各种标准(如显著性最大化、图像质量最大化、照片构图质量改进)测试了所有三种方法,结果表明我们的 EGPS 表现优于其他基线。最后,我们强调了关键点和局限性,并概述了场景探索的未来研究方向。

关键词

引用

@article{arxiv.2403.04508,
  title  = {Finding Waldo: Towards Efficient Exploration of NeRF Scene Spaces},
  author = {Evangelos Skartados and Mehmet Kerim Yucel and Bruno Manganelli and Anastasios Drosou and Albert Saà-Garriga},
  journal= {arXiv preprint arXiv:2403.04508},
  year   = {2024}
}

备注

Accepted at ACM MMSys'24