NeRFs是镜像探测器：用于多视图镜像场景重建的结构相似性方法
计算机视觉与模式识别
2025-01-09 v1
摘要
虽然神经辐射场（NeRF）在逼真的新视角合成方面取得了突破，但处理镜像表面仍具有挑战性，因为它们在场景表示中引入严重的不一致性。以往的尝试要么聚焦于重建单个反射对象，要么依赖强大的监督指导，即额外的用户提供的可见镜像图像区域的注释，从而限制了实际可用性。相反，本文提出了NeRF-MD方法，表明NeRF可以被视为镜像探测器，并且能够在无需先验注释的情况下重建包含镜像表面的场景。为此，我们首先通过深度重投影损失训练标准NeRF以计算场景几何的初始估计。我们的关键洞察在于，对应镜像表面的场景部分仍显示显著的光度不一致，而其余部分已基本可行地重建。这使我们能够通过拟合这些不一致区域的几何原始模型来检测镜像表面。使用这一信息，我们随后在第二个训练阶段联合优化辐射场和镜像几何，以细化其质量。我们展示了该方法能够可靠检测场景中的镜像以及重建单个一致的场景表示，并在与基线和镜像感知方法的比较中展示了其潜力。
引用
@article{arxiv.2501.04074,
title = {NeRFs are Mirror Detectors: Using Structural Similarity for Multi-View Mirror Scene Reconstruction with 3D Surface Primitives},
author = {Leif Van Holland and Michael Weinmann and Jan U. Müller and Patrick Stotko and Reinhard Klein},
journal= {arXiv preprint arXiv:2501.04074},
year = {2025}
}