神经观测场引导的相机布设混合优化

相机布设在虚拟现实、自动驾驶和高质量重建等多相机系统中至关重要。相机布设的挑战在于高维参数的非线性本质以及覆盖率和可见性等目标函数的梯度不可用。因此，大多数现有方法通过利用非基于梯度的优化方法来应对这一挑战。在本工作中，我们提出了一种混合相机布设优化方法，同时结合了基于梯度和非基于梯度的优化方法。这种设计使我们的方法能够分别享受基于梯度优化的平滑收敛优势和非基于梯度优化的鲁棒性优势。为了连接这两种不同的优化方法，我们提出了一种神经观测场，它隐式地编码了覆盖率和观测质量。神经观测场在无需假设目标场景的情况下提供相机观测的测量值和相应梯度，使我们的方法适用于多种场景，包括二维平面形状、三维物体和房间尺度三维场景。在多样化数据集上的广泛实验表明，我们的方法达到了最先进的性能，同时仅需典型计算时间的极小部分（减少 8 倍）。此外，我们使用自定义采集系统进行了真实世界实验，验证了我们方法对真实世界环境噪声的鲁棒性。