提升相机位姿与分解低秩张量辐射场联合优化的鲁棒性

本文提出了一种算法，仅使用 2D 图像作为监督信号，即可联合优化相机位姿和由分解低秩张量表示的场景几何结构。首先，我们基于一维信号进行了一项试点研究，并将发现关联至 3D 场景，指出在基于体素的 NeRF 上进行朴素的联合位姿优化极易导致次优解。此外，基于频谱分析，我们提出在 2D 和 3D 辐射场上应用卷积高斯滤波器，以实现一种从粗到细的训练调度，从而支持联合相机位姿优化。利用分解低秩张量的分解特性，我们的方法仅需极小的计算开销即可达到与暴力 3D 卷积等效的效果。为进一步提升联合优化的鲁棒性和稳定性，我们还提出了平滑 2D 监督、随机缩放核参数以及边缘引导损失掩码等技术。大量的定量和定性评估表明，我们提出的框架在新视角合成方面取得了卓越性能，并在优化过程中实现了快速收敛。