面向噪声视频的无噪声自我运动估计与 3D 重建：可扩展基准测试与稳健学习

我们旨在通过解决一个关键限制——现有模型依赖于无噪声数据——来重新定义稳健的自我运动估计和光照保真 3D 重建。虽然此类数据简化了评估，但未能捕捉现实环境中不可预测的噪声复杂性。动态运动、传感器缺陷和同步扰动会导致实际部署时性能急剧下降，暴露了迫切需要在真实噪声环境下仍能取得优异性能的框架。为弥合这一差距，我们解决了三个核心挑战：可扩展数据生成、综合性基准测试和模型鲁棒性提升。首先，我们引入可扩展的噪声数据合成管道，生成模拟复杂运动、传感器缺陷和同步误差的多样化数据集。其次，利用该管道构建 Robust-Ego3D 基准，旨在暴露噪声导致的性能退化，凸显当前学习方法在自我运动精度和 3D 重建质量方面的局限。最后，我们提出一种名为 Correspondence-guided Gaussian Splatting（CorrGS）的新型测试时适应方法，通过将噪声观测与来自干净 3D 地图的渲染 RGB-D 帧对齐，逐步细化内部干净 3D 表示，从而通过视觉对应关系提升几何对齐和图像修复。在合成数据和真实场景数据上的大量实验表明，CorrGS 在处理快速运动和动态照明等场景时 consistently 优于先前最先进的方法。