隐式事件-RGBD 神经 SLAM
计算机视觉与模式识别
2024-03-19 v3
摘要
隐式神经 SLAM 近期取得了显著进展。然而，现有方法在非理想场景（如运动模糊或光照变化）中面临重大挑战，常导致收敛失败、定位漂移与地图失真等问题。为应对这些挑战，我们提出了 EN-SLAM，首个事件-RGBD 隐式神经 SLAM 框架，其有效利用了事件数据的高速率与高动态范围优势进行跟踪与建图。具体而言，EN-SLAM 提出了一种可微 CRF（相机响应函数）渲染技术，通过共享辐射场生成分离的 RGB 与事件相机数据，并通过学习统一的隐式表示并结合捕获的事件与 RGBD 监督进行优化。此外，基于事件的时间差特性，我们提出了一种用于事件联合跟踪与全局光束法平差的时间聚合优化策略，利用事件的连续差分约束，显著增强了跟踪精度与鲁棒性。最后，我们构建了包含 6 个场景、17 条序列的模拟数据集 DEV-Indoors 与真实捕获数据集 DEV-Reals，具有实际运动模糊与光照变化以用于评估。实验结果表明，我们的方法在各种挑战性环境中以实时 17 FPS 在跟踪 ATE 与建图 ACC 上均优于 SOTA 方法。项目页面：https://delinqu.github.io/EN-SLAM。
引用
@article{arxiv.2311.11013,
title = {Implicit Event-RGBD Neural SLAM},
author = {Delin Qu and Chi Yan and Dong Wang and Jie Yin and Dan Xu and Bin Zhao and Xuelong Li},
journal= {arXiv preprint arXiv:2311.11013},
year = {2024}
}
备注
Accept at CVPR 2024