DH-PTAM:一种深度混合立体事件-帧并行跟踪与建图系统
计算机视觉与模式识别
2024-06-11 v3 机器人学
图像与视频处理
信号处理
摘要
本文提出了一种在挑战性环境中表现出色的视觉并行跟踪与建图(PTAM)系统的鲁棒方法。我们提出的方法通过立体视觉帧与立体事件流的一种新颖时空同步,在统一参考帧中结合了异构多模态视觉传感器(包括基于立体事件的传感器和基于帧的传感器)的优势。我们采用基于深度学习的特征提取与描述来进行估计,以进一步增强鲁棒性。我们还引入了一个端到端并行跟踪与建图优化层,并辅以简单的闭环算法以实现高效的SLAM行为。通过在VECtor和TUM-VIE基准的小规模和大规模真实世界序列上的综合实验,我们提出的方法(DH-PTAM)在恶劣条件下,尤其是大规模HDR场景中,在鲁棒性和精度方面表现出优越性能。我们基于研究的Python API实现已在GitHub上公开供进一步研究与开发:https://github.com/AbanobSoliman/DH-PTAM。
引用
@article{arxiv.2306.01891,
title = {DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System},
author = {Abanob Soliman and Fabien Bonardi and Désiré Sidibé and Samia Bouchafa},
journal= {arXiv preprint arXiv:2306.01891},
year = {2024}
}
备注
Accepted for publication in the IEEE Transactions on Intelligent Vehicles