基于深度学习的 mmWave 雷达与摄像头传感器融合的鲁棒性多目标跟踪
计算机视觉与模式识别
2024-07-12 v1 系统与控制
信号处理
系统与控制
摘要
自动驾驶凭借人工智能和传感器技术的应用，为解决交通安全问题提供了巨大的潜力。多目标跟踪在确保在复杂交通情景中更安全、更高效的导航中发挥着关键作用。本文提出了一种新颖的深度学习方法，通过整合雷达和摄像头数据来增强自动驾驶系统中多目标跟踪的准确性和鲁棒性。所提出的方法利用双向长短期记忆网络 (BiLSTM) 融合长期时间信息，提高运动预测精度。采用受 FaceNet 启发的外观特征模型用于建立跨不同帧之间目标的关联，确保跟踪一致性。采用三输出机制，包括雷达、摄像头各自的单独输出以及融合输出，提供对传感器故障的鲁棒性并产生准确的跟踪结果。通过对真实数据集的广泛评估，我们的方法在跟踪准确性方面实现了显著提升，确保即使在低可见性情景下也能实现可靠性能力。
引用
@article{arxiv.2407.08049,
title = {Deep Learning-Based Robust Multi-Object Tracking via Fusion of mmWave Radar and Camera Sensors},
author = {Lei Cheng and Arindam Sengupta and Siyang Cao},
journal= {arXiv preprint arXiv:2407.08049},
year = {2024}
}
备注
Published in IEEE Transactions on Intelligent Transportation Systems