用于转向角预测中感觉运动协调的多模态融合
计算机视觉与模式识别
2022-02-14 v1 机器人学
摘要
模仿学习以端到端方式用于学习转向角预测的感觉运动协调需要专家演示。这些专家演示与环境感知和车辆控制数据配对。传统的基于帧的 RGB 相机是获取环境感知数据最常用的外感受传感器模态。基于帧的 RGB 相机在作为单一模态学习端到端横向控制时已产生有前景的结果。然而，传统的基于帧的 RGB 相机在光照变化条件下可操作性有限，并受运动模糊影响。事件相机为基于帧的 RGB 相机提供互补信息。本工作探索融合基于帧的 RGB 和事件数据，通过预测转向角来学习端到端横向控制。此外，来自事件数据的表示如何与基于帧的 RGB 数据融合有助于自主车辆鲁棒地预测横向控制。为此，我们提出 DRFuser，一种用于学习端到端横向控制的新型卷积编码器-解码器架构。编码器模块在基于帧的 RGB 数据和事件数据之间分支，并带有自注意力层。此外，本研究还贡献了我们自己收集的包含事件、基于帧的 RGB 和车辆控制数据的数据集。所提方法的有效性在我们的收集数据集、Davis Driving 数据集（DDD）和 Carla Eventscape 数据集上进行了实验评估。实验结果表明，所提方法 DRFuser 在用作评估指标的根均方误差（RMSE）和平均绝对误差（MAE）方面优于最先进水平。
引用
@article{arxiv.2202.05500,
title = {Multi-Modal Fusion for Sensorimotor Coordination in Steering Angle Prediction},
author = {Farzeen Munir and Shoaib Azam and Byung-Geun Lee and Moongu Jeon},
journal= {arXiv preprint arXiv:2202.05500},
year = {2022}
}