CEMFormer：通过时空Transformers从舱内与外部摄像头学习预测驾驶意图
计算机视觉与模式识别
2023-05-16 v1
摘要
驾驶意图预测旨在通过分析驾驶员相对于周围交通环境的行为来预见其动作。现有方法主要关注后期融合技术，忽视了保持预测与当前驾驶上下文一致性的重要性。本文引入一个名为跨视角情景记忆Transformer（CEMFormer）的新框架，其采用时空transformers学习统一记忆表示以改进驾驶意图预测。具体而言，我们开发了时空编码器以整合来自舱内与外部摄像头视角的信息，并结合情景记忆表示持续融合历史数据。此外，我们提出一种新颖的上下文一致性损失，将驾驶上下文作为辅助监督信号以提升预测性能。在Brain4Cars数据集上的综合实验表明，CEMFormer在驾驶意图预测上持续优于现有的最先进方法。
引用
@article{arxiv.2305.07840,
title = {CEMFormer: Learning to Predict Driver Intentions from In-Cabin and External Cameras via Spatial-Temporal Transformers},
author = {Yunsheng Ma and Wenqian Ye and Xu Cao and Amr Abdelraouf and Kyungtae Han and Rohit Gupta and Ziran Wang},
journal= {arXiv preprint arXiv:2305.07840},
year = {2023}
}