PedFormer:基于跨模态注意力调制与门控多任务学习的行人行为预测
计算机视觉与模式识别
2022-10-17 v1 机器人学
摘要
预测行人行为是智能驾驶系统的一项关键任务。准确的预测需要深入理解可能影晌行人行为方式的各类上下文要素。为应对这一挑战,我们提出了一种新颖的框架,该框架依赖不同数据模态,从以自我为中心(ego-centric)的视角预测行人的未来轨迹与横穿动作。具体而言,我们的模型利用跨模态 Transformer 架构来捕捉不同数据类型之间的依赖关系。Transformer 的输出通过行人与其他交通参与者之间交互的表征得到增强,这些交互表征由语义注意力交互模块基于行人与自车动力学生成。最后,上下文编码通过一个使用门控共享网络的多流解码框架输入。我们在公开行人行为基准数据集 PIE 和 JAAD 上评估了我们的算法,结果表明,在各项指标上,我们的模型在轨迹与动作预测方面分别将 SOTA 最高提升了 22% 和 13%。我们通过大量消融实验研究了模型各组件带来的优势。
引用
@article{arxiv.2210.07886,
title = {PedFormer: Pedestrian Behavior Prediction via Cross-Modal Attention Modulation and Gated Multitask Learning},
author = {Amir Rasouli and Iuliia Kotseruba},
journal= {arXiv preprint arXiv:2210.07886},
year = {2022}
}
备注
8 pages, 3 Figures