仅关注边界框是否足以预测行人动作?
计算机视觉与模式识别
2022-04-12 v3 机器学习
机器人学
摘要
人类驾驶员已不再是唯一面临驾驶场景复杂性的一方。自动驾驶车辆(AV)同样日益参与到这一过程中。如今,城市地区 AV 的发展给行人等弱势道路使用者(VRUs)带来了重要的安全担忧。因此,为使道路更安全,对行人未来行为进行分类与预测至关重要。本文中,我们提出一个基于多种 Transformer 模型变体的框架,能够根据行人已启动轨迹的动力学推断并预测其过街决策。我们表明,仅使用边界框作为输入特征,便可在 PIE 数据集上以 91% 的预测准确率和 0.83 的 F1 分数超越先前的最先进结果。此外,我们利用 CARLA 引入了一个用于动作预测的大尺度模拟数据集(CP2A)。我们的模型在该数据集上同样达到了高准确率(91%)和 F1 分数(0.91)。有趣的是,我们表明先在 CP2A 数据集上预训练我们的 Transformer 模型,再在 PIE 数据集上微调,有益于动作预测任务。最后,我们创建的“人类关注边界框”实验成功支撑了模型结果,该实验用于测试人类在无环境上下文需求下预测行人动作的能力。数据集与模型的代码见:https://github.com/linaashaji/Action_Anticipation
引用
@article{arxiv.2107.08031,
title = {Is attention to bounding boxes all you need for pedestrian action prediction?},
author = {Lina Achaji and Julien Moreau and Thibault Fouqueray and Francois Aioun and Francois Charpillet},
journal= {arXiv preprint arXiv:2107.08031},
year = {2022}
}