MacFormer:面向实时鲁棒轨迹预测的地图-智能体耦合 Transformer
计算机视觉与模式识别
2024-01-19 v2 机器人学
摘要
预测智能体未来的行为是自动驾驶车辆领域的一项基础任务。准确的预测依赖于对周边地图的理解,地图对智能体行为具有显著的约束作用。然而,现有方法在利用地图方面存在局限,且对历史轨迹表现出强烈依赖,导致预测性能与鲁棒性不佳。此外,其沉重的网络架构阻碍了实时应用。为解决这些问题,我们提出了地图-智能体耦合 Transformer(MacFormer)用于实时鲁棒轨迹预测。我们的框架通过两个精心设计的模块——耦合地图与参考提取器,将地图约束显式地引入网络。提出了一种新颖的多任务优化策略(MTOS)以增强对拓扑与规则约束的学习。我们还在上下文融合中设计了双边查询方案,以构建更高效轻量的网络。我们在 Argoverse 1、Argoverse 2 和 nuScenes 真实世界基准上评估了该方法,其均以最低推理延迟与最小模型尺寸取得了最先进的性能。实验还表明,我们的框架对不完美的轨迹片段输入具有韧性。进一步,我们展示了结合我们所提策略后,经典模型优于其基线,验证了框架的通用性。
引用
@article{arxiv.2308.10280,
title = {MacFormer: Map-Agent Coupled Transformer for Real-time and Robust Trajectory Prediction},
author = {Chen Feng and Hangning Zhou and Huadong Lin and Zhigang Zhang and Ziyao Xu and Chi Zhang and Boyu Zhou and Shaojie Shen},
journal= {arXiv preprint arXiv:2308.10280},
year = {2024}
}
备注
Accepted by IEEE Robotics and Automation Letters. 8 Pages, 9 Figures, 9 Tables. Video: https://www.youtube.com/watch?v=XY388iI6sPQ