Valeo4Cast：面向端到端预测的模块化方法
计算机视觉与模式识别
2024-09-27 v3 机器人学
摘要
在自动驾驶系统中，运动预测对于预测周围主体（如行人、车辆和交通信号）的未来轨迹至关重要。在端到端预测中，模型必须从传感器数据（摄像头或 LiDAR）中检测并跟踪过去轨迹，并预测它们的未来位置。我们不同于当前通过端到端训练从感知到预测来解决此任务的趋势，采用模块化方法。我们单独构建和训练检测、跟踪和预测模块。随后仅使用连续微调步骤来更好地集成模块并缓解累积误差。我们对微调策略进行深入研究，结果显示我们的方法在端到端预测基准测试中显著提升性能。因此，我们的解决方案在 Argoverse 2 端到端预测挑战中名列第一，达到 63.82 mAPf。我们在去年获奖者基础上超过 +17.1 分，在今年的亚军基础上超过 +13.3 分。这种在预测上的卓越表现可以解释为我们的模块化范式显著优于端到端训练的对手。代码、模型权重和结果已公开 https://github.com/valeoai/valeo4cast。
引用
@article{arxiv.2406.08113,
title = {Valeo4Cast: A Modular Approach to End-to-End Forecasting},
author = {Yihong Xu and Éloi Zablocki and Alexandre Boulch and Gilles Puy and Mickael Chen and Florent Bartoccioni and Nermin Samet and Oriane Siméoni and Spyros Gidaris and Tuan-Hung Vu and Andrei Bursuc and Eduardo Valle and Renaud Marlet and Matthieu Cord},
journal= {arXiv preprint arXiv:2406.08113},
year = {2024}
}
备注
Winning solution of the Argoverse 2 "Unified Detection, Tracking, and Forecasting" challenge; work accepted at Road++ ECCVW 2024