中文

Bench2Drive:迈向闭环端到端自动驾驶的多能力基准测试

机器人学 2024-11-28 v3 计算机视觉与模式识别

摘要

在基础模型快速扩展的时代,自动驾驶技术正接近一个变革性的门槛,端到端自动驾驶因其在数据驱动方式下扩展的潜力而崭露头角。然而,现有的端到端自动驾驶方法大多在开环日志回放方式下进行评估,使用L2误差和碰撞率作为指标(例如在nuScenes中),这不能完全反映算法的驾驶性能,这一点最近已在社区中得到认可。对于那些在闭环协议下评估的端到端自动驾驶方法,它们在固定路线(例如CARLA中的Town05Long和Longest6)上进行测试,使用驾驶分数作为指标,该指标因指标函数不平滑和长路线中的大随机性而具有高方差。此外,这些方法通常收集自己的数据进行训练,这使得算法层面的公平比较变得不可行。为了满足全自动驾驶对全面、真实和公平测试环境的迫切需求,我们提出了Bench2Drive,这是第一个以闭环方式评估端到端自动驾驶系统多种能力的基准。Bench2Drive的官方训练数据包含200万个完全标注的帧,收集自13638个短片段,这些片段均匀分布在CARLA v2中的44种交互场景(切入、超车、绕行等)、23种天气(晴天、雾天、雨天等)和12个城镇(城市、村庄、大学等)中。其评估协议要求端到端自动驾驶模型在不同地点和天气下通过44种交互场景,总计220条路线,从而对其在不同情况下的驾驶能力提供全面且解耦的评估。我们实现了最先进的端到端自动驾驶模型,并在Bench2Drive上进行了评估,提供了关于当前状态和未来方向的见解。

关键词

引用

@article{arxiv.2406.03877,
  title  = {Bench2Drive: Towards Multi-Ability Benchmarking of Closed-Loop End-To-End Autonomous Driving},
  author = {Xiaosong Jia and Zhenjie Yang and Qifeng Li and Zhiyuan Zhang and Junchi Yan},
  journal= {arXiv preprint arXiv:2406.03877},
  year   = {2024}
}

备注

Accepted by NeurIPS 2024 Datasets and Benchmarks Track. Official Repo: https://github.com/Thinklab-SJTU/Bench2Drive