SafeBench：面向自动驾驶安全评估的基准平台
机器人学
2022-11-01 v4
摘要
如近期研究所示，机器智能赋能的系统易受由对抗性操纵或自然分布偏移导致的测试用例影响。这在将机器学习算法部署于现实应用时引发了巨大担忧，尤其在自动驾驶（AD）等安全关键领域。另一方面，在 naturalistic 场景上的传统 AD 测试由于安全关键场景的高维度和稀有性，需要数亿英里的驾驶里程。因此，已有若干自动驾驶评估方法被探索，但它们通常基于不同的仿真平台、安全关键场景类型、场景生成算法和驾驶路线变化。因而，尽管在自动驾驶测试上投入大量努力，在相似条件下比较和理解不同测试场景生成算法及测试机制的有效性与效率仍具挑战。在本文中，我们旨在提供首个统一平台 SafeBench，以集成不同类型的安全关键测试场景、场景生成算法以及其他如驾驶路线与环境的变化。同时，我们实现了 4 种基于深度强化学习的 AD 算法，具有 4 种输入类型（如鸟瞰图、相机），以在 SafeBench 上进行公平比较。我们发现所生成的测试场景确实更具挑战性，并观察到 AD 智能体在良性与安全关键测试场景下的性能权衡。我们相信我们用于大规模有效自动驾驶测试的统一平台 SafeBench 将推动新测试场景生成与安全 AD 算法的发展。SafeBench 可在 https://safebench.github.io 获取。
引用
@article{arxiv.2206.09682,
title = {SafeBench: A Benchmarking Platform for Safety Evaluation of Autonomous Vehicles},
author = {Chejian Xu and Wenhao Ding and Weijie Lyu and Zuxin Liu and Shuai Wang and Yihan He and Hanjiang Hu and Ding Zhao and Bo Li},
journal= {arXiv preprint arXiv:2206.09682},
year = {2022}
}
备注
Published as a conference paper at NeurIPS 2022 (Track on Datasets and Benchmarks)