NuRisk：面向自动驾驶中智能体级风险评估的视觉问答数据集
人工智能
2026-04-21 v2
摘要
理解自动驾驶中的风险不仅需要感知和预测，还需要对智能体行为和上下文进行高级推理。当前基于视觉语言模型 (VLM) 的方法主要将智能体置于静态图像中并提供定性判断，缺乏捕捉风险随时间演变所需的时空推理能力。为了填补这一空白，我们提出了 NuRisk，一个综合性的视觉问答 (VQA) 数据集，包含 2.9K 个场景和 1.1M 个智能体级样本，基于 nuScenes 和 Waymo 的真实世界数据构建，并补充了来自 CommonRoad 仿真器的安全关键场景。该数据集提供基于鸟瞰图 (BEV) 的序列图像以及定量的、智能体级的风险标注，从而实现时空推理。我们对知名的 VLM 在不同提示技术下进行了基准测试，发现它们无法执行显式的时空推理，导致在较高延迟下准确率最高仅为 33%。为了解决这些缺陷，我们微调的 7B VLM 智能体将准确率提升至 41%，并将延迟降低了 75%，展现了专有模型所缺乏的显式时空推理能力。尽管这代表了向前迈出的重要一步，但有限的准确率突显了该任务的严峻挑战，从而确立了 NuRisk 作为推进自动驾驶时空推理的关键基准。更多信息请访问 https://github.com/TUM-AVS/NuRisk。
引用
@article{arxiv.2509.25944,
title = {NuRisk: A Visual Question Answering Dataset for Agent-Level Risk Assessment in Autonomous Driving},
author = {Yuan Gao and Mattia Piccinini and Roberto Brusnicki and Yuchen Zhang and Johannes Betz},
journal= {arXiv preprint arXiv:2509.25944},
year = {2026}
}
备注
2026 IEEE International Conference on Robotics and Automation (ICRA)