自动驾驶视觉语言模型的安全认知能力评估
计算机视觉与模式识别
2025-10-30 v3 人工智能
摘要
确保自动驾驶系统中视觉语言模型 (VLMs) 的安全至关重要，然而现有研究主要集中在常规基准测试上，而非安全关键评估。在本研究中，我们提出了 SCD-Bench (Safety Cognition Driving Benchmark)，这是一种专门设计用于评估交互式驾驶场景中 VLMs 安全认知能力的新颖框架。为了解决数据标注的可扩展性挑战，我们引入了 ADA (Autonomous Driving Annotation)，一种半自动标注系统，并由具备自动驾驶领域知识的专业人员进行专家审查以进一步优化。为了实现可扩展且一致的评估，我们还提出了一种利用大语言模型的自动化评估流水线，其与人类专家判断的一致性超过 98%。在应对将 VLMs 与驾驶环境中的安全认知相对齐这一更广泛挑战时，我们构建了 SCD-Training，这是首个针对该任务定制的大规模数据集，包含 324.35K 个高质量样本。通过大量实验，我们表明在 SCD-Training 上训练的模型不仅在 SCD-Bench 上表现出显著提升，在通用和特定领域基准测试中也同样如此，为增强自动驾驶视觉语言系统中的安全感知交互提供了新视角。
引用
@article{arxiv.2503.06497,
title = {Evaluation of Safety Cognition Capability in Vision-Language Models for Autonomous Driving},
author = {Enming Zhang and Peizhe Gong and Xingyuan Dai and Min Huang and Yisheng Lv and Qinghai Miao},
journal= {arXiv preprint arXiv:2503.06497},
year = {2025}
}