IS-Bench：评估基于视觉语言模型驱动的嵌入式智能体在日常家庭任务中的交互式安全性
人工智能
2025-12-08 v3 计算与语言
计算机视觉与模式识别
机器学习
机器人学
摘要
基于视觉语言模型驱动的嵌入式智能体进行错误规划会引发重大安全风险，阻碍其在实际家庭任务中的部署。然而，现有的静态、非交互式评估范式无法充分评估这些交互式环境中的风险，由于它们无法模拟源于智能体行为而产生的动态风险，并依赖不可靠的事后评估，忽略不安全的中间步骤。为弥合这一关键差距，我们提出评估智能体的交互式安全性：其感知突发风险并按正确程序顺序执行缓解措施的能力。因此，我们提出 IS-Bench，首个用于交互式安全性评估的多模态基准，包含 161 个具有挑战性的情景，涉及 388 个独特安全风险，嵌入高保真模拟器中。关键在于，它促进了一种以过程为导向的评估，验证风险缓解动作是在/前后是否在特定风险易感步骤之后执行。对领先视觉语言模型（包括 GPT-4o 和 Gemini-2.5 系列）进行大规模实验，揭示当前智能体缺乏交互式安全意识，安全意识链思（Chain-of-Thought）虽可提升表现，但往往牺牲任务完成度。通过凸显这些关键局限性，IS-Bench 为开发更安全更可靠的嵌入式人工智能系统提供了基础。代码和数据已发布于 https://github.com/AI45Lab/IS-Bench。
引用
@article{arxiv.2506.16402,
title = {IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks},
author = {Xiaoya Lu and Zeren Chen and Xuhao Hu and Yijin Zhou and Weichen Zhang and Dongrui Liu and Lu Sheng and Jing Shao},
journal= {arXiv preprint arXiv:2506.16402},
year = {2025}
}