代理崩溃：充满善意的道路通向地狱

使用计算机和 Web 的智能体不可避免地会遇到错误：网页不可访问、文件缺失、本地和远程配置错误等。这些错误并未挫败基于最先进模型的智能体。它们会帮助智能体继续寻找完成任务的办法。我们提出、描述并度量一种新的代理故障类型，我们称之为\emph{意外崩溃}：在无对抗性输入的情况下，对恶意环境错误的不安全或有害反应。由于崩溃不被现有的可靠性或安全基准捕获，我们开发了崩溃行为的分类学。随后，我们实现了一个代理无关的基础设施，用于注入模拟的本地和远程错误到 rollout 环境中，并用于系统性评估由 GPT、Grok 和 Gemini 提供动力的智能体系统。我们的评估表明，在遇到模拟错误的 64.7% 的代理 rollout 中发生崩溃（例如进行未经授权的侦察或破坏访问控制），其严重程度和成功率各不相同。在超过半数的崩溃中，未向用户报告不安全行为。与没有错误的相同代理进行比较，我们发现对错误的探索与不安全和有害行为相关。