AgentHarm：衡量 LLM Agent 恶性行为的基准
机器学习
2025-04-21 v3 人工智能
计算与语言
摘要
LLM 对抗越狱攻击的鲁棒性（即用户设计提示以规避安全措施并滥用模型能力）主要针对作为简单聊天机器人工作的 LLM。而 LLM Agent —— 使用外部工具并可执行多阶段任务的 LLM —— 可能在被滥用时构成更大风险，但其鲁棒性仍未得到充分探索。为促进 LLM Agent 滥用研究，我们提出了一个新的基准测试，称为 AgentHarm。该基准包括 110 项明确恶意的 agent 任务（包含 440 个数据增强版本），覆盖 11 个危害类别，包括欺诈、网络犯罪和骚扰。除衡量模型是否拒绝有害的 agentic 请求外，成功的得分还要求被越狱的 agent 能够在攻击后维持其能力以完成多步骤任务。我们评估了多位领先的 LLM，发现：（1）领先的 LLM 在未进行越狱的情况下对恶意 agent 请求竟然表现出惊人的顺从性；（2）简单的通用越狱模板可被有效地适应以越狱 agent；（3）这些越狱方式使得 agent 能够执行连贯且恶意的多步骤行为，并保留模型能力。为简便可靠地评估 LLM 基于 agent 的攻击与防御，我们在 https://huggingface.co/datasets/ai-safety-institute/AgentHarm 公开发布了 AgentHarm。
引用
@article{arxiv.2410.09024,
title = {AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents},
author = {Maksym Andriushchenko and Alexandra Souly and Mateusz Dziemian and Derek Duenas and Maxwell Lin and Justin Wang and Dan Hendrycks and Andy Zou and Zico Kolter and Matt Fredrikson and Eric Winsor and Jerome Wynne and Yarin Gal and Xander Davies},
journal= {arXiv preprint arXiv:2410.09024},
year = {2025}
}
备注
Accepted at ICLR 2025