RAS-Eval：面向真实环境中 LLM 代理安全评估的全面基准
密码学与安全
2025-06-19 v1 人工智能
摘要
大型语言模型（LLM）代理在医疗和金融等关键领域的快速部署， necessitates 健全的安全框架。为解决这些代理在动态环境中缺乏标准化评估基准的问题，我们引入 RAS-Eval，一个支持仿真与真实工具执行的全面安全基准。RAS-Eval 包含 80 个测试用例和 3802 项攻击任务，映射到 11 类常见弱点枚举（CWE）类别，工具以 JSON、LangGraph 和模型上下文协议（MCP）格式实现。我们对 6 种最先进的 LLM 在多种场景下进行评估，发现显著漏洞：攻击使代理任务完成率（TCR）平均下降 36.78%，在学术环境中达到 85.65% 的成功率。值得注意的是，规模规律在安全能力方面成立，更大的模型在较小的模型中表现更佳。我们的发现揭示了真实代理部署中的关键风险，并为未来的安全研究提供了基础框架。代码和数据可在 https://github.com/lanzer-tree/RAS-Eval 获取。
引用
@article{arxiv.2506.15253,
title = {RAS-Eval: A Comprehensive Benchmark for Security Evaluation of LLM Agents in Real-World Environments},
author = {Yuchuan Fu and Xiaohan Yuan and Dongxia Wang},
journal= {arXiv preprint arXiv:2506.15253},
year = {2025}
}
备注
12 pages, 8 figures