从受控到野外：面向真实环境的渗透测试智能体评估
人工智能
2026-05-12 v1 密码学与安全
摘要
AI 渗透测试智能体正逐渐成为具有威胁性的安全系统，但当前基准测试仍未能提供关于哪些系统在真实目标上表现最佳的明确指导。现有的评估协议 assess and optimize for predefined goals，如夺旗赛、远程代码执行、漏洞复现或轨迹相似性，仅在简化或狭窄的环境中进行。这些工具虽然有助于衡量受限能力，但未能充分捕捉真实渗透测试中所需的复杂性、开放性探索与战略决策。本文提出了实用的评估协议，将评估重点从任务完成转向经过验证的漏洞发现，允许在覆盖多个攻击面和漏洞类型的足够复杂目标上进行评估。该协议结合结构化真实答案与基于 LLM 的语义匹配，以识别漏洞；采用二分解析对现实模糊情形下的查找结果进行评分；维持持续的真实答案；对随机智能体进行重复与累积评估；包含效率指标；以及采用精简套件进行可持续实验。该协议扩展了当前研究的前沿，使AI 渗透测试智能体的比较更加真实且具有操作意义。为确保可复现性，我们还发布了专家标注的真实答案及用于该评估协议的代码：https://github.com/jd0965199-oss/ethibench。
关键词
引用
@article{arxiv.2605.10834,
title = {From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World},
author = {Pedro Conde and Henrique Branquinho and Valerio Mazzone and Bruno Mendes and André Baptista and Nuno Moniz},
journal= {arXiv preprint arXiv:2605.10834},
year = {2026}
}