CTFusion：一个基于CTF的大语言模型智能体评估基准
机器学习
2026-05-13 v1 密码学与安全
摘要
大语言模型（LLMs）的最新进展使得能够执行复杂多步任务的智能体系统成为可能；网络安全正成为一个突出的应用领域。为了评估此类智能体，研究人员广泛采用夺旗赛（CTF）基准。然而，当前的CTF基准重复使用现有挑战，这使其面临数据污染和潜在作弊的风险。值得注意的是，我们通过将网络搜索工具集成到现有智能体中，在实践中证实了这些问题。为了解决这些局限性，我们提出了CTFusion，一个构建在实时CTF之上的流式评估框架。为实现此目标，CTFusion在单个团队账户下保持每个智能体的独立性，并通过仅转发每个挑战的第一个正确旗帜来减少竞争影响。此外，我们在广泛使用的CTFd平台上将CTFusion实现为一个模型上下文协议（MCP）服务器，这为多样的CTF赛事和智能体类型提供了广泛的适用性。通过对三种大语言模型、两种智能体和五场实时CTF的实验，我们证明现有的CTF基准在评估基于LLM的智能体时可能不可靠，而CTFusion可以作为评估网络安全智能体的鲁棒解决方案。我们将CTFusion开源，以促进该领域的未来研究。
引用
@article{arxiv.2605.11504,
title = {CTFusion: A CTF-based Benchmark for LLM Agent Evaluation},
author = {Dongjun Lee and Ga-eun Bae and Insu Yun},
journal= {arXiv preprint arXiv:2605.11504},
year = {2026}
}
备注
14 pages, 8 figures