面向AI网络安全教育的大语言模型 -- 可扩展的智能体级CTF设计原则与教育成果
软件工程
2026-04-01 v2
摘要
大型语言模型正在迅速改变学习者获取和展示网络安全技能的方式。然而，在允许人类--AI协作的情况下，教育者仍缺乏经过验证的竞赛设计和评估实践，这些设计和实践公平且基于证据。在本文中，我们进行了跨区域的LLM中心化Capture-the-Flag竞赛研究，基于Cyber Security Awareness Week竞赛系统构建。为了理解自主性水平和参与者知识背景如何影响问题解决性能和学习相关行为，我们正式化了三个自主性水平：人类在环、自主智能体框架和混合。在实现验证方面，我们要求可追溯的提交，包括对话日志、智能体轨迹和智能体代码。我们分析覆盖教室轨道、标准轨道和一年期专家轨道的多区域竞赛数据，这些轨道分别针对不同知识背景的参与者。在2025年竞赛数据方面，我们比较了不同自主性水平和挑战类别中的解答性能，发现自主智能体框架和混合在需要迭代测试和工具交互的挑战中实现了更高的完成率。在教室轨道中，我们对参与者的智能体设计进行了分类，发现他们倾向于选择轻量级、工具增强的提示和反思式重试，而非复杂的多智能体架构。我们的结果为设计作为学习技术的LLM协助网络安全竞赛提供了可操作的指导，包括特定于自主性的评分标准、支持解决方案验证的证据要求，以及改善可访问性同时保持可靠评估和参与度的轨道结构。
引用
@article{arxiv.2603.21551,
title = {AI In Cybersecurity Education -- Scalable Agentic CTF Design Principles and Educational Outcomes},
author = {Haoran Xi and Minghao Shao and Kimberly Milner and Venkata Sai Charan Putrevu and Nanda Rani and Meet Udeshi and Prashanth Krishnamurthy and Brendan Dolan-Gavitt and Siddharth Garg and Sandeep Kumar Shukla and Farshad Khorrami and Alon Hillel-Tuch and Muhammad Shafique and Ramesh Karri},
journal= {arXiv preprint arXiv:2603.21551},
year = {2026}
}