StealthCup：用于基准测试IDS的现实且多阶段、混淆聚焦CTF
密码学与安全
2025-11-25 v1
摘要
入侵检测系统（IDS）是防御企业和工业控制环境中威胁的关键工具，但在现实条件下评估其有效性仍是一个开放性挑战。现有基准测试依赖于合成数据集（如NSL-KDD、CICIDS2017）或脚本化回放框架，这些框架未能捕捉自适应对手行为。即便是MITRE ATT&CK评估虽然具有影响力，但以主机为中心且假设恶意软件驱动的入侵，从而未能充分代表IT和OT领域中狡猫、多阶段的入侵。我们提出StealthCup，一种将IDS基准测试 operational化为混淆聚焦的Capture-the-Flag竞赛的新方法。专业渗透测试人员在现实的IT/OT测试环境中进行多阶段攻击链，得分惩罚IDS检测。该活动生成结构化攻击者撰写、验证的检测以及PCAP、主机日志和警报。我们的结果显示，在32个练习的攻击技术中，有11个未被任何IDS配置检测。开源系统（Wazuh、Suricata）产生的误报率>90%，而商业工具产生的误报更少但也漏检更多攻击。与Volt Typhoon APT advisory进行比较确认了其现实性：所有28个适用技术均被练习、19个出现在撰写中、9个出现在取证痕迹中。这些发现表明，StealthCup能否引发与国家赞助TTP相吻合的攻击者行为，同时暴露了开源和商业IDS两者的盲点。所得数据集和方法为未来以盲点为焦点的IDS评估提供了可重复的基础。
引用
@article{arxiv.2511.17761,
title = {StealthCup: Realistic, Multi-Stage, Evasion-Focused CTF for Benchmarking IDS},
author = {Manuel Kern and Dominik Steffan and Felix Schuster and Florian Skopik and Max Landauer and David Allison and Simon Freudenthaler and Edgar Weippl},
journal= {arXiv preprint arXiv:2511.17761},
year = {2025}
}