构建用于评估人工智能/机器学习(AI/ML)安全工具的赛博靶场

在本案例研究中，我们描述了位于美国田纳西州橡树岭的橡树岭国家实验室的网络安全测试床的设计与组装。该靶场旨在提供敏捷重配置，以促进各类网络安全工具——尤其是涉及AI/ML的工具——评估实验。特别地，该测试床提供真实测试环境，同时允许在实验中进行控制与程序化观测/数据收集。我们设计了可重复评估的能力，以便后续评估并比较额外工具。该系统可随实验规模伸缩。至会议时，我们将在此靶场上完成两项全规模国家级政府挑战。这些挑战正在评估基于AI/ML的网络安全工具应用于大型政府级网络的性能与运行成本。我们将描述这些评估作为示例，为所作各种设计决策与适配提供动机与背景。第一项挑战针对10万文件样本（良性软件与恶意软件）测量端点安全工具，样本跨多种文件类型选取。第二项挑战评估网络入侵检测系统在高容量商业网络中识别多步对抗性活动（含侦察、渗透与利用、横向移动等）且隐蔽程度各异时的效能。每项挑战的规模都要求自动化系统对受测各ML工具重复或同步镜像相同实验。提供由易到难的恶意活动阵列以甄别AI/ML工具真实能力，是设计与执行这些挑战事件的尤其有趣且困难的方面。