超越CAGE：探究学习型自主网络防御策略的泛化能力
机器学习
2022-12-01 v2 密码学与安全
摘要
强化学习的进展激发了网络防御智能自动化的新方向。然而，许多进展要么超前于其在网络安全中的应用，要么未考虑在现实环境中实施所面临的挑战。为理解这些问题，本工作评估了在第二届CAGE挑战赛中实现的几种强化学习方法，该挑战赛是一项在高保真网络模拟器中构建自主网络防御智能体的公开竞赛。我们的方法均基于近端策略优化（PPO）算法族，包括分层强化学习、动作掩码、自定义训练和集成强化学习。我们发现集成强化学习技术表现最强，优于我们的其他模型，并在竞赛中获得第二名。为理解其在真实环境中的适用性，我们评估了每种方法对未见过的网络和未知攻击策略的泛化能力。在未见过的环境中，我们所有方法的表现均下降，且退化程度因环境变化类型而异。面对未知的攻击者策略，我们发现即使新策略比模型训练时所用的策略效率更低，模型的整体性能仍然下降。这些结果共同凸显了现实世界自主网络防御有前景的研究方向。
引用
@article{arxiv.2211.15557,
title = {Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies},
author = {Melody Wolk and Andy Applebaum and Camron Dennler and Patrick Dwyer and Marina Moskowitz and Harold Nguyen and Nicole Nichols and Nicole Park and Paul Rachwalski and Frank Rau and Adrian Webster},
journal= {arXiv preprint arXiv:2211.15557},
year = {2022}
}
备注
NeurIPS 2022 Workshop: Reinforcement Learning for Real Life