面向实际计算机网络的通用网络防御智能体
摘要
近期在深度强化学习中实现的自主网络防御研究,已产生能够成功防御仿真计算机网络免受网络攻击的智能体。然而,许多这些智能体需要针对不同拓扑或规模的网络进行重新训练,在实际网络中因拓扑和规模可随时间变化而难以适用。本研究引入一套新的拓扑扩展强化学习智能体 (TERLA),为防御具有不同拓扑和规模的网络提供通用性,无需重新训练。我们的方法涉及使用异构图神经网络层,生成表示所观察网络状态的固定大小潜在嵌入。该表示学习阶段与一个缩减的、固定大小的、在语义上有意义且可解释的行动空间相耦合。我们将 TERLA 应用于标准深度强化学习的近端策略优化 (PPO) 智能体模型,为减少仿真-现实差距,采用 Cyber Autonomy Gym for Experimentation (CAGE) 挑战 4。该 Cyber Operations Research Gym 环境具有现实世界网络的许多特征,如真实的入侵检测系统 (IDS) 事件以及多个防御不同拓扑和规模网络分段的智能体。TERLA 智能体在保持 vanilla PPO 智能体防御性能的同时,显示出 improved action efficiency。通过表明所有 TERLA 智能体具有相同的网络无关神经网络架构,并通过多次部署单个 TERLA 智能体来防御具有不同拓扑和规模的网络分段,从而展示了 improved 防御性能和效率,从而证明了其通用性。
引用
@article{arxiv.2511.09114,
title = {Towards a Generalisable Cyber Defence Agent for Real-World Computer Networks},
author = {Tim Dudman and Martyn Bull},
journal= {arXiv preprint arXiv:2511.09114},
year = {2025}
}
备注
Published in Proceedings of the 2025 Conference on Applied Machine Learning for Information Security: https://proceedings.mlr.press/v299/dudman25a.html