为自治网络智能体启用网络 AI 训练场
人工智能
2023-04-05 v1
摘要
本工作旨在通过应用强化学习和深度强化学习（RL/DRL）来实现网络网络作战（CyOps）的自治智能体。所需的 RL 训练环境尤其具有挑战性，因为它必须平衡高保真度（最好通过真实网络仿真实现）与运行大量训练回合（最好通过仿真实现）的需求。我们开发了一个统一的训练环境，即用于智能学习的网络训练场（CyGIL），其中仿真的 CyGIL-E 自动生成模拟的 CyGIL-S。从初步实验结果看，CyGIL-S 能够在数分钟内训练智能体，而 CyGIL-E 需要数天。在 CyGIL-S 中训练的智能体可直接迁移到 CyGIL-E，在仿真的“真实”网络中展现出完整的决策能力。通过支持离线 RL，CyGIL 方案为利用真实世界网络中的 RL 智能体提供了一条有前景的 sim-to-real（仿真到现实）方向。
引用
@article{arxiv.2304.01366,
title = {Enabling A Network AI Gym for Autonomous Cyber Agents},
author = {Li Li and Jean-Pierre S. El Rami and Adrian Taylor and James Hailing Rao and Thomas Kunz},
journal= {arXiv preprint arXiv:2304.01366},
year = {2023}
}
备注
To appear in Proceedings of the 2022 International Conference on Computational Science and Computational Intelligence