面向自主网络智能体的统一仿真-模拟训练环境
机器学习
2023-04-05 v1 人工智能
密码学与安全
摘要
自主网络智能体可通过应用强化学习与深度强化学习（RL/DRL）来开发，其中智能体在具有代表性的环境中训练。训练环境必须高保真地模拟智能体旨在探索的网络网络作战（CyOp）。鉴于网络CyOp的复杂性，良好的模拟器难以实现。本工作提出一种系统化方案，在面向智能学习的网络靶场（CyGIL）中自动生成高保真模拟器。通过表示学习与持续学习，CyGIL提供了一个统一的CyOp训练环境，其中仿真版CyGIL-E自动生成模拟版CyGIL-S。模拟器生成与智能体训练过程相集成，以进一步减少所需的智能体训练时间。在CyGIL-S中训练的智能体可直接迁移至CyGIL-E，展现出向仿真版“真实”网络的完全可迁移性。实验结果展示了CyGIL的训练性能。通过支持离线RL，CyGIL方案为实现真实世界网络中对RL智能体的利用提供了一条有前景的sim-to-real（模拟到现实）路径。
引用
@article{arxiv.2304.01244,
title = {Unified Emulation-Simulation Training Environment for Autonomous Cyber Agents},
author = {Li Li and Jean-Pierre S. El Rami and Adrian Taylor and James Hailing Rao and Thomas Kunz},
journal= {arXiv preprint arXiv:2304.01244},
year = {2023}
}
备注
To be published in the Proceedings of the 5th International Conference on Machine Learning for Networking (MLN'2022)