软件定义网络中用于网络安全的对抗深度强化学习
密码学与安全
2023-08-15 v2 人工智能
摘要
本文关注在深度强化学习(DRL)中利用自主进攻方法,通过探索将对抗学习应用于 DRL 以用于软件定义网络(SDN)中自主安全的影响,从而训练更鲁棒的智能体。比较了两种算法:Double Deep Q-Networks (DDQN) 与 Neural Episodic Control to Deep Q-Network (NEC2DQN 或 N2D)。NEC2DQN 于 2018 年提出,是深度 Q 网络(DQN)算法家族的新成员。攻击者具有对环境的完全可观测性,并可访问一种利用状态操纵试图毒化学习过程的因果性攻击。该攻击在白盒设定下实施,攻击者拥有对防御者模型与经验的访问权。进行了两局博弈:第一局中 DDQN 为防御者、N2D 为攻击者;第二局中角色互换。每局博弈进行两次:第一次无主动因果性攻击,第二次有主动因果性攻击。执行时记录三组博弈结果,每组由 10 次博弈运行构成。随后比较前后结果以观察是否确有改善或退化。结果表明,对算法做微小参数改动后,攻击者角色有所增强,因其能够赢得博弈。通过引入因果性攻击实现的对抗学习表明,算法仍能依据自身优势防御网络。
引用
@article{arxiv.2308.04909,
title = {Adversarial Deep Reinforcement Learning for Cyber Security in Software Defined Networks},
author = {Luke Borchjes and Clement Nyirenda and Louise Leenen},
journal= {arXiv preprint arXiv:2308.04909},
year = {2023}
}