部分可观测下自主计算机网络防御中的对抗强化学习
机器学习
2020-08-18 v3 密码学与安全
机器学习
摘要
近期研究表明，强化学习（RL）智能体易受对抗性操控，类似于此前在监督学习设定中已证实的漏洞。尽管大多数现有工作在研究该问题时聚焦于计算机视觉或主机游戏，本文关注部分可观测下的自主网络防御中的强化学习。我们证明，在黑盒设定下——攻击者无法直接访问目标 RL 模型——因果攻击（即针对训练过程的攻击）即便在攻击者仅具有对环境的部分可观测性时，也能毒化 RL 智能体。此外，我们提出了一种反演防御方法，旨在对攻击者可能用于生成其对抗样本所施加的扰动施加相反扰动。实验结果表明，该对策能有效降低因果攻击的影响，同时在非攻击场景下不会显著影响训练过程。
引用
@article{arxiv.1902.09062,
title = {Adversarial Reinforcement Learning under Partial Observability in Autonomous Computer Network Defence},
author = {Yi Han and David Hubczenko and Paul Montague and Olivier De Vel and Tamas Abraham and Benjamin I. P. Rubinstein and Christopher Leckie and Tansu Alpcan and Sarah Erfani},
journal= {arXiv preprint arXiv:1902.09062},
year = {2020}
}
备注
8 pages, 4 figures