用于可证明鲁棒强化学习的策略平滑
机器学习
2022-05-31 v3
摘要
对深度神经网络（DNNs）可证明对抗鲁棒性的研究主要集中于图像分类等静态监督学习任务。然而，DNNs 已广泛用于强化学习（RL）等现实自适应任务，使得此类系统同样易受对抗攻击。已有的 RL 可证明鲁棒性工作试图利用静态场景下的方法，在每个时间步针对非自适应对手证明受害策略的行为。但在现实世界中，RL 对手可通过观测先前时间步的状态、动作等推断受害智能体的防御策略，并自我调整以在后续步骤中产生更强攻击。我们提出了一种高效流程，专为防御自适应 RL 对手设计，可直接证明总奖励而无需策略在每个时间步均鲁棒。我们的主要理论贡献是证明了 Neyman-Pearson 引理的自适应版本——这是基于平滑证书的关键引理——其中特定时刻的对抗扰动可以是当前与先前观测和状态以及先前动作的随机函数。基于此结果，我们提出策略平滑，即智能体在每个时间步将高斯噪声加入其观测，再传入策略函数。我们的鲁棒性证书保证即便中间时间步的动作在攻击下可能改变，策略平滑所获得的最终总奖励仍高于某阈值。我们在 Cartpole、Pong、Freeway 和 Mountain Car 等多种环境中的实验表明，我们的方法在实践中可提供有意义的鲁棒性保证。
引用
@article{arxiv.2106.11420,
title = {Policy Smoothing for Provably Robust Reinforcement Learning},
author = {Aounon Kumar and Alexander Levine and Soheil Feizi},
journal= {arXiv preprint arXiv:2106.11420},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022