深度神经策略脆弱性研究

基于深度神经网络的强化学习策略对其输入中难以察觉的对抗扰动具有脆弱性，这与神经网络图像分类器的情况十分相似。近期工作提出了若干方法，通过在这些难以察觉的扰动存在下进行训练（即对抗训练）来提升深度强化学习智能体对对抗扰动的鲁棒性。本文中，我们研究对抗训练对智能体所学神经策略的影响。具体而言，我们遵循两种不同并行路径，基于最坏情况分布偏移与特征敏感性来探究对抗训练对深度神经策略的结果。第一种方法中，我们比较了对抗训练与常规训练神经策略所计算最小扰动的傅里叶频谱。通过在 OpenAI Atari 环境中的实验，我们表明对抗训练策略的最小扰动更集中于傅里叶域的低频部分，说明这些策略对低频扰动更为敏感。第二种方法中，我们提出一种衡量深度神经策略特征敏感性的新方法，并比较了最先进的对抗训练深度神经策略与常规训练深度神经策略在这些特征敏感性上的差异。我们相信，我们的结果可作为理解对抗训练与神经策略不同鲁棒性概念之间关系的初步一步。