通过向量量化缓解深度强化学习中的对抗扰动

近期研究表明，训练中表现良好的强化学习（RL）代理在部署时缺乏对对抗扰动的韧性。这凸显了在实际部署前构建鲁棒代理的重要性。大多数先前工作侧重于开发基于鲁棒训练的程序，以解决此问题，包括增强深度神经网络组件本身的鲁棒性，或在强大的攻击下对代理进行对抗训练。本文则研究一种基于输入转换的防御方法。具体而言，我们提出使用向量量化（Vector Quantization, VQ）的一种变体作为输入观察的转换，用于在测试期间减少对抗攻击的空间，从而使转换后的观察受到攻击的影响更小。我们的方法计算效率高，能无缝集成到对抗训练中，进一步增强 RL 代理对对抗攻击的鲁棒性。通过在多个环境中的大量实验，我们证明了将 VQ 作为输入转换有效地防御了代理观察的对抗攻击。