深度强化学习中对抗方向检测以实现鲁棒决策
机器学习
2023-06-12 v1 人工智能
密码学与安全
机器学习
摘要
得益于强化学习算法设计的诸多进展，当前已能在具有高度复杂状态表示的马尔可夫决策过程（MDP）中进行学习。然而，这种复杂度的上升，以及观测维度的增加，付出了波动性的代价，而该波动性可被对抗攻击所利用（即在观测空间中沿最坏情况方向运动）。为解决这一策略不稳定性问题，我们提出一种新方法，通过对深度神经策略损失进行局部二次逼近来检测这些非鲁棒方向的存在。我们的方法为安全观测与对抗观测之间的根本界限提供了理论基础。此外，我们的技术在计算上高效，且不依赖于产生最坏情况方向所用的方法。我们在街机学习环境（Arcade Learning Environment）中使用多种不同的对抗攻击技术进行了大量实验。最为重要的是，即便在非鲁棒方向被显式优化以规避我们所提方法的设定下，我们也展示了该方法的有效性。
引用
@article{arxiv.2306.05873,
title = {Detecting Adversarial Directions in Deep Reinforcement Learning to Make Robust Decisions},
author = {Ezgi Korkmaz and Jonah Brown-Cohen},
journal= {arXiv preprint arXiv:2306.05873},
year = {2023}
}
备注
Published in ICML 2023