Odyssey 中的 CAMP：具备认证半径最大化的可证鲁棒强化学习
摘要
深度强化学习（DRL）因其在动态环境中的卓越性能而在控制和决策任务中获得了广泛采用。然而，DRL 代理容易受到噪声观测和对抗性攻击的影响，针对 DRL 系统的对抗鲁棒性的担忧已逐渐增加。近期的研究工作致力于通过为 DRL 代理在对抗性环境下所实现的回报建立严格的理论保证来解决这些鲁棒性问题。在这些方法中，策略平滑（policy smoothing）被证明是一种有效且可扩展的用于 certifying DRL 代理鲁棒性的方法。然而，现有的可证鲁棒 DRL 依赖于使用简单高斯增强训练的策略，导致在 certifiable robustness 和 certifiable return 之间存在次优的权衡。为此，我们引入了一种新颖的范式，称为 \texttt{C}ertified-r\texttt{A}dius-\texttt{M}aximizing \texttt{P}olicy（\texttt{CAMP}）训练。\texttt{CAMP}旨在增强 DRL 策略，在不损害可证鲁棒性的前提下提高实用性。通过利用从训练时统计数据中派生全局认证半径的洞察，\texttt{CAMP}构建与局部认证半径相关的代理损失，并据此优化策略。我们还引入了策略模仿（policy imitation）作为稳定 \texttt{CAMP} 训练的一种新技术。实验结果表明，\texttt{CAMP}在各种任务上显著改善了鲁棒性-回报之间的权衡。根据结果，\texttt{CAMP}可实现与基线方法相比最多两倍的认证预期回报。我们的代码已在 https://github.com/NeuralSec/camp-robust-rl 上提供。
引用
@article{arxiv.2501.17667,
title = {CAMP in the Odyssey: Provably Robust Reinforcement Learning with Certified Radius Maximization},
author = {Derui Wang and Kristen Moore and Diksha Goel and Minjune Kim and Gang Li and Yang Li and Robin Doss and Minhui Xue and Bo Li and Seyit Camtepe and Liming Zhu},
journal= {arXiv preprint arXiv:2501.17667},
year = {2025}
}
备注
Accepted to USENIX Security Symposium 2025, Seattle, WA, USA. Source code is available at Github (https://github.com/NeuralSec/camp-robust-rl) and Zenodo (https://zenodo.org/records/14729675)