策略平滑强化学习的奖励认证
机器学习
2023-12-13 v2 人工智能
摘要
强化学习（RL）在安全关键领域取得了显著成功，但它可能被对抗攻击削弱。近期研究引入了“平滑策略”以增强其鲁棒性。然而，为其总奖励界提供可证明的保证仍然具有挑战性。先前的方法主要依赖于利用 Lipschitz 连续性计算边界，或计算累积奖励高于特定阈值的概率。但这些技术仅适用于 RL 智能体观测上的连续扰动，且局限于由 -范数界定的扰动。为解决这些局限性，本文提出了一种通用的黑盒认证方法，能够直接认证平滑策略在各种 -范数有界扰动下的累积奖励。此外，我们将方法扩展到认证动作空间上的扰动。我们的方法利用 f-散度来衡量原始分布与扰动分布之间的差异，随后通过求解凸优化问题确定认证界。我们提供了全面的理论分析，并在多个环境中进行了充分的实验。结果表明，我们的方法不仅提高了平均累积奖励的认证下界，而且比最先进的技术表现出更好的效率。
引用
@article{arxiv.2312.06436,
title = {Reward Certification for Policy Smoothed Reinforcement Learning},
author = {Ronghui Mu and Leandro Soriano Marcolino and Tianle Zhang and Yanghao Zhang and Xiaowei Huang and Wenjie Ruan},
journal= {arXiv preprint arXiv:2312.06436},
year = {2023}
}
备注
This paper will be presented in AAAI2024