COPA：针对离线强化学习抵御投毒攻击的鲁棒策略认证
机器学习
2022-03-17 v1 密码学与安全
摘要
随着强化学习(RL)在多种任务中取得接近人类水平的表现，其鲁棒性引起了极大关注。尽管大量研究探讨了 RL 中的测试时(规避)攻击及相应防御，但其对训练时(投毒)攻击的鲁棒性在很大程度上仍未被解答。在本工作中，我们关注在存在投毒攻击的情况下认证离线 RL 的鲁棒性，其中部分训练轨迹可能被任意篡改。我们提出了首个认证框架 COPA，以针对不同认证准则认证可容忍的投毒轨迹数量。鉴于 RL 的复杂结构，我们提出了两个认证准则：逐状态动作稳定性与累积奖励界。为进一步提升认证能力，我们提出了新的划分与聚合协议来训练鲁棒策略。我们进一步证明部分所提认证方法在理论上是紧的，部分为 NP-Complete 问题。我们利用 COPA 对采用不同算法训练的三种 RL 环境进行认证，并得出：(1) 所提的鲁棒聚合协议(如时间聚合)可显著提升认证效果；(2) 我们对逐状态动作稳定性与累积奖励界的认证均高效且紧；(3) 不同训练算法与环境的认证结果不同，暗示其内在的鲁棒性属性。所有实验结果见 https://copa-leaderboard.github.io。
引用
@article{arxiv.2203.08398,
title = {COPA: Certifying Robust Policies for Offline Reinforcement Learning against Poisoning Attacks},
author = {Fan Wu and Linyi Li and Chejian Xu and Huan Zhang and Bhavya Kailkhura and Krishnaram Kenthapadi and Ding Zhao and Bo Li},
journal= {arXiv preprint arXiv:2203.08398},
year = {2022}
}
备注
Published as a conference paper at ICLR 2022