超越最坏情况攻击：基于非支配策略的自适应防御鲁棒强化学习

鉴于强化学习 (RL) 在各种现实世界应用中取得的巨大成功，大量研究致力于确保 RL 策略在测试阶段能够抵御对抗性攻击。当前方法主要围绕求解极小极大问题以应对潜在的最坏情况场景。虽然这些方法能有效抵御强攻击，但在无攻击或仅存在弱攻击的情况下往往会牺牲性能。为解决这一问题，我们在公认的状态对抗攻击模型下研究策略鲁棒性，将关注点扩展到仅最坏情况攻击之外。我们首先将测试阶段的此任务形式化为遗憾最小化问题，并确立了当基线策略来自一般连续策略类 $\Pi$ 时，实现次线性遗憾的内在难度。这一发现促使我们在测试前\textit{细化}基线策略类 $\Pi$，旨在有限策略类 $\Tilde{\Pi}$ 内实现高效适应，这可借助对抗性多臂老虎机子程序。鉴于小型有限 $\Tilde{\Pi}$ 的重要性，我们提出了一种新颖的训练时算法，以迭代发现\textit{非支配策略}，从而形成近优且最小的 $\Tilde{\Pi}$，进而确保鲁棒性和测试时效率。在 Mujoco 上的实证验证证实了我们的方法在自然性能、鲁棒性能以及对各种攻击场景的适应性方面的优越性。