可证明鲁棒的联邦强化学习

联邦强化学习（FRL）允许在中心服务器的指导下，由代理程序共同学习全局决策策略。尽管FRL具有优势，但其去中心化设计使其易受到投毒攻击。为缓解这一问题，针对FRL引入了面向拜占庭鲁棒聚合技术。然而，在本工作中，我们揭示了这些现有拜占庭鲁棒技术并不免受我们新引入的Normalized攻击的威胁。不同于针对攻击前后策略更新距离扩大而设计的以往攻击，我们的Normalized攻击强调在最大化这些更新之间的夹角方面发挥作用。为对抗这些威胁，我们开发了一种可证明安全的集成FRL方法，可抵御已知攻击以及我们新提出的攻击。我们的集成方法涉及训练多个全局策略，其中每个策略都是由一组代理使用任何基本聚合规则学习得到的。这些经过训练的全局策略随后会针对特定测试状态单独预测动作。最终动作基于离散动作系统的多数投票或连续动作系统的几何中位数进行选择。我们的实验结果在不同设置下表明，Normalized攻击可以严重干扰非集成拜占庭鲁棒方法，而我们的集成方法对投毒攻击提供了实质性的抵抗力。