具有理论保证的容错联邦强化学习
机器学习
2022-11-04 v2 人工智能
摘要
日益增长的联邦学习文献最近启发了联邦强化学习，以鼓励多个智能体在不共享原始轨迹的情况下联合构建更好的决策策略。尽管有前景的应用，现有关于FRL的工作未能I)提供其收敛性的理论分析，以及II)考虑随机系统故障和对抗性攻击。为此，我们提出了第一个FRL框架，其收敛性得到保证，并且能够容忍少于一半的参与智能体出现随机系统故障或对抗性攻击。我们证明了所提框架的样本效率随智能体数量增加而提高，并且能够考虑此类潜在故障或攻击。所有理论结果在各种RL基准任务上得到了经验验证。
引用
@article{arxiv.2110.14074,
title = {Fault-Tolerant Federated Reinforcement Learning with Theoretical Guarantee},
author = {Flint Xiaofeng Fan and Yining Ma and Zhongxiang Dai and Wei Jing and Cheston Tan and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2110.14074},
year = {2022}
}
备注
Published at NeurIPS 2021. Extended version with proofs and additional experimental details and results. New version changes: reduced file size of figures; added a diagram illustrating the problem setting; added link to code on GitHub; modified proof for Theorem 6 (highlighted in red)