联邦强化学习：技术、应用与开放挑战
机器学习
2023-05-12 v2 人工智能
摘要
本文对联邦强化学习(FRL)这一强化学习(RL)中新兴且有前景的领域进行了全面综述。从联邦学习(FL)与RL的教程出发，我们随后聚焦于将FRL作为一种借助FL基本思想在保护数据隐私的同时提升RL性能、具巨大潜力的新方法加以介绍。依据框架中智能体的分布特征，FRL算法可分为两类，即横向联邦强化学习(HFRL)与纵向联邦强化学习(VFRL)。我们通过公式给出各类的详细定义，从技术视角考察FRL的演进，并凸显其相对于先前RL算法的优势。此外，按应用领域（包括边缘计算、通信、控制优化与攻击检测）总结了FRL的现有工作。最后，我们描述并讨论了若干对解决FRL内部开放问题至关重要的关键研究方向。
引用
@article{arxiv.2108.11887,
title = {Federated Reinforcement Learning: Techniques, Applications, and Open Challenges},
author = {Jiaju Qi and Qihao Zhou and Lei Lei and Kan Zheng},
journal= {arXiv preprint arXiv:2108.11887},
year = {2023}
}