FedHQL：联邦异构 Q 学习
机器学习
2023-01-27 v1 分布式、并行与集群计算
摘要
联邦强化学习（FedRL）鼓励分布式智能体从彼此的经验中集体学习，以在不交换原始轨迹的情况下提升性能。现有 FedRL 工作假设所有参与智能体是同质的，即要求所有智能体共享相同的策略参数化（例如网络架构与训练配置）。然而，在真实应用中，智能体常对架构与参数存在分歧，也可能由于不同的计算预算而如此。由于同质性在实践中并不具备，我们引入了具有异构且黑盒智能体的联邦强化学习（FedRL-HALE）问题设定。我们提出了这一新设定带来的独特挑战，并提出了联邦异构 Q 学习（FedHQL）算法，从原理上应对这些挑战。我们通过标准 RL 任务实证展示了 FedHQL 在提升具有不同策略参数化的异构智能体样本效率方面的有效性。
引用
@article{arxiv.2301.11135,
title = {FedHQL: Federated Heterogeneous Q-Learning},
author = {Flint Xiaofeng Fan and Yining Ma and Zhongxiang Dai and Cheston Tan and Bryan Kian Hsiang Low and Roger Wattenhofer},
journal= {arXiv preprint arXiv:2301.11135},
year = {2023}
}
备注
Preprint. Under review