基于 Wasserstein 重心的异构性联邦强化学习
机器学习
2025-06-23 v1
摘要
本文首先提出一种新型算法，用于 Wasserstein 重心训练分布式深度神经网络（DNN）的模型融合。为此，我们将数据集划分为等大的部分，输入给具有相同深度神经网络的"代理人"，仅训练他们所接收数据集（即本地数据集）。在若干训练迭代后，我们执行聚合步骤，使用 Wasserstein 重心组合所有神经网络的权重参数。上述步骤构成了称为 FedWB 的所提出算法。我们利用前述过程开发了算法以解决异构性联邦强化学习（HFRL）。我们的测试实验是 CartPole toy 问题，通过改变杆的长度创建异构环境。我们在每个环境中训练深度 Q 网络（DQN）以学习控制每个小车，同时偶尔进行全局聚合步骤以概括本地模型；最终结果是一个跨越所有环境的全局 DQN。
引用
@article{arxiv.2506.15825,
title = {Heterogeneous Federated Reinforcement Learning Using Wasserstein Barycenters},
author = {Luiz Pereira and M. Hadi Amini},
journal= {arXiv preprint arXiv:2506.15825},
year = {2025}
}