基于自适应双智能体强化学习的异构性感知个性化联邦学习
机器学习
2025-01-29 v1 人工智能
摘要
联邦学习（FL）使多个客户端能够在不共享本地数据的情况下协同训练机器学习模型，因而在异构的物联网（IoT）环境中具有高度适用性。然而，客户端模型架构和计算能力的内在异构性常常导致模型精度损失和难以克服的缓慢者问题，这显著损害了训练效果。为解决这些挑战，本文提出一种新方法——通过多级强化学习（RL）机制的异构性感知个性化联邦学习方法，称为 HAPFL。HAPFL 通过三个战略性组件进行优化训练过程：1）基于 RL 的异构模型分配机制。参数服务器采用基于 PPO 的 RL 智能体来根据客户端性能自适应分配 appropriately 大小、差异化的模型，从而有效缓解性能差异。2）基于 RL 的训练强度调整方案。参数服务器利用另一个 PPO 基于 RL 的智能体动态微调每个客户端的训练强度，以进一步提高训练效率并减少缓慢者延迟。3）基于知识蒸馏的相互学习机制。每个客户端部署一个异构本地模型和一个称为 LiteModel 的均匀轻量模型，其中这些模型通过知识蒸馈进行相互学习。这种统一的 LiteModel 在聚合和共享全局知识方面发挥关键作用，显著提高了个性化本地训练的效果。跨越多个基准数据集的实验结果表明，HAPFL 不仅实现了高精度，而且在训练时间上缩短了 20.9%-40.4%，将缓慢者延迟降低 19.0%-48.0%。
引用
@article{arxiv.2501.16966,
title = {Heterogeneity-aware Personalized Federated Learning via Adaptive Dual-Agent Reinforcement Learning},
author = {Xi Chen and Qin Li and Haibin Cai and Ting Wang},
journal= {arXiv preprint arXiv:2501.16966},
year = {2025}
}