FedCL：用于同步关联用户异质性的联邦多阶段课程学习
机器学习
2023-08-29 v2 分布式、并行与集群计算
摘要
联邦学习(Federated Learning, FL)是一种用于训练机器学习算法的去中心化学习方法。在FL中，全局模型迭代地收集局部模型的参数而不访问其本地数据。然而，FL中的一个重大挑战是处理本地数据分布的异质性，这常导致难以收敛的漂移全局模型。为解决此问题，现有方法采用知识蒸馏、加权模型聚合和多任务学习等不同策略。这些方法被称为异步FL，因为它们在本地或事后对齐用户模型，而此时模型漂移已经发生或被低估。本文中，我们提出一种主动且同步的关联方法来应对FL中用户异质性的挑战。具体而言，我们的方法旨在通过动态多阶段课程在每个轮次中主动且同步地调度用户学习进度，从而将FL近似为标准深度学习。一个全局课程由在服务器端集成所有用户课程的自回归自编码器形成。该全局课程随后被划分为多个阶段并广播给用户，以度量并对齐与领域无关的学习进度。实证研究表明，即使在严重用户异质性存在的情况下，我们的方法在泛化性能上也优于现有异步方法。
引用
@article{arxiv.2211.07248,
title = {FedCL: Federated Multi-Phase Curriculum Learning to Synchronously Correlate User Heterogeneity},
author = {Mingjie Wang and Jianxiong Guo and Weijia Jia},
journal= {arXiv preprint arXiv:2211.07248},
year = {2023}
}
备注
13 pages