FedShuffle：联邦学习中更好利用本地工作的要诀
机器学习
2022-09-28 v3 分布式、并行与集群计算
最优化与控制
机器学习
摘要
在跨客户端聚合前执行若干本地更新的做法已被经验证明是克服联邦学习（FL）中通信瓶颈的成功途径。此类方法通常令客户端每轮执行一个或多个 epoch 的本地训练，并在每个 epoch 中随机重排其有限数据集。数据不平衡（即客户端具有不同数量的本地训练样本）在 FL 应用中无处不在，导致不同客户端每轮执行不同数量的本地更新。本工作中，我们提出一种通用要诀 FedShuffle，可更好地利用 FL 中的本地更新，尤其在此涵盖随机重排与异质性的情形下。FedShuffle 是首个具有理论收敛保证且融合随机重排、数据不平衡与客户端采样的本地更新方法——这些特征在大规模跨设备 FL 中至关重要。我们对 FedShuffle 进行了全面理论分析，并从理论与经验上表明其不受异构 FL 设定中假设同质更新的 FL 方法（如 FedAvg（McMahan 等，2017））所存在的目标函数失配影响。此外，通过组合上述要素，FedShuffle 改进了此前为解决该失配而提出的 FedNova（Wang 等，2020）。类似于 Mime（Karimireddy 等，2020），我们展示带有动量方差缩减（Cutkosky & Orabona，2019）的 FedShuffle 在 Hessian 相似假设下优于非本地方法。
引用
@article{arxiv.2204.13169,
title = {FedShuffle: Recipes for Better Use of Local Work in Federated Learning},
author = {Samuel Horváth and Maziar Sanjabi and Lin Xiao and Peter Richtárik and Michael Rabbat},
journal= {arXiv preprint arXiv:2204.13169},
year = {2022}
}
备注
Published in Transactions on Machine Learning Research (09/2022)