带微调的 FedAvg：局部更新导致表示学习
机器学习
2022-05-30 v1
摘要
联邦平均（Federated Averaging, FedAvg）算法由客户端节点上若干局部随机梯度更新、随后服务器端模型平均更新交替进行构成，或许是联邦学习中最常用的方法。尽管简单，若干实证研究已表明 FedAvg 的输出模型经少量微调步骤后，能很好地泛化至新的未见任务。然而，这一简单方法令人惊讶的性能尚未从理论角度被充分理解。在本文中，我们在多任务线性表示设定下正式研究该现象。我们表明 FedAvg 输出具备可泛化性的原因在于其通过局部更新利用客户端数据分布间的多样性，学习了客户端任务间的公共数据表示。我们在底层共享表示为线性映射的设定下，正式确立了客户端证明该结果所需的迭代复杂度。据我们所知，这是任一设定下的首个此类结果。我们还提供了实证证据，证明 FedAvg 在异质数据联邦图像分类中的表示学习能力。
引用
@article{arxiv.2205.13692,
title = {FedAvg with Fine Tuning: Local Updates Lead to Representation Learning},
author = {Liam Collins and Hamed Hassani and Aryan Mokhtari and Sanjay Shakkottai},
journal= {arXiv preprint arXiv:2205.13692},
year = {2022}
}