论异构数据下联邦平均算法不合常理的有效性
机器学习
2022-06-13 v1
摘要
现有理论预测数据异构性会降低联邦学习中联邦平均（FedAvg）算法的性能。然而在实践中，简单的 FedAvg 算法收敛得非常好。本文解释了与先前理论预测相悖的 FedAvg 看似不合常理的有效性。我们发现，先前理论分析中梯度异象有界的假设过于悲观，无法刻画实际应用中的数据异构性。对于一个简单的二次问题，我们证明存在这样的区间：其中较大的梯度异象不会对 FedAvg 的收敛产生任何负面影响。受此观察启发，我们提出一个新量——最优处平均漂移（average drift at optimum），用以度量数据异构性的影响，并显式地用它给出 FedAvg 的新理论分析。我们表明，在许多真实世界的联邦训练任务中，最优处平均漂移近乎为零，而梯度异象可能很大。我们的新分析表明，FedAvg 在同构与异构数据设置下可具有相同的收敛速率，从而有助于更好地理解其经验成功。
引用
@article{arxiv.2206.04723,
title = {On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data},
author = {Jianyu Wang and Rudrajit Das and Gauri Joshi and Satyen Kale and Zheng Xu and Tong Zhang},
journal= {arXiv preprint arXiv:2206.04723},
year = {2022}
}