FedAvg 与 FedProx 的非参数视角：超越驻点
机器学习
2022-02-16 v2 分布式、并行与集群计算
机器学习
最优化与控制
摘要
联邦学习（FL）是一种有前景的分布式学习框架，在隐私保护和降低云端计算负载方面具有巨大潜力。近期工作表明，两种被广泛采用的 FL 算法——FedAvg 与 FedProx——即便对于同质线性回归问题也无法达到全局优化目标的驻点。此外，人们担忧在存在异质性的情况下，所学到的通用模型在本地可能根本无法良好泛化。本文中，我们分析了 FedAvg 与 FedProx 的收敛性与统计效率，以应对上述两点担忧。我们的分析基于再生核 Hilbert 空间（RKHS）中的标准非参数回归，并允许异质的本地数据分布与不平衡的本地数据集。我们证明，以经验范数或 RKHS 范数度量的估计误差，通常以至多 的速率衰减，而对于有限秩核则指数衰减。在某些异质设定下，这些上界也意味着 FedAvg 与 FedProx 均达到了最优误差速率。为了进一步从解析上量化每个客户端的异质性影响，我们提出并刻画了一个新概念——联邦增益（federation gain），定义为某客户端加入 FL 后估计误差的减少量。我们发现，当数据异质性适中时，本地数据有限的客户端可从一个具有较大联邦增益的通用模型中获益。数值实验进一步证实了我们的理论发现。
引用
@article{arxiv.2106.15216,
title = {A Non-parametric View of FedAvg and FedProx: Beyond Stationary Points},
author = {Lili Su and Jiaming Xu and Pengkun Yang},
journal= {arXiv preprint arXiv:2106.15216},
year = {2022}
}