在非独立同分布联邦双层学习中实现线性加速

联邦双层优化在各种新兴机器学习与通信应用中受到越来越多的关注。近来，若干基于 Hessian-向量的算法被提出以求解联邦双层优化问题。然而，联邦学习中若干重要性质，例如部分客户端参与，以及在存在非 i.i.d. 数据集时的收敛线性加速（即收敛率与复杂度相对于采样客户端数量线性改善），仍属开放问题。本文中，我们填补这些空白，提出一种名为 FedMBO 的新联邦双层算法，在联邦超梯度估计中采用新颖的客户端采样方案。我们表明，FedMBO 在非 i.i.d. 数据集上实现 $\mathcal{O}\big(\frac{1}{\sqrt{nK}}+\frac{1}{K}+\frac{\sqrt{n}}{K^{3/2}}\big)$ 的收敛率，其中 $n$ 为每轮参与客户端数，$K$ 为总迭代次数。这是非 i.i.d. 联邦双层优化的首个理论线性加速结果。大量实验验证了我们的理论结果并证明了所提方法的有效性。