具有局部与全局下层问题的通信高效联邦双层优化

双层优化近期取得显著进展，涌现出高效的新算法。然而其在联邦学习设定中的应用仍相对未被充分探索，且联邦学习固有挑战对双层算法收敛性的影响尚不明晰。本工作中，我们研究联邦双层优化问题并提出一种通信高效算法，名为FedBiOAcc。该算法在分布式设定下利用对超梯度的高效估计，并采用基于动量的方差缩减加速。值得注意的是，FedBiOAcc实现了通信复杂度$O(\epsilon^{-1})$、采样复杂度$O(\epsilon^{-1.5})$，以及相对于客户端数量的线性加速。我们还分析了联邦双层优化问题的一个特例，其中下层问题由客户端本地管理。我们证明，FedBiOAcc的改进版本FedBiOAcc-Local对此类问题以相同速率收敛。最后，我们通过两个真实任务验证所提算法：联邦数据清洗与联邦超表示学习。实证结果显示我们的算法具有优越性能。