去中心化非凸复合型联邦学习：基于梯度跟踪与动量

去中心化联邦学习（DFL）消除了传统联邦学习中依赖服务器-客户端架构的局限，近年来吸引了广泛关注。同时，机器学习任务中的目标函数常为非凸且经常包含额外的、可能非光滑的正则化项以满足实际需求，从而形成非凸复合优化问题。将 DFL 方法应用于求解此类通用优化问题，导致去中心化非凸复合型联邦学习（DNCFL）的提出，而这一主题仍然鲜有探讨。本文提出一种新型 DNCFL 算法，称为 DEPOSITUM。基于proximal stochastic gradient tracking，DEPOSITUM 通过使客户端能够逼近全局梯度来减轻数据异构性的影响。引入动量于proximal gradient descent 步骤中，以取代跟踪变量，降低随机梯度引入的方差。此外，DEPOSITUM 支持客户端变量的本地更新，显著降低了通信成本。理论分析表明，DEPOSITUM 以预期 $\epsilon$ -stationary point 的迭代复杂度为 $\mathcal{O}(1/\epsilon^2)$。proximal 梯度、共识误差和梯度估计误差以 $\mathcal{O}(1/T)$ 的次线性速率下降。合理的参数选择下，算法在无需mega-batch 采样的情况下实现网络无关的线性加速。最后，我们将 DEPOSITUM 应用于真实数据集上的神经网络训练，系统性地检验了各种超参数对其性能的影响。与其他联邦复合优化算法的比较验证了所提方法的有效性。