基于聚合迭代微分的高效通信联邦超梯度计算

由于新兴的机器学习和通信应用，联邦双层优化引起了越来越多的关注。由于一系列全局Hessian矩阵的非线性和分布式构造，在联邦设置下计算上层目标函数的梯度（即超梯度）是最大的挑战。在本文中，我们提出了一种通过聚合迭代微分（AggITD）的高效通信联邦超梯度估计器。AggITD实现简单，并通过同时进行联邦超梯度估计和下层优化，显著降低了通信成本。我们表明，所提出的基于AggITD的算法在数据异构存在的情况下，以远少于现有基于近似隐式微分（AID）方法的通信轮数，达到了相同的样本复杂度。我们的结果也揭示了在联邦/分布式超梯度估计中ITD相对于AID的巨大优势。这不同于非分布式双层优化中的比较，其中ITD效率低于AID。我们大量的实验证明了所提方法的显著有效性和通信效率。