成本感知客户端选择下的非凸联邦优化
机器学习
2025-12-08 v1 最优化与控制
摘要
不同的联邦优化算法通常采用不同的客户端选择策略：一些方法在每轮仅与随机采样的客户端子集进行通信，而另一些方法需要定期与所有客户端通信，或使用结合这两种策略的混合方案。然而，用于比较优化方法的现有指标通常不区分这些策略，而这些策略在实践中往往产生不同的通信成本。为了解决这一差异，我们引入了一个简单且自然的联邦优化模型，该模型量化了通信和局部计算复杂度。这一新模型允许使用几种常用的客户端选择策略，并明确地将每种策略与不同的成本相关联。在此设置下，我们提出了一种新算法，在现有的非凸优化联邦优化方法中实现了最佳的已知通信和局部复杂度。该算法基于非精确复合梯度方法，结合了精心构造的梯度估计器和每次迭代中求解辅助子问题的特殊过程。梯度估计器基于 SAGA，一种流行的方差缩减梯度估计器。我们首先为其推导出一个新的方差界限，表明 SAGA 能够利用函数相似性。然后，我们引入了递归梯度技术，作为潜在地改进给定条件无偏梯度估计器（包括 SAGA 和 SVRG）误差界限的一般方法。通过将该技术应用于 SAGA，我们得到了一个新的估计器 RG-SAGA，与原始估计器相比具有改进的误差界限。
引用
@article{arxiv.2512.05327,
title = {Non-Convex Federated Optimization under Cost-Aware Client Selection},
author = {Xiaowen Jiang and Anton Rodomanov and Sebastian U. Stich},
journal= {arXiv preprint arXiv:2512.05327},
year = {2025}
}