无痛联邦学习：线搜索与外推的交互
机器学习
2025-10-28 v2 人工智能
最优化与控制
摘要
随机梯度下降（SGD）算法中用于学习率（LR）调整的经典线搜索能够缓解由数据采样噪声引起的收敛减缓。在联邦设置中，由于客户端异构性会导致全局收敛减缓，线搜索可以进行相应的适配。在这项工作中，我们表明，线搜索的随机变体除了能够应对客户端局部梯度噪声引起的减缓外，还能缓解联邦优化中的异构性问题。为此，我们引入了联邦随机线搜索（FedSLS）算法，并证明其期望达到确定性收敛速率。具体而言，即使在客户端部分参与的情况下，FedSLS 对强凸目标也能提供线性收敛。最近，服务器学习率的外推在提升联邦学习的经验性能方面展现出了潜力。为了从外推中获益，我们将 FedSLS 扩展为联邦外推随机线搜索（FedExpSLS）并证明了其收敛性。我们广泛的经验结果表明，所提出的方法在许多凸和非凸问题上的表现与流行的联邦学习算法相当或更优。
引用
@article{arxiv.2408.17145,
title = {Painless Federated Learning: An Interplay of Line-Search and Extrapolation},
author = {Geetika and Somya Tyagi and Bapi Chatterjee},
journal= {arXiv preprint arXiv:2408.17145},
year = {2025}
}
备注
35 pages, 5 figures