FedHyper：一种基于超梯度下降的联邦学习通用鲁棒学习率调度器
机器学习
2023-10-09 v2 分布式、并行与集群计算
摘要
联邦学习（FL）的理论图景正快速演进，但其实际应用遭遇一系列复杂挑战，超参数优化便是其中关键挑战之一。在超参数的多样调整中，学习率的自适应成为关键组成部分，有望显著提升 FL 系统的效能。针对这一关键需求，本文提出 FedHyper，一种专为 FL 设计的基于超梯度的学习率自适应算法。FedHyper 作为一种通用学习率调度器，可随训练推进自适应全局与局部学习率。此外，FedHyper 不仅对一系列初始学习率配置展现出无与伦比的鲁棒性，还显著缓解了繁琐的经验学习率调整之需。我们对 FedHyper 的收敛速率提供了全面理论分析，并在视觉与语言基准数据集上进行了广泛实验。结果表明，FEDHYPER 始终比 FedAvg 及竞争基线快 1.1–3 倍收敛，同时取得更优的最终精度。此外，在次优初始学习率设定下，FedHyper 相较 FedAvg 实现了高达 15% 的精度显著提升。
引用
@article{arxiv.2310.03156,
title = {FedHyper: A Universal and Robust Learning Rate Scheduler for Federated Learning with Hypergradient Descent},
author = {Ziyao Wang and Jianyu Wang and Ang Li},
journal= {arXiv preprint arXiv:2310.03156},
year = {2023}
}