具有自动调参客户端的自适应联邦学习
机器学习
2024-05-03 v3 分布式、并行与集群计算
最优化与控制
摘要
联邦学习(FL)是一种分布式机器学习框架，其中中央服务器的全局模型由参与客户端在不共享其数据的情况下通过多步协作训练得到。尽管作为一个灵活框架，各客户端的本地数据分布、参与率和计算能力可有很大差异，但这种灵活性带来了许多新挑战，尤其在客户端侧的超参数调优方面。我们提出 -SGD，一种针对 SGD 的简单步长规则，使每个客户端能通过适应其所优化函数的局部光滑度来使用自身步长。我们提供了理论与实证结果，展示了客户端自适应性在各种 FL 场景中的益处。
引用
@article{arxiv.2306.11201,
title = {Adaptive Federated Learning with Auto-Tuned Clients},
author = {Junhyung Lyle Kim and Mohammad Taha Toghani and César A. Uribe and Anastasios Kyrillidis},
journal= {arXiv preprint arXiv:2306.11201},
year = {2024}
}