从系统视角进行的联邦学习超参数调优
机器学习
2022-11-28 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种保护客户端数据隐私的分布式模型训练范式，已获得学术界与工业界的极大关注。FL 超参数（如所选客户端数量与训练轮数）在计算时间、传输时间、计算负载与传输负载方面显著影响训练开销。然而，当前手动选择 FL 超参数的做法给 FL 实践者带来了沉重负担，因为不同应用具有不同的训练偏好。本文中，我们提出 FedTune，一种专为 FL 训练中应用多样化系统需求定制的自动 FL 超参数调优算法。FedTune 在 FL 训练期间迭代调整 FL 超参数，并可轻松集成至现有 FL 系统。通过对 FedTune 在多样化应用与 FL 聚合算法上的广泛评估，我们表明 FedTune 轻量且有效，相较使用固定 FL 超参数实现了 8.48%–26.75% 的系统开销削减。本文协助 FL 实践者设计高性能 FL 训练方案。FedTune 源代码可在 https://github.com/DataSysTech/FedTune 获取。
引用
@article{arxiv.2211.13656,
title = {Federated Learning Hyper-Parameter Tuning from a System Perspective},
author = {Huanle Zhang and Lei Fu and Mi Zhang and Pengfei Hu and Xiuzhen Cheng and Prasant Mohapatra and Xin Liu},
journal= {arXiv preprint arXiv:2211.13656},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2110.03061