联邦超参数调优：挑战、基线方法及与权重共享的关联
机器学习
2021-11-05 v2 人工智能
分布式、并行与集群计算
机器学习
摘要
调优超参数是机器学习流程中关键但繁琐的一环。在联邦学习中，超参数优化更具挑战性，因为模型是在异构设备的分布式网络上学习的；在此场景下，需将数据保留在本地并进行本地训练，这使得高效训练和评估配置变得困难。本文研究联邦超参数调优问题。我们首先明确关键挑战，并展示如何调整标准方法以形成联邦设定下的基线。接着，通过将联邦超参数调优与权重共享这一神经架构搜索技术建立新颖联系，我们提出一种新方法 FedEx，用于加速联邦超参数调优，该方法适用于 FedAvg 及近期变体等广泛使用的联邦优化方法。理论上，我们证明 FedEx 的一个变体能在跨设备的在线凸优化设定中正确调优设备端学习率。在实证上，我们表明在 Shakespeare、FEMNIST 和 CIFAR-10 基准上，FedEx 能以相同的训练预算获得更高精度，优于联邦超参数调优的自然基线数个百分点。
引用
@article{arxiv.2106.04502,
title = {Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing},
author = {Mikhail Khodak and Renbo Tu and Tian Li and Liam Li and Maria-Florina Balcan and Virginia Smith and Ameet Talwalkar},
journal= {arXiv preprint arXiv:2106.04502},
year = {2021}
}
备注
NeurIPS 2021