联邦学习的单次超参数优化：通用算法与分析
机器学习
2022-02-18 v1 分布式、并行与集群计算
摘要
我们解决了相对未被探索的联邦学习超参数优化（FL-HPO）问题。我们引入联邦损失曲面聚合（FLoRA），一个通用的 FL-HPO 解决方案框架，可处理表格数据用例以及任何机器学习（ML）模型，包括梯度提升训练算法，从而进一步扩展 FL-HPO 的范围。FLoRA 支持单次 FL-HPO：识别一组单一的优良超参数，随后用于一次联邦学习训练中。因此，与不带 HPO 的 FL 训练相比，它以最小的额外通信开销实现 FL-HPO 解决方案。我们从理论上刻画了 FL-HPO 的最优性间隙，其显式考虑了各方本地数据分布的异构非独立同分布性质，这是 FL 系统的一个主导特征。我们在七个 OpenML 数据集上对多种 ML 算法进行的 FLoRA 实证评估表明，相较于所考虑的基线，模型准确率显著提升，并且对参与 FL-HPO 训练的各方数量增加具有鲁棒性。
引用
@article{arxiv.2202.08338,
title = {Single-shot Hyper-parameter Optimization for Federated Learning: A General Algorithm & Analysis},
author = {Yi Zhou and Parikshit Ram and Theodoros Salonidis and Nathalie Baracaldo and Horst Samulowitz and Heiko Ludwig},
journal= {arXiv preprint arXiv:2202.08338},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2112.08524