FLoRA：联邦学习的单次超参数优化
机器学习
2021-12-17 v1 分布式、并行与集群计算
摘要
我们解决了联邦学习超参数优化（FL-HPO）这一相对未被充分探索的问题。我们提出了联邦损失曲面聚合（FLoRA），这是首个 FL-HPO 解决方案框架，除 FL 文献中通常处理的随机梯度下降/神经网络外，还能处理表格数据和梯度提升训练算法的用例。该框架通过首先识别出一组良好的超参数并用于**单次**联邦学习训练，从而实现单次 FL-HPO。因此，与不带 HPO 的 FL 训练相比，它以最小的额外通信开销实现了 FL-HPO 解决方案。我们在七个 OpenML 数据集上对 FLoRA 用于梯度提升决策树的实证评估表明，相较于所考虑的基线，模型准确率有显著提升，并且对参与 FL-HPO 训练的参与方数量增加具有鲁棒性。
引用
@article{arxiv.2112.08524,
title = {FLoRA: Single-shot Hyper-parameter Optimization for Federated Learning},
author = {Yi Zhou and Parikshit Ram and Theodoros Salonidis and Nathalie Baracaldo and Horst Samulowitz and Heiko Ludwig},
journal= {arXiv preprint arXiv:2112.08524},
year = {2021}
}