基于逐步自适应机制的联邦学习超参数优化
机器学习
2024-11-20 v1 分布式、并行与集群计算
摘要
联邦学习是一种保护敏感信息的去中心化学习方法，它利用本地模型参数而非共享客户端的原始数据集。虽然这种隐私保护方法广泛应用于各种场景，但仍需大量开发和优化。自动机器学习已被用于减少手动调整的需求。先前的研究探索了AutoML与不同联邦学习算法的集成，以评估其在增强联邦学习设置中的有效性。然而，由于涉及大量客户端以及客户端与服务器之间的全局训练轮次，自动联邦学习面临额外挑战，使得调优过程耗时且在资源受限的边缘设备（如物联网设备）上几乎不可行。本文研究了两种轻量级超参数优化工具Raytune和Optuna在联邦学习环境中的部署与集成。还设计了一种逐步反馈机制，以加速超参数调优过程并协调AutoML工具包与联邦学习服务器。为此，集成了本地和全局反馈机制以限制搜索空间并加速超参数优化过程。此外，引入了一种新颖的客户端选择技术以减轻自动联邦学习中的掉队者效应。使用两个基准数据集FEMNIST和CIFAR10评估了所选的超参数调优工具。本文还讨论了成功超参数优化工具的必要属性、与联邦学习管线的集成机制，以及联邦学习环境分布式和异构性带来的挑战。
引用
@article{arxiv.2411.12244,
title = {Hyper-parameter Optimization for Federated Learning with Step-wise Adaptive Mechanism},
author = {Yasaman Saadati and M. Hadi Amini},
journal= {arXiv preprint arXiv:2411.12244},
year = {2024}
}