FedorAS：系统异构下的联邦架构搜索
机器学习
2022-09-30 v3
摘要
联邦学习（FL）近来因其能够在保护客户端隐私的同时对去中心化数据进行学习而受到相当关注。然而，它也带来了与参与设备异构性相关的额外挑战，无论是在计算能力还是所贡献数据方面。与此同时，神经架构搜索（NAS）已成功用于集中式数据集，在受限或非受限设定下均取得了最先进的结果。然而，此类集中式数据集可能并非总是可用于训练。NAS 与 FL 交叉领域的最新工作大多试图在跨筒仓联邦设定下缓解该问题，其假设具备数据中心级硬件的同构计算环境。在本文中，我们探讨是否能在跨设备联邦设定下设计不同规模的架构，其中设备格局、可用性与规模差异很大。为此，我们设计了我们的系统 FedorAS，以在应对持有非独立同分布（non-IID）数据的不同能力设备时，以资源感知的方式发现并训练有前景的架构。我们给出了其在不同设定下有效性的经验证据，涵盖三种不同模态（视觉、语音、文本），并展示了其相较最先进联邦解决方案更优的性能，同时保持资源效率。
引用
@article{arxiv.2206.11239,
title = {FedorAS: Federated Architecture Search under system heterogeneity},
author = {Lukasz Dudziak and Stefanos Laskaridis and Javier Fernandez-Marques},
journal= {arXiv preprint arXiv:2206.11239},
year = {2022}
}