基于 FedNAS 的非独立同分布与不可见数据联邦学习：通过神经架构搜索实现联邦深度学习
机器学习
2021-01-05 v4 计算机视觉与模式识别
分布式、并行与集群计算
多智能体系统
机器学习
摘要
联邦学习（FL）已被证明是在数据因隐私、通信成本和监管限制而无法集中时的一种有效学习框架。在联邦学习环境下训练深度学习模型时，人们通常采用在集中式环境中发现的预定义模型架构。然而，这种预定义架构可能并非最优选择，因为它可能不适用于非独立同分布（non-IID）的数据。因此，我们提倡自动化联邦学习（AutoFL），以提高模型精度并减少人工设计工作。我们特别研究了通过神经架构搜索（NAS）实现的 AutoFL，该方法可以自动化设计过程。我们提出了一种联邦 NAS（FedNAS）算法，以帮助分散的工作节点协同搜索具有更高精度的更优架构。我们还构建了一个基于 FedNAS 的系统。我们在非独立同分布数据集上的实验表明，FedNAS 搜索到的架构能够优于手动预定义的架构。
引用
@article{arxiv.2004.08546,
title = {Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search},
author = {Chaoyang He and Murali Annavaram and Salman Avestimehr},
journal= {arXiv preprint arXiv:2004.08546},
year = {2021}
}
备注
accepted to CVPR 2020 workshop on neural architecture search and beyond for representation learning. Code is released at https://fedml.ai