SPIDER：面向联邦学习的个性化神经架构搜索
机器学习
2021-12-30 v1 计算机视觉与模式识别
摘要
联邦学习（FL）是一种高效学习框架，在数据因隐私与监管限制无法共享至中心服务器时协助分布式机器学习。近期 FL 进展对所有客户端采用基于预定义架构的学习。然而，鉴于客户端数据对服务器不可见且各客户端数据分布非独立同分布，集中式设定下发现的预定义架构未必是 FL 中所有客户端的最优解。受此挑战驱动，本文引入 SPIDER，一种旨在为联邦学习搜索个性化神经架构的算法框架。SPIDER 基于两独特设计：1）以通用 FL 方式交替优化一个架构同质的全局模型（Supernet）与一个通过基于权重共享的正则化连接至全局模型的架构异质局部模型；2）以新颖神经架构搜索（NAS）方法实现架构异质局部模型，该方法以精度值上的操作级扰动为准则渐进选优子网。实验结果表明 SPIDER 优于其他现有最优个性化方法，且搜索所得个性化架构推理更高效。
引用
@article{arxiv.2112.13939,
title = {SPIDER: Searching Personalized Neural Architecture for Federated Learning},
author = {Erum Mushtaq and Chaoyang He and Jie Ding and Salman Avestimehr},
journal= {arXiv preprint arXiv:2112.13939},
year = {2021}
}