面向神经网络的架构无关联邦学习
机器学习
2022-07-11 v3
摘要
随着对数据隐私的日益关注以及数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在 FL 设定下联合学习深度神经网络模型是一项非平凡的任务，因为神经网络相关的复杂性，例如各客户端间架构各异、神经元置换不变性，以及每层中存在非线性变换。本工作引入了一种新颖的联邦异构神经网络（FedHeNN）框架，该框架允许每个客户端构建个性化模型，而无需在各客户端间强制统一架构。这使得每个客户端可针对本地数据与计算约束进行优化，同时仍受益于其他（可能更强大）客户端的学习成果。FedHeNN 的关键思想是利用来自对等客户端的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN 框架能够在客户端架构同质与异质的两种设定下，学习到在客户端上性能更优的模型。
引用
@article{arxiv.2202.07757,
title = {Architecture Agnostic Federated Learning for Neural Networks},
author = {Disha Makhija and Xing Han and Nhat Ho and Joydeep Ghosh},
journal= {arXiv preprint arXiv:2202.07757},
year = {2022}
}