FedGEMS：通过选择性知识融合联邦学习更大的服务器模型
机器学习
2021-12-08 v2 人工智能
摘要
如今数据常分散于数十亿资源受限的边缘设备中，并受安全与隐私约束。联邦学习（FL）已成为在保持数据隐私的同时学习全局模型的可行方案，但 FL 的模型复杂度受边缘节点计算资源制约。本工作中，我们研究一种新颖范式，利用强大的服务器模型突破 FL 中的模型容量限制。通过从多个教师客户端及自身选择性学习，服务器模型发展出深层知识并将其知识回馈客户端以提升各自性能。我们提出的框架在服务器与客户端模型上均取得优越性能，并在统一框架中提供若干优势，包括对异构客户端架构的灵活性、对投毒攻击的鲁棒性，以及客户端与服务器间在各种图像分类任务上的通信效率。
引用
@article{arxiv.2110.11027,
title = {FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion},
author = {Sijie Cheng and Jingwen Wu and Yanghua Xiao and Yang Liu and Yang Liu},
journal= {arXiv preprint arXiv:2110.11027},
year = {2021}
}
备注
Under review as a conference paper at ICLR 2022