联邦学习中用于训练大模型的异构集成知识迁移
机器学习
2022-04-28 v1
摘要
联邦学习（FL）使边缘设备能够协作学习模型，而无需将其私有数据披露给中央聚合服务器。现有大多数FL算法要求客户端和服务器部署架构相同的模型，这使得由于客户端系统资源有限而无法训练大模型。本文中，我们提出一种名为Fed-ET的新型集成知识迁移方法，其中在客户端上训练小模型（架构各异），并用于在服务器端训练一个更大的模型。与传统的集成学习不同，在FL中集成模型可在客户端高度异构的数据上进行训练。认识到这一特性，Fed-ET采用带多样性正则化的加权共识蒸馏方案，在利用集成内部多样性提升泛化能力的同时，高效地从集成中提取可靠共识。我们给出了在异构数据集上训练的加权模型集成的泛化界，支持了Fed-ET的直觉。我们在图像和语言任务上的实验表明，Fed-ET以更少的通信参数量显著优于其他最先进的FL算法，并且对高数据异构性也具有鲁棒性。
引用
@article{arxiv.2204.12703,
title = {Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning},
author = {Yae Jee Cho and Andre Manoel and Gauri Joshi and Robert Sim and Dimitrios Dimitriadis},
journal= {arXiv preprint arXiv:2204.12703},
year = {2022}
}
备注
To appear in the proceedings of the 31st International Joint Conference on Artificial Intelligence (IJCAI 2022)