FedIN：面向模型异构性的联邦中间层学习
机器学习
2024-02-02 v3
摘要
联邦学习（FL）使边缘设备能够在本地私密保留训练数据的同时协作训练一个全局共享模型。然而，FL 中的一个常见假设要求参与训练的 edge 设备具有相似的计算资源并采用相同的全局模型架构进行训练。在本研究中，我们提出一种称为联邦中间层学习（FedIN）的 FL 方法，该方法在不依赖任何公共数据集的情况下支持异构模型。相反，FedIN 利用客户端模型特征中蕴含的固有知识来促进知识交换。FedIN 中的训练模型被划分为三个不同的组件：提取器、中间层和分类器。我们通过提取提取器的输出和分类器的输入来捕获客户端特征。为利用客户端特征中的知识，我们提出 IN 训练，基于从其他客户端获得的特征对中间层进行对齐。IN 训练仅利用单批次客户端特征，只需极小的内存与通信开销。此外，我们建立并求解一个凸优化问题，以缓解由 IN 训练与本地训练之间冲突所引起的梯度发散挑战。实验结果表明，在异构模型环境下，FedIN 的性能优于最先进的算法。此外，我们的消融研究证明了 IN 训练以及所提出的缓解梯度发散方案的有效性。
引用
@article{arxiv.2304.00759,
title = {FedIN: Federated Intermediate Layers Learning for Model Heterogeneity},
author = {Yun-Hin Chan and Zhihan Jiang and Jing Deng and Edith C. -H. Ngai},
journal= {arXiv preprint arXiv:2304.00759},
year = {2024}
}