具有中间表示正则化的联邦学习
机器学习
2023-04-21 v2 人工智能
摘要
与涉及数据收集的集中式模型训练不同，联邦学习（FL）使远程客户端能够在不暴露其私有数据的情况下协作训练模型。然而，由于具有不同特征的客户端生成的异构数据，模型性能在 FL 中通常会下降。维持良好性能的一个有前景的策略是限制本地训练偏离全局模型过远。以往研究通过正则化本地与全局模型所学表示之间的距离来实现这一点。然而，它们仅考虑模型早期层或输出层前一层的表示。在本研究中，我们引入 FedIntR，它通过将对中间层的表示整合进本地训练过程来提供更细粒度的正则化。具体而言，FedIntR 计算一个正则化项，鼓励本地与全局模型的中间层表示彼此接近。此外，FedIntR 基于本地与全局表示之间的相似性自动确定每一层表示对该正则化项的贡献。我们在多个数据集上进行了广泛实验，表明 FedIntR 可比最先进的方法取得相当或更高的性能。我们的代码可在 https://github.com/YLTun/FedIntR 获取。
引用
@article{arxiv.2210.15827,
title = {Federated Learning with Intermediate Representation Regularization},
author = {Ye Lin Tun and Chu Myaet Thwal and Yu Min Park and Seong-Bae Park and Choong Seon Hong},
journal= {arXiv preprint arXiv:2210.15827},
year = {2023}
}
备注
IEEE BigComp 2023