通过知识蒸馏与融合处理联邦学习中的数据异构性
机器学习
2023-10-06 v2
摘要
联邦学习(FL)在中心服务器的协助下支持跨多个设备分布式训练一个全局机器学习模型。然而,不同设备间的数据异构性导致客户端模型漂移问题,并造成模型性能下降与模型公平性变差。为解决该问题,本文设计了具有全局-局部知识融合的联邦学习(FedKF)方案。FedKF的核心思想是让服务器在每轮训练中返回全局知识,与各客户端的局部知识相融合,从而使局部模型被正则化至全局最优。因此,客户端模型漂移问题可得以缓解。在FedKF中,我们首先提出活跃-非活跃模型聚合技术,以支持精确的全局知识表示。随后,我们提出一种无数据知识蒸馏(KD)方法,使每个客户端模型能够学习全局知识(嵌入于全局模型中),同时仍可从本地数据集学习局部知识,从而实现全局-局部知识融合过程。理论分析与大量实验证明了FedKF相对于以往方案的优越性。
引用
@article{arxiv.2207.11447,
title = {Handling Data Heterogeneity in Federated Learning via Knowledge Distillation and Fusion},
author = {Xu Zhou and Xinyu Lei and Cong Yang and Yichun Shi and Xiao Zhang and Jingwen Shi},
journal= {arXiv preprint arXiv:2207.11447},
year = {2023}
}
备注
15 pages, 3 figures