联邦学习中面向模型聚合的域差异感知蒸馏
机器学习
2022-10-06 v1 人工智能
摘要
知识蒸馏近来作为联邦学习服务端模型聚合的一种方法而流行。通常假设服务端有丰富的公共无标签数据。然而现实中，服务端域与客户端域的数据集之间存在域差异，这限制了知识蒸馏的性能。如何在此种域差异设定下改进聚合仍是一个开放问题。本文中，我们首先分析了由知识蒸馏产生的面向客户端域的聚合模型的泛化界，然后描述了由域差异给聚合模型带来的两个挑战：服务端到客户端差异和客户端到客户端差异。遵循我们的分析，我们提出了一种基于域差异感知蒸馏的自适应知识聚合算法FedD3A以降低该界。FedD3A在每一轮联邦学习中以样本级自适应加权。对于服务端域中的每个样本，仅选择与其相似域的客户端模型扮演教师角色。为此，我们展示了服务端样本与客户端域之间的差异可使用在各客户端上计算且无需访问其原始数据的子空间投影矩阵来近似度量。因此服务端可利用来自多个客户端的投影矩阵为各服务端样本对应的教师模型分配权重。我们在两个流行的跨域数据集上验证了FedD3A，并显示其在跨机构和跨设备联邦学习设定下均优于对比的竞争方法。
引用
@article{arxiv.2210.02190,
title = {Domain Discrepancy Aware Distillation for Model Aggregation in Federated Learning},
author = {Shangchao Su and Bin Li and Xiangyang Xue},
journal= {arXiv preprint arXiv:2210.02190},
year = {2022}
}