CDKT-FL：联邦学习中利用代理数据集的跨设备知识迁移
机器学习
2024-12-04 v2 人工智能
摘要
在实际场景中，如何构建在泛化与个性化能力上均稳健的联邦学习（FL）系统是一个重要研究问题。由于客户端数据的非独立同分布特性（常称为统计异质性）以及来自各种数据分布的少量本地数据样本，这是一个具有挑战性的问题。因此，为开发稳健的泛化全局模型和个性化模型，传统FL方法需要重新设计来自有偏本地模型的知识聚合，同时考虑由倾斜的客户端数据导致的学习参数巨大分歧。在本工作中，我们证明了知识迁移机制可实现这些目标，并开发了一种基于知识蒸馏的新方法来研究全局模型与本地模型之间知识迁移的程度。此后，我们的方法考虑了在异构FL中使用小型代理数据集进行跨设备知识迁移时，从训练模型转移输出分布和（或）表示嵌入向量的适用性。在此过程中，我们按照通用公式交替执行跨设备知识迁移：1）全局知识迁移和2）设备端知识迁移。通过对三个联邦数据集的模拟，我们表明所提方法实现了显著的加速和本地模型的高个性化性能。此外，所提方法在训练期间比其他基线提供更稳定的算法，并在交换训练模型输出与表示时具有最小通信数据负载。
引用
@article{arxiv.2204.01542,
title = {CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning},
author = {Huy Q. Le and Minh N. H. Nguyen and Shashi Raj Pandey and Chaoning Zhang and Choong Seon Hong},
journal= {arXiv preprint arXiv:2204.01542},
year = {2024}
}
备注
Accepted to Engineering Applications of Artificial Intelligence (EAAI)