两全其美：基于无数据超知识蒸馏的联邦学习实现精准全局与个性化模型
机器学习
2023-04-11 v2
摘要
分布于各客户端的数据异构性限制了通过联邦学习训练的全局模型的性能，尤其在本地数据集类别分布高度不平衡的场景下。近年来，个性化联邦学习(pFL)已成为应对异构数据挑战的潜在方案。然而，现有pFL方法通常以牺牲全局模型准确率为代价来提升本地模型性能。我们提出FedHKD（联邦超知识蒸馏），一种新颖的FL算法，其中客户端依赖知识蒸馏(KD)训练本地模型。具体而言，每个客户端提取并向服务器发送本地数据表示的均值及相应的软预测——我们将此信息称为“超知识”。服务器聚合该信息并广播给客户端以支撑本地训练。值得注意的是，与其他基于KD的pFL方法不同，FedHKD既不依赖公共数据集，也不在服务器端部署生成模型。我们分析了FedHKD的收敛性，并在多种场景下对视觉数据集进行了大量实验，表明相较于为异构数据场景设计的SOTA FL方法，FedHKD在个性化及全局模型性能上均有显著提升。
引用
@article{arxiv.2301.08968,
title = {The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation},
author = {Huancheng Chen and Johnny and Wang and Haris Vikalo},
journal= {arXiv preprint arXiv:2301.08968},
year = {2023}
}
备注
Accepted by ICLR2023