FedSDD：联邦学习中用于模型聚合的可扩展且增强多样性的蒸馏
机器学习
2023-12-29 v1
摘要
最近，基于知识蒸馏（KD）的创新模型聚合方法被提出用于联邦学习（FL）。这些方法不仅提高了异构学习环境下模型聚合的鲁棒性，还允许在客户端设备上训练异构模型。然而，现有方法的可扩展性并不令人满意，因为服务器上的训练成本随着客户端数量的增加而增加，这限制了它们在大规模系统中的应用。此外，现有方法的集成是从一组从相同检查点初始化的客户端模型构建的，导致多样性低。在本文中，我们提出了一种可扩展且增强多样性的联邦蒸馏方案FedSDD，它将训练复杂度与客户端数量解耦以增强可扩展性，并从一组具有增强多样性的聚合模型构建集成。特别地，FedSDD中的教师模型是由一小群聚合（全局）模型构建的集成，而不是所有客户端模型，这样计算成本不会随客户端数量扩展。此外，为了增强多样性，FedSDD仅执行KD来增强其中一个全局模型，即主全局模型，这提高了集成和主全局模型的性能。虽然将客户端模型划分为更多组允许构建具有更多聚合模型的集成，但各个聚合模型的收敛速度会减慢。我们引入了时间集成来利用这些问题，并在异构设置下提供了显著的改进。实验结果表明，FedSDD在基准数据集上优于其他FL方法，包括FedAvg和FedDF。
引用
@article{arxiv.2312.17029,
title = {FedSDD: Scalable and Diversity-enhanced Distillation for Model Aggregation in Federated Learning},
author = {Ho Man Kwan and Shenghui Song},
journal= {arXiv preprint arXiv:2312.17029},
year = {2023}
}