联邦学习中的知识蒸馏：长期挑战与新解决方案综述
机器学习
2026-05-12 v1 分布式、并行与集群计算
摘要
联邦学习是一种分布式且保护隐私的机器学习范式，它协调多个客户端训练模型，同时将原始数据保留在本地。然而，这种传统的FL带来了一些挑战，包括隐私风险、数据异质性、通信瓶颈和系统异质性问题。为了应对这些挑战，自2020年以来，知识蒸馏已被广泛应用于FL。KD是一种经过验证且有效的模型压缩和增强算法。KD的核心概念涉及通过在中间层或输出层交换logits来促进模型之间的知识迁移。这些特性使KD成为解决FL中长期存在的挑战的绝佳方案。到目前为止，很少有综述总结和分析当前KD如何有效应用于FL的趋势和方法。本文旨在对基于KD的FL进行全面综述，重点关注解决上述挑战。首先，我们概述了基于KD的FL，包括其动机、基础、分类法，以及与传统的FL和KD应在何处执行的比较。我们还在附录中分析了基于KD的FL中的关键因素，包括教师、知识、数据和方法。我们讨论了KD如何应对FL中的挑战，包括隐私保护、数据异质性、通信效率和个性化。最后，我们讨论了基于KD的FL算法面临的挑战和未来的研究方向。我们希望这篇综述能为FL领域的研究人员和从业者提供见解和指导。
引用
@article{arxiv.2406.10861,
title = {Knowledge Distillation in Federated Learning: a Survey on Long Lasting Challenges and New Solutions},
author = {Laiqiao Qin and Tianqing Zhu and Wanlei Zhou and Philip S. Yu},
journal= {arXiv preprint arXiv:2406.10861},
year = {2026}
}