边缘设备上的联邦蒸馏：面向非独立同分布数据的高效客户端过滤方法
机器学习
2026-05-19 v2 分布式、并行与集群计算
摘要
联邦蒸馏已成为一种颇具前景的协作机器学习方法，通过交换模型输出（软logits）而非完整模型参数，相比传统联邦学习提供了更强的隐私保护并减少了通信开销。然而，现有方法采用复杂的选择性知识共享策略，要求客户端通过计算代价高昂的统计密度比估计器来识别分布内代理数据。此外，服务器端对模糊知识的过滤会引入处理延迟。为解决这些挑战，我们提出了一种鲁棒且资源高效的EdgeFD方法，该方法降低了客户端密度比估计的复杂性，并消除了服务器端过滤的需求。EdgeFD引入了一种基于KMeans的高效密度比估计器，用于在客户端有效过滤分布内和分布外代理数据，显著提升了知识共享的质量。我们在多种实际场景下评估了EdgeFD，包括客户端上的强非独立同分布、弱非独立同分布和独立同分布数据分布，且无需在服务器上预训练教师模型进行知识蒸馏。实验结果表明，EdgeFD优于现有最优方法，即使在异构且具有挑战性的条件下，也能持续达到接近独立同分布场景的准确率水平。基于KMeans的估计器显著降低的计算开销使其适合部署在资源受限的边缘设备上，从而增强了联邦蒸馏的可扩展性和实际应用性。代码已公开以供复现。
引用
@article{arxiv.2508.14769,
title = {Federated Distillation on Edge Devices: Efficient Client-Side Filtering for Non-IID Data},
author = {Ahmed Mujtaba and Gleb Radchenko and Radu Prodan and Marc Masana},
journal= {arXiv preprint arXiv:2508.14769},
year = {2026}
}
备注
This paper was accepted at the International Conference on Federated Learning Technologies and Applications, 2025. The final version is available at IEEE Xplore