面向非独立同分布数据可扩展异构联邦学习的带激励机制自适应双模蒸馏
机器学习
2025-09-29 v1 计算机视觉与模式识别
摘要
联邦学习 (FL) 已成为一种有前景的去中心化学习 (DL) 方法，能够在不损害用户隐私的情况下利用分布式数据。然而，FL 面临几个关键挑战。首先，通常假设每个客户端都能训练相同的机器学习模型，但由于业务需求和计算资源的差异，并非所有客户端都能满足这一假设。其次，统计异质性（即 non-IID 数据）是 FL 中的主要挑战，可能导致全局模型性能下降。第三，在应对这些挑战的同时，需要一种成本效益高的激励机制来鼓励客户端参与 FL 训练。针对这些挑战，我们提出了几种方法：DL-SH，在统计异质性背景下促进高效、保护隐私且通信高效的学习；DL-MH，旨在管理完全异构的模型同时应对统计差异；以及 I-DL-MH，作为 DL-MH 的基于激励的扩展，通过在此复杂的联邦学习框架内提供激励来促进客户端参与联邦学习训练。我们进行了全面的实验，以在各种复杂实验设置下评估所提方法的性能和可扩展性。这涉及在多种数据分布（包括 IID 和几种 non-IID 场景）以及多个数据集中使用各种模型架构。实验结果表明，与现有的 state-of-the-art 方法和基线相比，所提方法显著提高了准确性并降低了通信成本，同时有效应对了统计异质性和模型异质性，其中 DL-SH 将全局模型准确性提高了 153%，而 I-DL-MH 在 non-IID 条件下实现了 225% 的提升。
引用
@article{arxiv.2509.22507,
title = {Adaptive Dual-Mode Distillation with Incentive Schemes for Scalable, Heterogeneous Federated Learning on Non-IID Data},
author = {Zahid Iqbal},
journal= {arXiv preprint arXiv:2509.22507},
year = {2025}
}