面向异构客户端的联邦学习循环早期退出方法

联邦学习（FL）使得以隐私保护的方式在多个客户端上分布式学习模型成为可能。FL的主要挑战之一是适应具有不同硬件能力的客户端；客户端具有不同的计算和内存需求。为了应对这一挑战，最近的最先进方法利用了早期退出。然而，这些方法在缓解联合学习多个退出分类器的挑战方面仍有不足，通常依赖于手动选择的启发式解决方案进行分类器间的知识蒸馏和/或为较弱分类器使用额外层。在这项工作中，我们不使用多个分类器，而是提出了一种名为ReeFL的循环早期退出方法，它将来自不同子模型的特征融合到一个共享分类器中。具体来说，我们使用一个基于Transformer的早期退出模块，该模块在子模型之间共享，以i）更好地利用多层特征表示进行任务特定预测，以及ii）调节骨干模型的特征表示以进行后续预测。我们还提出了一种每个客户端的自蒸馏方法，其中最佳子模型被自动选为其他子模型的教师。我们在各种新兴联邦微调基线下的标准图像和语音分类基准上的实验表明，ReeFL优于先前的工作。