FedTSA：一种基于聚类的两阶段聚合方法用于模型异构联邦学习

尽管对联邦学习中数据异构性的研究广泛，但系统异构性仍然是一个重要但常被忽视的挑战。传统的联邦学习方法通常假设联邦学习客户端具有同构的硬件资源，这意味着客户端可以在相当的时间范围内训练全局模型。然而，在实际的联邦学习系统中，客户端通常具有异构资源，这影响了它们的训练能力。这种差异凸显了探索模型异构联邦学习的重要性，这是一种允许客户端根据其资源能力训练不同模型的范式。为了解决这一挑战，我们引入了FedTSA，一种针对联邦学习中系统异构性的基于聚类的两阶段聚合方法。FedTSA首先根据客户端的能力对其进行聚类，然后执行两阶段聚合：第一阶段对同构模型进行传统的权重平均，第二阶段使用扩散模型进行深度相互学习以聚合异构模型。大量实验表明，FedTSA不仅优于基线，还探索了影响模型性能的各种因素，验证了FedTSA作为模型异构联邦学习的一种有前景的方法。