基于稀疏专家的去中心化联邦学习：用于医疗数据分析

联邦学习在医疗领域具有广泛应用。它使不同的医疗机构能够在不泄露患者隐私的前提下共享知识。然而，现有的联邦学习系统通常是中心化的，需要客户端将客户端特定的知识上传到中心服务器进行聚合。这种中心化方法会在将客户端知识集成到中心服务器之前就损害了来自每个客户端的知识。此外，中心化方法还会创建对中心服务器的依赖，如果服务器故障或连接不稳定，可能会影响训练稳定性。为了解决这些问题，我们提出了名为 dFLMoE 的去中心化联邦学习框架。在我们的框架中，客户端直接与其他客户端交换轻量级的头部模型。交换后，每个客户端将本地模型和接收到的头部模型视为 individual expert，并利用基于客户端的稀疏专家（MoE）方法进行集体决策。这种设计不仅减少了客户端特定聚合带来的知识损伤，还消除了对中心服务器的依赖，从而增强了框架的鲁棒性。我们在多个医疗任务上验证了我们的框架，在模型同质性和异质性设置下均显著优于最先进的方法。