基于背板自蒸馏的个人化联邦学习

在实际场景中，联邦学习经常需要对每个客户端使用异构数据进行个性化模型训练。本文提出一种基于背板自蒸馏的方法来促进个人化联邦学习。在该方法中，每个客户端训练其本地模型并仅发送背板权重给服务器。这些权重随后被聚合以创建全局背板，该背板被返回每个客户端以进行更新。然而，由于共享表征的原因，客户端的本地背板缺乏个性化。为解决此问题，每个客户端进一步通过将全局背板作为教师进行自蒸馏，将知识传递以更新本地背板。该过程涉及学习两个组件：用于捕捉通用表征的共享背板和用于本地个性化的私有头部，从而实现有效的全局知识传递。广泛的实验和与 12 种最先进方法的比较表明，我们的方法有效。