通过合成锚点克服去中心化联邦学习中的数据与模型异构性

传统联邦学习 (FL) 涉及在保持用户数据隐私的前提下协同训练全局模型。其一个分支是去中心化 FL，即无服务器网络，允许客户端单独拥有和优化不同的本地模型，从而节省管理和通信资源。尽管去中心化 FL 在去中心化方面取得了令人期待的进展，但由于缺乏全局模型，可能降低模型的可泛性。在这种情况下，管理数据和模型异构性成为关键问题，这提出了唯一必须克服的挑战：如何在去中心化方式下使每个客户端的本地模型学习通用表示？为此，我们提出了一种通过引入合成锚点 (Synthetic Anchors) 的新型去中心化 FL 技术，称为 DeSA。基于域适应理论和知识蒸馏 (KD)，我们从理论和实证角度表明，基于原始数据分布合成全局锚点可促进相互知识传递。我们进一步设计了两种有效的正则化项用于本地训练：1) REG loss 正则化客户端潜在嵌入分布与锚点的关系；2) KD loss 使客户端能够从其他客户端学习。通过在多样化客户端数据分布上的大量实验，我们展示了 DeSA 在增强每个客户端的 intra- 和 inter-domain accuracy 方面的有效性。