面向联邦学习的元知识浓缩

现有联邦学习范式通常在中央求解器上广泛交换分布式模型以获得更强大的模型。然而，这在服务器与多个客户端之间会造成严重的通信负担，尤其在数据分布异构时。因此，当前联邦学习方法常需大量通信轮次进行训练。与现有范式不同，我们引入一种替代视角以显著降低联邦学习中的通信成本。本工作中，我们首先引入一种元知识表示方法，从分布式客户端提取元知识。提取的元知识编码了可用于改进当前模型的基本信息。随着训练推进，训练样本对联邦模型的贡献也随之变化。因此，我们引入动态权重分配机制，使样本能自适应地贡献于当前模型更新。随后，来自所有活跃客户端的有信息量元知识被发送至服务器用于模型更新。在不同客户端间基于组合元知识训练模型而不暴露原始数据，可显著缓解异构问题。此外，为进一步改善数据异构，我们还在客户端间交换元知识作为本地元知识提取的条件初始化。大量实验证明了我们所提方法的有效性与高效性。值得注意的是，在受限通信预算（即 10 轮）下，我们的方法在 MNIST 上以较大优势（从 $74.07\%$ 到 $92.95\%$）超越 SOTA。