多中心联邦学习：用于更好个性化的客户端聚类

联邦学习因其能够以去中心化方式训练大规模模型而无需直接访问用户数据，受到了极大关注。它有助于保护用户私有数据不被集中收集。与分布式机器学习不同，联邦学习旨在处理来自异构源的非独立同分布（non-IID）数据，例如智能手机上的各类实际应用。现有联邦学习方法通常通过聚合用户梯度来采用单一全局模型以捕捉所有用户的共享知识，而忽略其数据分布之间的差异。然而，由于用户行为的多样性，将用户梯度分配给不同的全局模型（即中心）能更好地捕捉跨用户数据分布的异质性。本文提出一种新颖的联邦学习多中心聚合机制，该机制从非独立同分布的用户数据中学习多个全局模型，并同时推导用户与中心之间的最优匹配。我们将该问题表述为一个联合优化问题，可通过随机期望最大化（EM）算法高效求解。我们在基准数据集上的实验结果表明，我们的方法优于几种流行的联邦学习方法。