基于有向无环图的去中心化联邦学习中的隐式模型专门化
分布式、并行与集群计算
2021-11-04 v2 机器学习
摘要
联邦学习允许一组分布式客户端在私有数据上训练一个通用的机器学习模型。模型更新的交换或由中心实体管理，或以去中心化方式进行，例如通过区块链。然而，跨所有客户端的强泛化使得这些方法不适用于非独立同分布（non-IID）数据。我们提出了一种基于模型更新有向无环图（DAG）的联邦学习去中心化与个性化统一方法。客户端不再训练单一的全局模型，而是基于各自数据的相似性，利用其他客户端的模型更新，在本地数据上实现专门化。这种专门化从基于 DAG 的模型更新通信与选择中隐式涌现。因此，我们实现了专门化模型的演化，这些模型聚焦于数据的子集，从而比集中式或基于区块链的联邦学习更好地覆盖 non-IID 数据。据我们所知，所提出的方案是首个在完全去中心化联邦学习中统一个性化与投毒鲁棒性的方案。我们的评估表明，在三个不同数据集上，模型的专门化直接从基于 DAG 的模型更新通信中涌现。此外，与联邦平均相比，我们展示了更稳定的模型精度以及更小的客户端间方差。
引用
@article{arxiv.2111.01257,
title = {Implicit Model Specialization through DAG-based Decentralized Federated Learning},
author = {Jossekin Beilharz and Bjarne Pfitzner and Robert Schmid and Paul Geppert and Bert Arnrich and Andreas Polze},
journal= {arXiv preprint arXiv:2111.01257},
year = {2021}
}
备注
to be published in Middleware '21