异质性致胜:单轮联邦聚类
机器学习
2021-10-06 v2
摘要
本文中,我们探讨无监督联邦学习(FL)所特有的挑战——与机遇。我们基于广泛使用的 Lloyd 方法用于 -means 聚类,开发并分析了一种单轮联邦聚类方案 -FED。与许多监督问题不同,我们表明联邦网络中的统计异质性问题实际上有益于我们的分析。我们在中心分离假设下分析 -FED,并将其与已知的集中式对应方法的最佳要求进行比较。我们的分析表明,在每设备簇数 小于网络总簇数 (即 )的异质机制下,我们可利用异质性为己所用——显著弱化 -FED 的簇分离要求。从实际角度看,-FED 还具有许多理想性质:仅需一轮通信、可异步运行、并能处理部分参与或节点/网络故障。我们通过常见 FL 基准实验佐证分析,并通过个性化 FL 与设备采样中的用例凸显单轮聚类的实际效用。
引用
@article{arxiv.2103.00697,
title = {Heterogeneity for the Win: One-Shot Federated Clustering},
author = {Don Kurian Dennis and Tian Li and Virginia Smith},
journal= {arXiv preprint arXiv:2103.00697},
year = {2021}
}