中文

异质性致胜:单轮联邦聚类

机器学习 2021-10-06 v2

摘要

本文中,我们探讨无监督联邦学习(FL)所特有的挑战——与机遇。我们基于广泛使用的 Lloyd 方法用于 kk-means 聚类,开发并分析了一种单轮联邦聚类方案 kk-FED。与许多监督问题不同,我们表明联邦网络中的统计异质性问题实际上有益于我们的分析。我们在中心分离假设下分析 kk-FED,并将其与已知的集中式对应方法的最佳要求进行比较。我们的分析表明,在每设备簇数 (k)(k') 小于网络总簇数 kk(即 kkk'\le \sqrt{k})的异质机制下,我们可利用异质性为己所用——显著弱化 kk-FED 的簇分离要求。从实际角度看,kk-FED 还具有许多理想性质:仅需一轮通信、可异步运行、并能处理部分参与或节点/网络故障。我们通过常见 FL 基准实验佐证分析,并通过个性化 FL 与设备采样中的用例凸显单轮聚类的实际效用。

关键词

引用

@article{arxiv.2103.00697,
  title  = {Heterogeneity for the Win: One-Shot Federated Clustering},
  author = {Don Kurian Dennis and Tian Li and Virginia Smith},
  journal= {arXiv preprint arXiv:2103.00697},
  year   = {2021}
}