基于智能数据交换的无监督联邦学习嵌入对齐
机器学习
2022-08-08 v1
摘要
联邦学习（FL）已被认为是分布式机器学习（ML）最有前景的解决方案之一。在当前大多数文献中，FL 针对的是监督式 ML 任务，即边缘设备收集带标签的数据。然而，在许多应用中，假设各设备均存在带标签数据是不现实的。为此，我们提出了一种新颖的方法——协作式联邦无监督对比学习（CF-CL），用于具有无标签数据集的边缘设备间的 FL。CF-CL 采用本地设备协作，通过设备到设备（D2D）通信在设备间交换数据，以避免由非独立同分布（non-i.i.d.）本地数据集引起的本地模型偏差。CF-CL 引入了一种针对无监督 FL 场景定制的推拉式智能数据共享机制，其中每个设备将其本地数据点子集作为保留数据点推送给邻居，并通过概率重要性采样技术从邻居处拉取一组数据点。我们证明 CF-CL 能够（i）对齐各设备间无监督学习的潜在空间，（ii）加快全局收敛，从而允许更不频繁的全局模型聚合；以及（iii）在跨设备的极端 non-i.i.d. 数据设置中依然有效。
引用
@article{arxiv.2208.02856,
title = {Embedding Alignment for Unsupervised Federated Learning via Smart Data Exchange},
author = {Satyavrat Wagle and Seyyedali Hosseinalipour and Naji Khosravan and Mung Chiang and Christopher G. Brinton},
journal= {arXiv preprint arXiv:2208.02856},
year = {2022}
}
备注
Accepted for publication in IEEE Global Communications Conferences (GLOBECOM), 2022