联邦几何蒙特卡洛聚类以应对非独立同分布数据集
机器学习
2022-04-26 v1 分布式、并行与集群计算
摘要
联邦学习允许客户端协作训练在异地获取且因规模或法规限制而无法交换的数据集上的模型。此类收集的数据日益呈现非独立同分布（non-IID），对训练精度产生负面影响。先前工作试图缓解非IID数据集对训练精度的影响，主要关注非IID标签，但实际数据集常还包含非IID特征。为同时解决非IID标签与特征，我们提出FedGMCC，一种由中央服务器聚合可聚类客户端模型的新框架。FedGMCC聚类依赖于蒙特卡洛过程，该过程对客户端模型的输出空间采样，在损失流形上推断其权重空间位置，并通过仿射曲线参数化计算其几何连接。FedGMCC沿路径连通性聚合连通模型以产生更丰富的全局模型，融合所有连通客户端模型的知识。FedGMCC在EMNIST62和基因组序列分类数据集上的收敛速率优于FedAvg和FedProx（最高达+63%）。在高非IID特征空间和标签不一致情况下，FedGMCC相对于CFL在基因组数据集上取得了改进的精度（+4%）。
引用
@article{arxiv.2204.11017,
title = {Federated Geometric Monte Carlo Clustering to Counter Non-IID Datasets},
author = {Federico Lucchetti and Jérémie Decouchant and Maria Fernandes and Lydia Y. Chen and Marcus Völp},
journal= {arXiv preprint arXiv:2204.11017},
year = {2022}
}