通过广义全变分最小化的聚类联邦学习
机器学习
2023-06-21 v4 分布式、并行与集群计算
机器学习
摘要
我们研究用于训练去中心化本地数据集集合（具有内在网络结构）的局部（或个性化）模型的优化方法。该网络结构源于本地数据集之间特定于领域的相似性概念。此类概念的例子包括时空邻近性、统计依赖性或功能关系。我们的主要概念贡献是将联邦学习表述为广义全变分（GTV）最小化。该表述统一并大幅扩展了现有联邦学习方法。它高度灵活，可与广义线性模型或深度神经网络等广泛参数模型结合。我们的主要算法贡献是一种完全去中心化的联邦学习算法。该算法通过应用成熟的原始对偶方法求解GTV最小化获得。它可作为消息传递实现，并对源于有限计算资源（包括处理时间或带宽）的不精确计算具有鲁棒性。我们的主要分析贡献是算法学到的局部模型参数与基于预言机的聚类联邦学习方法之间偏差的上界。该上界揭示了局部模型及本地数据集网络结构的条件，使得GTV最小化能够合并（近乎）同质的本地数据集。
引用
@article{arxiv.2105.12769,
title = {Clustered Federated Learning via Generalized Total Variation Minimization},
author = {Yasmin SarcheshmehPour and Yu Tian and Linli Zhang and Alexander Jung},
journal= {arXiv preprint arXiv:2105.12769},
year = {2023}
}