CLoVE：通过损失向量嵌入聚类实现个性化联邦学习
机器学习
2025-06-30 v1 人工智能
摘要
我们提出了CLoVE（损失向量嵌入聚类），一种用于聚类联邦学习（CFL）的新算法。在CFL中，客户端根据其数据分布自然地分组到聚类中。然而，识别这些聚类具有挑战性，因为客户端分配是未知的。CLoVE利用从客户端数据上的模型损失导出的客户端嵌入，并利用以下洞察：同一聚类中的客户端共享相似的损失值，而不同聚类中的客户端表现出不同的损失模式。基于这些嵌入，CLoVE能够迭代地识别和分离来自不同聚类的客户端，并通过联邦聚合优化特定聚类的模型。与现有CFL算法相比，CLoVE的主要优势在于：（1）其简单性，（2）其适用于监督和无监督设置，以及（3）它消除了对接近最优模型初始化的需求，这使其更加鲁棒，更适合实际应用。我们建立了理论收敛界，表明CLoVE能够在单轮中以高概率准确恢复聚类，并在线性设置中以指数速度收敛到最优模型。我们与各种CFL和通用个性化联邦学习（PFL）算法在不同类型数据集和广泛的非独立同分布设置上进行的全面实验表明，CLoVE在仅几轮训练中就能实现高度准确的聚类恢复，并在各种监督和无监督PFL任务中达到最先进的模型精度。
引用
@article{arxiv.2506.22427,
title = {CLoVE: Personalized Federated Learning through Clustering of Loss Vector Embeddings},
author = {Randeep Bhatia and Nikos Papadis and Murali Kodialam and TV Lakshman and Sayak Chakrabarty},
journal= {arXiv preprint arXiv:2506.22427},
year = {2025}
}
备注
31 pages, 4 figures