在异构数据域下驯服联邦原型学习中的跨域表征方差
机器学习
2024-10-29 v2 计算机视觉与模式识别
摘要
联邦学习 (Federated learning, FL) 允许在不共享私有数据的情况下进行协作式机器学习训练。尽管大多数 FL 方法假设各客户端的数据域相同，但真实场景往往涉及异构数据域。联邦原型学习 (Federated Prototype Learning, FedPL) 通过使用均值特征向量作为原型来解决此问题，以增强模型泛化能力。然而，现有的 FedPL 方法为每个客户端创建相同数量的原型，导致跨域性能差距以及具有不同数据分布的客户端之间的差异。为了缓解跨域特征表征方差，我们引入了 FedPLVM，它建立了方差感知的双层原型聚类，并采用了一种新颖的 -稀疏原型损失。双层原型聚类策略基于私有数据特征创建局部聚类原型，随后进行全局原型聚类以降低通信复杂度并保护局部数据隐私。-稀疏原型损失对齐来自代表性不足域的样本，增强类内相似性并降低类间相似性。在 Digit-5、Office-10 和 DomainNet 数据集上的评估表明，我们的方法优于现有方法。
引用
@article{arxiv.2403.09048,
title = {Taming Cross-Domain Representation Variance in Federated Prototype Learning with Heterogeneous Data Domains},
author = {Lei Wang and Jieming Bian and Letian Zhang and Chen Chen and Jie Xu},
journal= {arXiv preprint arXiv:2403.09048},
year = {2024}
}
备注
Accepted by NeurIPS 2024