FedTGP：基于自适应边界增强对比学习的可训练全局原型，用于联邦学习中的数据与模型异构性
机器学习
2024-01-09 v1 密码学与安全
分布式、并行与集群计算
摘要
近年来，异构联邦学习 (HtFL) 因其支持异构模型和数据的能力而备受关注。为降低传输模型参数带来的高通信开销（这是 HtFL 中的一大挑战），基于原型的 HtFL 方法被提出，该方法仅在异构客户端之间共享类别代表（即原型），同时保持客户端模型的隐私。然而，这些原型在服务器端通过加权平均被简单聚合为全局原型，导致全局知识次优，从而对客户端性能产生负面影响。为克服这一挑战，我们引入了一种名为 FedTGP 的新型 HtFL 方法，该方法利用我们提出的自适应边界增强对比学习 (ACL) 在服务器端学习可训练全局原型 (TGP)。通过结合 ACL，我们的方法在保持语义的同时增强了原型的可分性。在十二个异构模型上的大量实验表明，我们的 FedTGP 在准确率上最高超越现有方法 9.08%，同时保持了基于原型的 HtFL 在通信和隐私方面的优势。代码可在 https://github.com/TsingZ0/FedTGP 获取。
引用
@article{arxiv.2401.03230,
title = {FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning},
author = {Jianqing Zhang and Yang Liu and Yang Hua and Jian Cao},
journal= {arXiv preprint arXiv:2401.03230},
year = {2024}
}
备注
Accepted by AAAI2024