MP-FedCL：面向边缘智能的多原型联邦对比学习
机器学习
2023-10-12 v2 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
摘要
联邦学习辅助的边缘智能在现代智能服务中实现了隐私保护。然而，边缘客户端之间非独立同分布（non-IID）的数据分布会损害本地模型性能。现有的基于单原型的策略利用特征空间的均值来表示一个类别。但特征空间通常并非聚类的，单个原型可能无法很好地代表一个类别。受此启发，本文提出一种多原型联邦对比学习方法（MP-FedCL），证明了在 non-IID 设置（包括标签偏斜与特征偏斜）下使用多原型策略优于单原型策略。具体而言，首先提出基于 \textit{k-means} 的多原型计算策略，以捕获每个类空间的不同嵌入表示，使用多个原型（ 个质心）在嵌入空间中表示一个类。在每一全局轮次中，计算得到的多个原型及其各自的模型参数被发送至边缘服务器，聚合成一个全局原型池，随后发回所有客户端以指导其本地训练。最后，每个客户端的本地训练最小化自身的监督学习任务，并通过监督对比学习从全局原型池中共享的原型学习，鼓励其从其他类中学习与本类相关的知识，并减少每一全局迭代中对无关知识的吸收。在 MNIST、Digit-5、Office-10 和 DomainNet 上的实验结果表明，我们的方法优于多个基线，在特征和标签 non-IID 分布下平均测试准确率分别提升约 4.6% 和 10.4%。
引用
@article{arxiv.2304.01950,
title = {MP-FedCL: Multiprototype Federated Contrastive Learning for Edge Intelligence},
author = {Yu Qiao and Md. Shirajum Munir and Apurba Adhikary and Huy Q. Le and Avi Deb Raha and Chaoning Zhang and Choong Seon Hong},
journal= {arXiv preprint arXiv:2304.01950},
year = {2023}
}
备注
Accepted by IEEE Internet of Things