面向边缘网络中快速个性化半监督联邦学习：算法设计与理论保证
分布式、并行与集群计算
2023-06-08 v1
摘要
近年来，无线边缘网络中对人工智能和机器学习应用以协助用户实时服务的巨大需求已显现。鉴于联邦学习（FL）的实际设定与隐私保护特性，它是在网络边缘部署这些应用的合适且有吸引力的分布式学习范式。尽管在将 FL 应用于无线边缘网络方面已有诸多成功努力，所采用的算法大多遵循与 FedAvg 相同的思路，因此深受标签匮乏与设备异构等实际挑战的困扰。这些挑战不仅减缓了 FL 中的模型训练，也降低了应用性能。本文关注算法设计，并通过研究个性化半监督 FL 问题并提出一种有效算法（即 FedCPSL）来应对这些挑战。具体而言，伪标记与基于插值的模型个性化技术被审慎结合，为个性化半监督 FL 提供新的问题表述。所提出的 FedCPSL 算法采用新颖策略，包括自适应客户端方差缩减、局部动量与归一化全局聚合，以对抗设备异构挑战并加速算法收敛。此外，对 FedCPSL 的收敛性质进行了透彻分析，表明其对统计与系统异构均具韧性，获得次线性收敛速率。在图像分类任务上的实验结果也表明，所提方法在收敛速度与应用性能方面均优于同类方法。
引用
@article{arxiv.2306.04155,
title = {Towards Fast Personalized Semi-Supervised Federated Learning in Edge Networks: Algorithm Design and Theoretical Guarantee},
author = {Shuai Wang and Yanqing Xu and Yanyi Yuan and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2306.04155},
year = {2023}
}