HFedMS：工业元宇宙中具有可记忆数据语义的异构联邦学习
机器学习
2022-11-08 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习(FL)作为一种快速发展的隐私保护协作机器学习范式，是在新兴工业元宇宙中实现边缘智能的一种有前景的方法。尽管许多成功用例已从理论上证明了FL的可行性，但在元宇宙的工业实践中，非独立同分布(non-i.i.d.)数据、流式工业数据引起的学习遗忘以及稀缺的通信带宽仍是实现实用FL的关键障碍。面对上述三重挑战，本文提出一种名为HFEDMS的高性能高效系统，用于将实用FL引入工业元宇宙。HFEDMS通过动态分组与训练模式转换(动态串行到并行训练，STP)降低数据异构性；随后通过融合压缩的历史数据语义并校准分类器参数(语义压缩与补偿，SCC)弥补遗忘的知识；最后，特征提取器与分类器的网络参数以不同频率同步(分层交替同步协议，LASP)以降低通信成本。这些技术使FL更适应工业设备持续生成的异构流式数据，且在通信上比传统方法(如Federated Averaging)更高效。我们在流式non-i.i.d. FEMNIST数据集上使用368个模拟设备进行了大量实验。数值结果表明，与8种基准相比，HFEDMS将分类准确率至少提升6.4%，并将总运行时间与传输字节数最多节省98%，证明了其在精度与效率上的优越性。
引用
@article{arxiv.2211.03300,
title = {HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics in Industrial Metaverse},
author = {Shenglai Zeng and Zonghang Li and Hongfang Yu and Zhihao Zhang and Long Luo and Bo Li and Dusit Niyato},
journal= {arXiv preprint arXiv:2211.03300},
year = {2022}
}
备注
This paper is submitted to IEEE Transaction on Cloud Computing