填补缺失：面向异构移动边缘设备增强联邦学习的生成式AI探索
机器学习
2023-10-31 v2 分布式、并行与集群计算
摘要
移动边缘网络上的分布式人工智能(AI)模型训练由于边缘设备的数据和资源异构性而面临重大挑战。前者阻碍了全局模型的收敛速度，而后者降低了设备的资源利用效率。在本文中，我们提出了一种生成式AI赋能的联邦学习，通过利用填补本地数据缺失(FIMI)部分的思路来解决这些挑战。具体而言，FIMI可被视为一种资源感知的数据增强方法，在确保高效FL训练的同时有效缓解数据异构性。我们首先量化了训练数据量与学习性能之间的关系。然后，我们研究了FIMI优化问题，其目标是在所需学习性能约束下最小化设备端总体能耗。利用基于分解的分析和交叉熵搜索方法来推导解决方案，其中为每个设备分配合适的AI合成数据和资源利用策略。实验结果表明，与现有方法相比，FIMI在达到目标全局测试精度时可节省多达50%的设备端能耗。同时，在非独立同分布(non-IID)数据下，FIMI能显著提升收敛后的全局精度。
引用
@article{arxiv.2310.13981,
title = {Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices},
author = {Peichun Li and Hanwen Zhang and Yuan Wu and Liping Qian and Rong Yu and Dusit Niyato and Xuemin Shen},
journal= {arXiv preprint arXiv:2310.13981},
year = {2023}
}
备注
13 pages, 5 figures. Submitted to IEEE for possible publication