移动边缘网络中绿色联邦生成式扩散的按需量化
机器学习
2024-03-08 v1 分布式、并行与集群计算
网络与互联网体系结构
摘要
生成式人工智能（GAI）在移动边缘网络（如元宇宙和工业物联网）中展现出卓越的生产力和创造力。由于其数据分布特性，联邦学习是在移动边缘网络中有效训练 GAI 模型的一项极具前景的技术。然而，在移动边缘网络中训练生成式扩散模型等大型 GAI 模型时，存在通信消耗显著的问题。此外，训练基于扩散的模型所带来的大量能耗，加上边缘设备资源有限和网络环境复杂，对提升 GAI 模型的训练效率构成了挑战。为了应对这一挑战，我们提出了一种面向移动边缘网络的按需量化节能联邦扩散方法。具体而言，我们首先设计了一种考虑边缘设备各种需求的动态量化联邦扩散训练方案。然后，我们研究了基于特定量化要求的能效优化问题。数值结果表明，与基线联邦扩散方法和固定量化联邦扩散方法相比，我们提出的方法显著降低了系统能耗和传输的模型大小，同时有效保持了生成数据合理的质量和多样性。
引用
@article{arxiv.2403.04430,
title = {On-demand Quantization for Green Federated Generative Diffusion in Mobile Edge Networks},
author = {Bingkun Lai and Jiayi He and Jiawen Kang and Gaolei Li and Minrui Xu and Tao zhang and Shengli Xie},
journal= {arXiv preprint arXiv:2403.04430},
year = {2024}
}