面向下一代移动边缘网络的普惠生成式 AI
网络与互联网体系结构
2024-11-15 v1
摘要
生成式 AI 技术（包括大语言模型（LLM））的快速发展给各个领域带来了变革性变化。然而，由于此类先进模型具有高计算、内存、通信和能耗需求，将其部署在移动和边缘设备上仍面临挑战。为应对这些挑战，我们提出了一个以模型为中心的框架，用于普惠生成式 AI 在移动和边缘网络中的部署。首先，我们全面综述了关键的紧凑模型策略，如量化、模型剪枝和知识蒸馏，并给出了优化生成式 AI 以适应移动部署的关键性能指标。接着，我们重点综述了移动和边缘网络，强调这些环境的特定挑战和需求。我们进一步通过在真实移动边缘设备上部署 LLM 的案例研究，展示了这些策略的有效性。实验结果凸显了普惠 LLM 的实用性，在泛化准确率、幻觉率、可访问性和资源消耗方面均有显著提升。最后，我们讨论了进一步推进生成式 AI 在资源受限环境中部署的潜在研究方向。
引用
@article{arxiv.2411.09148,
title = {Toward Democratized Generative AI in Next-Generation Mobile Edge Networks},
author = {Ruichen Zhang and Jiayi He and Xiaofeng Luo and Dusit Niyato and Jiawen Kang and Zehui Xiong and Yonghui Li and Biplab Sikdar},
journal= {arXiv preprint arXiv:2411.09148},
year = {2024}
}
备注
9 pages, 5 figures