面向移动边缘网络中基于专家混合的可扩展生成式 AI
网络与互联网体系结构
2024-02-13 v1
摘要
生成式人工智能(GAI)的进步推动了诸如 ChatGPT 等革命性应用的发展。这些应用的广泛普及依赖于专家混合,其包含多个专家并针对每个任务选择性调用,以在保持性能的同时降低操作成本。尽管采用了 MoE,GAI 在部署于用户设备时仍面临资源消耗方面的挑战。本文提出由移动边缘网络支持的基于 MoE 的 GAI。我们首先从传统 AI 和 GAI 的视角回顾 MoE,包括其结构、原理和应用。然后,我们提出一个框架,将子任务转移到移动边缘网络中的设备,以辅助 GAI 模型在用户设备上运行。我们讨论了此过程中的挑战,并引入了一种基于深度强化学习的算法来选择边缘设备执行子任务。实验结果表明,我们的框架不仅促进了 GAI 在资源受限设备上的部署,而且与无边缘网络支持的方法相比,能生成更高质量的内容。
引用
@article{arxiv.2402.06942,
title = {Toward Scalable Generative AI via Mixture of Experts in Mobile Edge Networks},
author = {Jiacheng Wang and Hongyang Du and Dusit Niyato and Jiawen Kang and Zehui Xiong and Dong In Kim and Khaled B. Letaief},
journal= {arXiv preprint arXiv:2402.06942},
year = {2024}
}