6G 边缘云中的生成式 AI 即服务：基于基于情境学习的生成任务卸载
系统与控制
2025-03-25 v3 系统与控制
摘要
生成式人工智能 (GAI) 是通向 6G 网络的有前景技术，生成式基础模型如大型语言模型 (LLM) 已引起学术界和电信行业的广泛关注。本文考虑 6G 网络中基础模型的一种新颖边缘云部署方案。具体而言，旨在通过无线资源分配和任务卸载来最小化基础模型的服务延迟，即将多样化的内容生成任务卸载至网络边缘或云端的适当 LLM。具体地，我们首先引入通信系统模型，即分配无线资源以计算支持生成内容传输的链路容量，然后提出 LLM 推理模型以计算内容生成的延迟。随后，我们提出一种新颖的基于情境学习的方法来优化任务卸载决策。该方法利用 LLM 的推理能力，避免了传统机器学习算法中专门模型训练或微调的困难。最后，仿真结果表明，所提出的边缘云部署和基于情境学习的任务卸载方法能够在无需专门模型训练或微调的情况下实现令人满意的生成服务质量。
引用
@article{arxiv.2408.02549,
title = {Generative AI as a Service in 6G Edge-Cloud: Generation Task Offloading by In-context Learning},
author = {Hao Zhou and Chengming Hu and Dun Yuan and Ye Yuan and Di Wu and Xue Liu and Zhu Han and Charlie Zhang},
journal= {arXiv preprint arXiv:2408.02549},
year = {2025}
}
备注
This paper has been accepted by IEEE Wireless Communications Letters