缓存模型即资源：面向空天地一体化网络边缘智能的大型语言模型智能体供给
网络与互联网体系结构
2024-06-03 v2 信号处理
摘要
空天地一体化网络（SAGINs）中的边缘智能能够突破地理限制实现全球网络覆盖，使用户得以访问无处不在且低延迟的智能服务。面对 SAGINs 中的全球覆盖和复杂环境，边缘智能可通过地面基站（BSs）的边缘服务器或由卫星中继的云数据中心，为用户提供近似的大型语言模型（LLMs）智能体。由于具有数十亿参数的 LLMs 在海量数据集上进行了预训练，LLM 智能体具备少样本学习能力，例如用于复杂任务的思维链提示，这在 SAGINs 中引发了资源消耗与性能之间的新权衡。本文提出了一种用于边缘智能的联合缓存与推理框架，以在 SAGINs 中提供可持续且无处不在的 LLM 智能体。我们引入“缓存模型即资源”以提供具有有限上下文窗口的 LLMs，并提出了一种新颖的优化框架，即联合模型缓存与推理，以利用缓存的模型资源连同通信、计算和存储资源来提供 LLM 智能体服务。考虑到 LLMs 的思维链提示，我们设计了“思维年龄”，并提出了一种最小 AoT 缓存模型替换算法以优化供给成本。我们提出了一种基于深度 Q 网络的修正次价拍卖机制以激励网络运营商，该机制在保证策略防伪且避免逆向选择的同时，可将分配效率提升 23%。
引用
@article{arxiv.2403.05826,
title = {Cached Model-as-a-Resource: Provisioning Large Language Model Agents for Edge Intelligence in Space-air-ground Integrated Networks},
author = {Minrui Xu and Dusit Niyato and Hongliang Zhang and Jiawen Kang and Zehui Xiong and Shiwen Mao and Zhu Han},
journal= {arXiv preprint arXiv:2403.05826},
year = {2024}
}