元宇宙边缘智能中 GPT 的火花：面向移动 AIGC 服务的缓存与推理
网络与互联网体系结构
2023-05-01 v2
摘要
为实现元宇宙的人工通用智能（AGI），预训练基础模型（PFM），例如生成式预训练 Transformer（GPT），可有效提供各类 AI 服务，如自动驾驶、数字孪生以及面向扩展现实的 AI 生成内容（AIGC）。凭借低时延与隐私保护优势，在边缘智能中部署移动 AI 服务的 PFM，是在计算资源与 GPU 内存受限的边缘服务器上缓存与执行 PFM 的可行方案。然而，PFM 通常包含数十亿参数，在加载与执行时对边缘服务器而言计算与内存开销巨大。本文研究元宇宙移动 AIGC 服务的边缘 PFM 部署问题。首先，介绍 PFM 基础原理，并讨论其在边缘智能中特有的微调与推理方法。接着，提出一种模型缓存与推理联合的新框架，用于管理模型并分配资源以高效满足用户请求。此外，考虑 PFM 的上下文学习能力，提出一种评估示例中演示与执行任务之间新鲜度与相关性的新指标，即上下文年龄（AoC）。最后，提出一种最小上下文算法，通过平衡时延、能耗与精度之间的权衡来管理边缘服务器上的缓存模型。
引用
@article{arxiv.2304.08782,
title = {Sparks of GPTs in Edge Intelligence for Metaverse: Caching and Inference for Mobile AIGC Services},
author = {Minrui Xu and Dusit Niyato and Hongliang Zhang and Jiawen Kang and Zehui Xiong and Shiwen Mao and Zhu Han},
journal= {arXiv preprint arXiv:2304.08782},
year = {2023}
}