NetGPT：一种超越个性化生成式服务供给的 AI 原生网络架构
机器学习
2024-03-12 v4
摘要
大语言模型（LLMs）通过生成式信息极大地赋能了我们的日常生活，取得了巨大成功。LLMs 的个性化因其与人类意图更好的对齐，可进一步促进其应用。面向个性化生成式服务，云-边协同方法大有前景，因为它有助于异构分布式通信与计算资源的有效编排。在本文中，我们提出 NetGPT，以基于边缘与云的计算能力协同调配合适的 LLMs。此外，边缘 LLMs 可高效利用基于位置的信息完成个性化提示，从而有益于与云 LLM 的交互。特别地，我们利用基于低秩适配的开源 LLMs 微调（即 GPT-2-base 模型和 LLaMA 模型）展示了 NetGPT 的可行性，并与替代的云-边协同或仅云技术进行了全面的数值比较，以证明 NetGPT 的优越性。随后，我们强调了迈向 NetGPT 的 AI 原生网络架构所需的关键变革，重点在于通信与计算资源的更深层次融合以及逻辑 AI 工作流的精细校准。此外，我们展示了 NetGPT 的若干附带收益：边缘 LLMs 的趋势预测与意图推断能力为智能网络管理与编排提供了统一解决方案。我们认为，NetGPT 是一种面向超越个性化生成式服务供给的、前景广阔的 AI 原生网络架构。
引用
@article{arxiv.2307.06148,
title = {NetGPT: A Native-AI Network Architecture Beyond Provisioning Personalized Generative Services},
author = {Yuxuan Chen and Rongpeng Li and Zhifeng Zhao and Chenghui Peng and Jianjun Wu and Ekram Hossain and Honggang Zhang},
journal= {arXiv preprint arXiv:2307.06148},
year = {2024}
}