设备-边缘协同的基础模型微调作为一种 6G 服务
网络与互联网体系结构
2023-10-31 v1 信息论
math.IT
摘要
基础模型（FoMo）指大规模 AI 模型，具备类人能力，并能在人类智能领域具竞争力地执行任务。FoMo 的突破启发研究者将此类模型部署于第六代（6G）移动网络，以自动化下一代移动应用中的广泛任务。随着 FoMo 规模达到峰值，其下一阶段预计将聚焦于针对特定下游任务微调模型。这启发我们提出 FoMo 微调作为一种 6G 服务的愿景。其关键特征是利用现有参数高效微调（PEFT）技术，仅调整 FoMo 一小部分模型权重以使其定制于特定任务。为实现该愿景，我们调研了最先进的 PEFT，随后提出一种新颖的设备-边缘微调（DEFT）框架，用于在 6G 网络边缘提供高效且隐私保护的微调服务。该框架包含以下成套技术：1) 控制 FoMo 不同 transformer 块中的微调参数规模；2) 用于实现 DEFT 中神经连接的空中计算（over-the-air computation）；3) 通过下载 FoMo 模拟器或梯度在多设备系统中进行联邦 DEFT；4) 即时提示集成微调；5) 设备间提示迁移。我们使用参数规模达 110 亿的预训练 FoMo 进行实验，以证明 DEFT 技术的有效性。文章最后给出了未来研究机遇。
引用
@article{arxiv.2310.18602,
title = {Device-Edge Cooperative Fine-Tuning of Foundation Models as a 6G Service},
author = {Hai Wu and Xu Chen and Kaibin Huang},
journal= {arXiv preprint arXiv:2310.18602},
year = {2023}
}
备注
13 pages, 6 figures