中文

基于大语言模型的6G无线通信移动边缘计算系统中的用户关联与资源分配

信息论 2024-03-11 v3 信号处理 math.IT

摘要

在大型语言模型(LLMs)与面向6G的移动边缘计算快速演进的格局中,向计算资源受限的移动用户高效交付服务已成为当务之急。为此,本文深入探讨了一种协作式模型训练框架,其中用户数据与模型适配器被共享至服务器以优化性能。在该框架内,用户首先利用本地数据集更新适配器的前若干层,同时冻结其余层。此步骤完成后,这些部分训练的参数被传输至服务器。具备更强计算能力的服务器随后更新后续层。训练完成后,服务器将增强后的参数回传用户。这种协作训练方法确保计算能力有限的移动用户仍能受益于先进的LLM服务,而无需承受繁重的计算负担。我们方法的核心在于DASHF算法,其融合了Dinkelbach算法、交替优化、半定松弛(SDR)、匈牙利算法以及近期一篇IEEE JSAC论文[1]中提出的开创性分式规划技术。DASHF的关键在于通过精心设计的变换将优化问题重构为二次约束二次规划(QCQP),从而可利用SDR与匈牙利算法求解。通过大量仿真,我们证明了DASHF算法的有效性,为协作式LLM服务部署的推进提供了重要见解。

关键词

引用

@article{arxiv.2310.17872,
  title  = {User Association and Resource Allocation in Large Language Model Based Mobile Edge Computing System over 6G Wireless Communications},
  author = {Liangxin Qian and Jun Zhao},
  journal= {arXiv preprint arXiv:2310.17872},
  year   = {2024}
}

备注

This paper appears in the 2024 IEEE 99th Vehicular Technology Conference (VTC)