面向移动边缘计算的稳定型大语言模型训练资源分配

随着移动设备日益成为高级应用的焦点，边缘计算为克服其固有的计算限制，特别是在部署大型语言模型(LLM)方面，提供了可行方案。然而，尽管边缘计算取得了进展，在LLM的高效训练和部署方面仍面临诸多挑战，这些挑战源于这些模型的计算需求以及数据隐私 concerns。本文探索一种集成移动用户与边缘服务器的协作训练框架，以优化资源分配，从而提升性能和效率。我们的做法利用参数高效微调(PEFT)方法，使移动用户能够调整LLM的初始层，而边缘服务器则处理更具挑战性的后续层。具体而言，我们构建一个多目标优化问题，以最小化训练期间的总能耗和延迟。我们还通过在目标函数中纳入稳定性增强措施，解决模型性能不稳定的常见问题。通过创新的分数规划技术，我们实现该问题的稳定解。仿真结果表明，我们的方法在各种移动设置下，均能降低能耗和延迟，并提升LLM的可靠性。