面向云边系统的 LLM 与 SLM 结构无关协调调优框架
机器学习
2025-11-18 v1
摘要
大语言模型（LLM）驱动的智能应用激增，使得带宽受限的云服务器在不损害用户数据隐私的前提下难以实时处理大规模 LLM 工作负载。为解决这些问题，近期研究聚焦构建集成云端 LLM 与移动边缘设备上小型语言模型（SLM）的云边联盟。此外，在此类联盟中设计协作训练机制以提升推理性能已成为值得关注的研究方向。然而，SLM 的跨域部署以及其架构结构的异构性，为增强模型性能带来了显著挑战。为此，我们提出 Co-PLMs，这是一个用于大型和小型语言模型协调训练的新型框架，通过结构无关的相互学习过程实现异构语言模型之间的知识交换。该框架采用浓缩代理模型（DPM）作为桥梁，实现云端 LLM 与边缘设备 SLM 之间的协作训练，同时保留各设备的领域特定洞见。实验结果表明，Co-PLMs 优于当前最先进的方法，平均在 Rouge-L 上提升 5.38%，在 EM 上提升 4.88%。
引用
@article{arxiv.2511.11677,
title = {Homotopy-Guided Self-Supervised Learning of Parametric Solutions for AC Optimal Power Flow},
author = {Shimiao Li and Aaron Tuor and Draguna Vrabie and Larry Pileggi and Jan Drgona},
journal= {arXiv preprint arXiv:2511.11677},
year = {2025}
}
备注
paper submitted to PES General Meeting 2026