小型语言模型与大型语言模型协作：性能、成本效益、云边隐私与可信度综述
计算与语言
2025-11-06 v2 人工智能
摘要
大语言模型（LLM）在诸多领域和应用上取得了显著进展，但面临高微调成本、推理延迟、边缘部署可行性有限以及可靠性 concerns等挑战。小型语言模型（SLM）具有紧凑、高效和可适应的特点，展现出广阔的解决方案前景。建立在这些潜力基础上，近期研究探索了将二者优势融合的协作框架，利用SLM的专一性和效率，以及LLM的泛化和推理能力，以解决不同任务和部署场景下的多样化目标。受此推动，本文从协作目标的视角，对SLM-LLM协作进行系统性综述。我们提出一种覆盖四个目标的分类框架：性能提升、成本效益、云边隐私和可信度。在此框架下，我们审阅了代表性方法，概述了设计范式，并阐述了面向高效安全SLM-LLM协作的开放挑战及未来方向。收集的论文已公开于https://github.com/FairyFali/SLMs-Survey。
引用
@article{arxiv.2510.13890,
title = {A Survey on Collaborating Small and Large Language Models for Performance, Cost-effectiveness, Cloud-edge Privacy, and Trustworthiness},
author = {Fali Wang and Jihai Chen and Shuhua Yang and Ali Al-Lawati and Linli Tang and Hui Liu and Suhang Wang},
journal= {arXiv preprint arXiv:2510.13890},
year = {2025}
}
备注
24 pages, 19 figures-under review; more detailed than v1