大型与小型语言模型的相互增强与跨孤岛知识迁移
人工智能
2023-12-12 v1 计算与语言
摘要
虽然大型语言模型（LLM）拥有广泛的知识，但其任务特定性能往往次优。这需要使用任务特定数据微调LLM，但由于隐私问题，这些数据可能无法访问。在本文中，我们提出了一种新颖的方法，利用在客户端使用其私有任务特定数据训练的小型语言模型（SLM）来增强LLM。为了实现LLM和SLM之间的相互增强，我们提出了CrossLM，其中SLM促进LLM生成任务特定的高质量数据，并且LLM和SLM都通过生成的数据得到增强。我们使用公开可用的语言模型在一系列基准任务上评估了CrossLM。结果表明，CrossLM显著增强了客户端上SLM的任务特定性能和云服务器上LLM的性能，同时保持了LLM的泛化能力。
引用
@article{arxiv.2312.05842,
title = {Mutual Enhancement of Large and Small Language Models with Cross-Silo Knowledge Transfer},
author = {Yongheng Deng and Ziqing Qiao and Ju Ren and Yang Liu and Yaoxue Zhang},
journal= {arXiv preprint arXiv:2312.05842},
year = {2023}
}