小型 LLM 的战略协同框架在数据合成中媲美大型 LLM
计算与语言
2025-04-22 v2 人工智能
机器学习
摘要
尽管数据合成与蒸馏是增强小型语言模型的有前景的策略，但当前的方法严重依赖大型语言模型 (LLM)，这带来了高昂的计算成本、环境低效以及从单体架构中继承的潜在偏差。相比之下，较小的 LLM 更易获取且更具可持续性，但其个体能力在生成高质量、多样化和可靠的数据方面往往不足。受人类协作过程（如同行评审）的启发，我们提出了一个涉及多个小型 LLM 的框架 GRA，该框架聚合了小型 LLM 中的专业化角色，以实现通常由单个大型 LLM 完成的迭代优化和质量控制。在这个协作框架中，多个小型 LLM 扮演不同的角色——生成器、审查者和裁决者——以模拟受同行评审启发的数据合成流水线。生成器提出初始数据样本，审查者评估其质量和多样性，裁决者解决冲突以最终确定输出。通过将合成过程分解为专业化的子任务，协作的小型 LLM 可以实现与基于大型 LLM 蒸馏相当的数据水平。通过在多个基准上的实验，我们证明 GRA 生成的数据在质量上匹配或超越了单个大型 LLM 的输出，例如 Qwen-2.5-72B-Instruct。我们的结果挑战了单体大型模型在高质量数据合成中的必要性，并提倡采用小型智能体的战略协同。我们的数据集、模型和代码已在 https://github.com/GX-XinGao/GRA 上公开。
引用
@article{arxiv.2504.12322,
title = {A Strategic Coordination Framework of Small LLMs Matches Large LLMs in Data Synthesis},
author = {Xin Gao and Qizhi Pei and Zinan Tang and Yu Li and Honglin Lin and Jiang Wu and Lijun Wu and Conghui He},
journal= {arXiv preprint arXiv:2504.12322},
year = {2025}
}