Avengers：联合较小语言模型挑战专有巨头的简单方案
计算与语言
2025-06-19 v3
摘要
专有巨头正日益主导着追求更大语言模型的竞赛。开源的较小模型能否在广泛的任务中保持竞争力？在本文中，我们提出了 Avengers——一种利用这些较小模型集体智慧的简单方案。Avengers 基于四种轻量级操作：(i) 嵌入：使用文本嵌入模型对查询进行编码；(ii) 聚类：基于语义相似度对查询进行分组；(iii) 评分：对每个模型在每个聚类内的表现进行评分；(iv) 投票：通过重复采样和投票改进输出。在推理时，每个查询被嵌入并分配到其最近的聚类。该聚类中表现最佳的模型被选中，通过重复采样生成响应。值得注意的是，使用 10 个开源模型（每个约 7B 参数），Avengers 在跨越数学、编程、逻辑推理、常识和情感任务的 15 个多样化数据集上的平均性能超越了 GPT-4o、4.1 和 4.5。特别地，它在数学任务上超越 GPT-4.1 达 18.21%，在编程任务上超越 7.46%。此外，Avengers 提供了卓越的分布外泛化能力，并且在各种嵌入模型、聚类算法、集成策略及其唯一参数（聚类数量）的取值下均保持稳健。
引用
@article{arxiv.2505.19797,
title = {The Avengers: A Simple Recipe for Uniting Smaller Language Models to Challenge Proprietary Giants},
author = {Yiqun Zhang and Hao Li and Chenxu Wang and Linyao Chen and Qiaosheng Zhang and Peng Ye and Shi Feng and Daling Wang and Zhen Wang and Xinrun Wang and Jia Xu and Lei Bai and Wanli Ouyang and Shuyue Hu},
journal= {arXiv preprint arXiv:2505.19797},
year = {2025}
}
备注
9 pages, 4 figures, 6 tables, supplementary material (appendix) included separately