模型群体：通过群体智能适应 LLM 专家的协作搜索
计算与语言
2025-06-03 v2
摘要
我们提出模型群体（Model Swarms），一种通过群体智能（即引导个体系统的集体行为）来适应大语言模型（LLM）的协作搜索算法。具体而言，模型群体以一组 LLM 专家和一个效用函数为起点。受最佳发现检查点 Across models 的指导，多样化的 LLM 专家在权重空间中协作移动并优化代表模型适应目标的效用函数。与现有模型组合方法相比，模型群体提供了无需调参的模型适应，能够在仅有 200 条示例的低数据场景中工作，不需要对 swarm 中的特定专家或它们的组合方式作出假设。广泛的实验表明，模型群体能够灵活地将 LLM 专家适应到单个任务、多任务领域、奖励模型以及多样化的人类兴趣中，通过超过 12 种模型组合基线实现提升，在各种任务和情境下提升最高可达 21.0%。进一步分析揭示了 LLM 专家在初始检查点中发现先前未被发现的能力，并且模型群体通过协作搜索过程实现了专家的弱到强转变。
引用
@article{arxiv.2410.11163,
title = {Model Swarms: Collaborative Search to Adapt LLM Experts via Swarm Intelligence},
author = {Shangbin Feng and Zifeng Wang and Yike Wang and Sayna Ebrahimi and Hamid Palangi and Lesly Miculicich and Achin Kulshrestha and Nathalie Rauschmayr and Yejin Choi and Yulia Tsvetkov and Chen-Yu Lee and Tomas Pfister},
journal= {arXiv preprint arXiv:2410.11163},
year = {2025}
}
备注
ICML 2025