SimMerge：学习从相似性信号中选择合并算子
机器学习
2026-02-03 v2 人工智能
摘要
模型合并将多个模型组合成一个具有聚合能力的单一模型，使其成为大语言模型（LLM）开发的强大工具。然而，扩展模型合并具有挑战性：性能取决于合并算子、模型子集和合并顺序的选择，通常需要昂贵的合并与评估搜索。在本工作中，我们提出了 SimMerge，这是一种预测性合并选择方法，利用模型之间廉价且与任务无关的相似性信号来识别高性能合并。给定一小组无标签探测数据，SimMerge 提取功能和结构特征以预测候选双向合并的性能，从而无需迭代评估即可进行合并算子、顺序和模型子集的选择。我们表明，SimMerge 在 7B 参数 LLM 上始终优于最佳固定合并算子，并且无需重新训练即可泛化到多向合并和 111B 参数 LLM。我们进一步引入了一种支持在线添加新任务和算子的 bandit 变体。我们的结果表明，当检查点目录庞大且评估预算有限时，学习如何合并能够实现可扩展的模型组合。
引用
@article{arxiv.2601.09473,
title = {SimMerge: Learning to Select Merge Operators from Similarity Signals},
author = {Oliver Bolton and Aakanksha and Arash Ahmadian and Sara Hooker and Marzieh Fadaee and Beyza Ermis},
journal= {arXiv preprint arXiv:2601.09473},
year = {2026}
}