模型可合并性?: 探究模型合并的成因
计算与语言
2026-01-13 v1
摘要
模型合并已成为一种引人注目的技术，用于将多个微调模型组合成单个多任务模型，而无需重新训练。然而，决定特定模型是否可合并的因素仍鲜为人知。本文旨在探讨为何某些模型合并得更好。为此，我们提出了一种具体可衡量的可合并性定义。我们检视了导致高或低可合并性的若干潜在因素，强调基础模型知识作为主要决定因素: 在基础模型知识更佳的实例上进行微调的模型比在基础模型难以处理的实例上进行微调的模型更易于合并。基于我们的可合并性定义，我们探索了一种简单的加权合并技术，以更好地保留基础模型中的弱知识。
引用
@article{arxiv.2601.06672,
title = {Will it Merge? On The Causes of Model Mergeability},
author = {Adir Rahamim and Asaf Yehudai and Boaz Carmeli and Leshem Choshen and Yosi Mass and Yonatan Belinkov},
journal= {arXiv preprint arXiv:2601.06672},
year = {2026}
}