稀疏感知进化模型合并
机器学习
2026-02-10 v1 人工智能
摘要
我们提出一种稀疏感知进化（Sparsity-Aware Evolution, SAE）框架，用于模型合并，该框架通过迭代修剪-合并循环作为一种新型突变算子。我们将稀疏性约束纳入评分函数中，该函数引导进化过程更倾向于更稀疏的模型，除其他常规性能评分外。有趣的是，稀疏性的"竞争"引入了额外的局部"吸引"和相互作用到进化过程中：如果一个竞争者具有更多的零元素，另一个竞争者的非零元素将占据这些位置，尽管在其他位置上，稀疏性较差的竞争者落后于稀疏性更好的竞争者。我们的方法在多个大规模LLM基准测试上进行了评估。实验表明，我们的方法在多个基准测试中提高了模型合并的可靠性，并且由于其简单性以及与大多数现有方法的正交性，易于集成。
引用
@article{arxiv.2602.08218,
title = {Sparsity-Aware Evolution for Model Merging},
author = {Huan Zhang and Yanjian Zhang and Guillaume Wisniewski and Nadi Tomeh and Bang Liu},
journal= {arXiv preprint arXiv:2602.08218},
year = {2026}
}