超越参数算术：面向分布感知模型融合的稀疏互补融合
人工智能
2026-02-13 v1
摘要
模型融合已成为一种有前景的范式，它通过直接在权重空间中进行操作来组合大语言模型的能力，从而无需昂贵的重新训练即可集成专用模型。然而，现有的融合方法很大程度上依赖于参数空间的启发式方法，这常常会引入严重的干扰，导致泛化能力下降以及重复和不连贯输出等不稳定的生成行为。在这项工作中，我们提出了带有反向KL散度的稀疏互补融合（SCF-RKL），一种新颖的模型融合框架，它通过稀疏的、分布感知的更新来显式地控制功能干扰。SCF-RKL不假设参数空间中的线性可加性，而是使用反向Kullback-Leibler散度来衡量模型之间的功能差异，并选择性地整合互补参数。这种寻模的、诱导稀疏性的设计有效地保留了稳定的表示，同时集成了新的能力。我们在广泛的模型规模和架构上评估了SCF-RKL，涵盖了以推理为中心和指令微调的模型。在涵盖高级推理、通用推理与知识、指令遵循和安全性等24个基准上的大量实验表明，SCF-RKL在保持强大的泛化和生成稳定性的同时，始终优于现有的模型融合方法。
引用
@article{arxiv.2602.11717,
title = {Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging},
author = {Weihong Lin and Lin Sun and Qilong Shi and Aomufei Yuan and Yuxuan Tian and Zhengyang Wang and Guangxiang Zhao and Xiangzheng Zhang and Tong Yang},
journal= {arXiv preprint arXiv:2602.11717},
year = {2026}
}