SyMerge：从非干扰到通过单层适应实现协同合并
机器学习
2026-05-25 v4
摘要
模型合并将独立训练的模型组合成单个多任务模型。然而，大多数现有方法主要关注避免任务间干扰。我们认为，其更大的潜力在于实现任务间的协同，其中任务会相互改进。我们识别出跨任务性能（即编码器和预测器在不同任务之间的兼容性）作为合并质量的关键指标。我们演示了仅通过适应单个任务特定层即可诱导这种协同。本研究提出了 SyMerge 框架，联合优化合并系数和单个任务特定层。我们采用专家引导的自标签目标，提供基于熵最小化之外的稳定监督。有趣的是，我们进一步表明 SyMerge 成功地合并了来自不同初始化训练的模型，而标准方法在这一领域会失败。我们的方法简约而原则，在视觉、密集预测和 NLP 基准测试中实现了最佳结果。我们的代码可在 https://aim-skku.github.io/SyMerge 查阅。
引用
@article{arxiv.2412.19098,
title = {SyMerge: From Non-Interference to Synergistic Merging via Single-Layer Adaptation},
author = {Aecheon Jung and Seunghwan Lee and Dongyoon Han and Sungeun Hong},
journal= {arXiv preprint arXiv:2412.19098},
year = {2026}
}
备注
Accepted at ICML 2026