CAT 合并：解决模型合并冲突的无训练方法
化学物理
2025-10-08 v1 太阳与恒星天体物理
摘要
多任务模型合并提供了一种将多个专家模型集成到统一模型而无需额外训练的新范式。现有基于 Task Arithmetic 及其变体的方法通过累积任务向量（即预训练模型与微调后模型参数差）来进行模型合并。然而，任务向量累积常因知识冲突而受阻，导致性能下降。为解决此挑战，我们提出了 Conflict-Aware Task Merging（CAT 合并），一种新型无训练框架，通过选择性地修剪任务向量中的冲突易发生组件来实现冲突解决。CAT 合并引入了多种参数特定策略，包括对线性权重的投影以及对归一化层中的缩放和平移参数的掩码。在视觉、语言和视觉语言任务上的大量实验表明，CAT 合并有效抑制了知识冲突，在 ViT-B/32 上实现最高提升2.5个百分点，在 ViT-L/14 上实现最高提升2.0个百分点。
引用
@article{arxiv.2505.06976,
title = {Equation-of-motion coupled-cluster variants in combination with perturbative triples corrections in strong magnetic fields},
author = {Marios-Petros Kitsaras and Florian Hampe and Lena Reimund and Stella Stopkowicz},
journal= {arXiv preprint arXiv:2505.06976},
year = {2025}
}