DisTaC：通过蒸馏条件化任务向量以实现稳健模型合并
机器学习
2026-03-03 v3
摘要
模型合并已成为一种高效且灵活的多任务学习范式，但最先进的技术在更现实的环境下的鲁棒性尚未得到充分探索。本文首先研究了模型合并方法的脆弱性，揭示了关键影响因素：(1) 任务向量范数差异，(2) 来源模型的低置信度。为解决此问题，我们提出DisTaC（蒸馏用于任务向量条件化），通过在合并前对这些有害任务向量进行预处理。DisTaC利用知识蒸馈调整任务向量的范数并提升来源模型置信度，同时保留其关键任务特定知识。实验表明，使用DisTaC预条件化任务向量后，最先进的合并技术可成功集成具有有害特征的模型——在此情况下它们原本会失败——实现显著性能提升。
引用
@article{arxiv.2508.01148,
title = {DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging},
author = {Kotaro Yoshida and Yuji Naraki and Takafumi Horie and Ryotaro Shimizu and Hiroki Naganuma},
journal= {arXiv preprint arXiv:2508.01148},
year = {2026}
}
备注
The source code is available at https://github.com/katoro8989/DisTaC