保持唯一性，保持高效：面向多任务融合的模型个性化保留框架
机器学习
2025-12-02 v1 计算机视觉与模式识别
摘要
模型融合已成为一种使多任务能力无需额外训练的 promising 方法。然而，现有方法在类似任务上甚至与单独微调的模型相比都会出现显著的性能下降，凸显了需要保留任务特定信息的必要性。本文提出一种基于近似的个性化融合框架 Decomposition, Thresholding, and Scaling (DTS)，以最小存储开销保留任务特定信息。DTS 首先对任务特定信息应用奇异值分解，仅保留少量奇异值和奇异向量。随后引入新颖的阈值策略，将奇异向量元素划分为若干组，并为每组分配一个比例因子。为实现对未见任务的泛化，我们进一步扩展 DTS，通过基于任务特征语义相似性的无数据方式融合任务特定信息。大量实验表明，DTS 在保持领先水平的同时，仅需每任务额外 1% 的存储空间。此外，针对未见任务的实验显示，DTS 变体在泛化性能方面显著优于现有方法。我们的代码已公开于 https://github.com/krumpguo/DTS。
引用
@article{arxiv.2512.01461,
title = {Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging},
author = {Kuangpu Guo and Yuhe Ding and Jian Liang and Zilei Wang and Ran He},
journal= {arXiv preprint arXiv:2512.01461},
year = {2025}
}