封闭词汇模型中的任务添加与权重解缠
机器学习
2025-11-19 v1
摘要
任务算术最近作为一种新兴的方法，用于编辑预训练的开放词汇模型，为标准多任务微调提供了具有成本效益的替代方案。然而，尽管有大量未进行语言监督训练的封闭词汇模型，但将任务算术应用于这些模型仍未得到探索。本文我们部署并研究了封闭词汇图像分类模型中的任务添加。我们考虑不同的预训练方案，发现权重解缠——即使能够实现任务算术——是预训练的通用结果，因为它出现在不同的预训练封闭词汇模型中。事实上，我们发现预训练的封闭词汇视觉Transformer也可以使用任务算术进行编辑，通过实现高水平的任务添加性能并高效地部署多任务模型。最后，我们证明简单线性探测是任务添加的有竞争力的基准。总体而言，我们的发现将任务算术的适用性扩展到更广泛的预训练模型范围，为在多样化环境中更高效地利用预训练模型开辟了道路。
引用
@article{arxiv.2511.14569,
title = {Task Addition and Weight Disentanglement in Closed-Vocabulary Models},
author = {Adam Hazimeh and Alessandro Favero and Pascal Frossard},
journal= {arXiv preprint arXiv:2511.14569},
year = {2025}
}