任务提示向量：通过多任务软提示迁移的有效初始化
计算与语言
2026-05-14 v4
摘要
软提示调谐是训练大型语言模型 (LLM) 的高效解决方案。然而，当前基于软提示的方法往往牺牲了多任务模块性，需要为每个新添加的任务完全或部分重复训练过程。虽然最近的工作通过对完整模型权重应用算术运算来实现所需的多任务性能，但针对软提示的方法尚未出现。为此，本文引入任务提示向量，通过软提示权重与其随机初始化之间的元素级差异创建。实验结果表明，在 12 个自然语言理解数据集上，任务提示向量可用于在低资源设置下有效初始化类似任务上的软提示调谐。此外，我们展示了任务提示向量独立于软提示调谐在 2 个不同语言模型架构上的随机初始化。这允许对来自不同任务的预训练向量进行提示算术。通过这种方式，我们为通过多个任务提示向量的算术加法提供了一个来自最先进基准的有竞争力的替代方案。
引用
@article{arxiv.2408.01119,
title = {Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer},
author = {Robert Belanec and Simon Ostermann and Ivan Srba and Maria Bielikova},
journal= {arXiv preprint arXiv:2408.01119},
year = {2026}
}