基于动态任务向量分组的高效多任务提示调优
计算与语言
2025-03-25 v1 人工智能
摘要
多任务提示调优利用多个高资源源任务来提高低资源目标任务的性能。现有方法将由所有源任务或单个“高度相似”源任务训练的软提示一次性传递给目标任务。然而，我们发现，最佳传递性能往往来自源任务的组合，而这种组合既不是单一任务，也不是全部任务。进一步地，我们发现源任务与目标任务的相似性在迁移后微调过程中会发生动态变化，这使得在初始阶段进行相似性计算不够。为此，本文提出一种方法，称为动态任务向量分组 (DTVG)，其核心思想包括：(1) 使用任务向量而非软提示来衡量任务相似性；(2) 基于两项指标：{target similarity} 和 {knowledge consistency} 对最佳源任务组合进行分组；(3) 在每个迭代步骤中动态更新组合。广泛的在 26 个 NLP 数据集上进行的实验表明，DTVG 在有效分组相似源任务的同时，降低了负迁移，实现了最先进的性能。
引用
@article{arxiv.2503.18063,
title = {Dynamic Task Vector Grouping for Efficient Multi-Task Prompt Tuning},
author = {Pieyi Zhang and Richong Zhang and Zhijie Nie},
journal= {arXiv preprint arXiv:2503.18063},
year = {2025}
}
备注
Work in progress