CrossPT: 通过多任务提示调优探索跨任务可迁移性
计算与语言
2025-09-19 v1 人工智能
摘要
提示调优提供了一种参数高效的方式来适配大型预训练语言模型到新任务，但大多数现有方法针对单任务设置设计，无法在相关任务间共享知识。我们提出了跨任务提示调优（CrossPT），一个用于多任务提示调优的模块化框架，能够在保持任务特定特化的同时实现可控的知识迁移。CrossPT 将每个目标提示分解为共享的预训练源提示和任务特定的私有提示，通过学习到的注意力机制进行组合。为了支持稳健的迁移，我们系统地研究了关键设计因素，包括提示初始化、共享与私有提示的平衡、源提示数量、学习率、任务前缀和标签语义。在 GLUE 和相关基准上的实验结果表明，CrossPT 在准确性和鲁棒性方面优于传统提示调优和相关方法，特别是在低资源场景中，同时保持了强大的参数效率。
引用
@article{arxiv.2509.14253,
title = {CrossPT: Exploring Cross-Task Transferability through Multi-Task Prompt Tuning},
author = {Ahmad Pouramini and Hesham Faili},
journal= {arXiv preprint arXiv:2509.14253},
year = {2025}
}