通过任务自适应低秩表示实现多任务学习中的高效知识迁移
计算与语言
2025-05-02 v1
摘要
预训练语言模型（Pre-trained Language Models, PLMs）展现出惊人的智能，但在现实应用中面临新出现的、训练期未见的任务难题。为每个新任务单独训练模型通常不可行。多任务学习（Multi-Task Learning, MTL）通过将源任务中的共享知识迁移到目标任务来解决这一挑战。作为一种主流的参数高效微调方法，提示调优（Prompt Tuning, PT）通过引入可适应的向量来捕获任务特定知识，该向量作为原始提示的前缀，既保留了共享知识，又保持 PLM 参数冻结。然而，PT 难以有效捕捉任务特定知识的异质性 due to its limited representational capacity。为此，我们提出任务自适应低秩表示（Task-Adaptive Low-Rank Representation, TA-LoRA），一种基于 PT 的 MTL 方法，采用低秩表示来建模任务异质性，引入快速-慢速权重机制，其中慢速权重编码共享知识，而快速权重捕获任务特定细节，避免了从头训练低秩表示导致的共享知识与任务特定知识混合。此外，引入一个零初始化注意力机制，以最小化在热身周期中不成熟的低秩组件对原始提示的干扰。实验在16个任务上进行，结果表明 TA-LoRA 在全量数据和少量样本设置下均实现了最佳性能，同时保持卓越的参数效率。
引用
@article{arxiv.2505.00009,
title = {Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation},
author = {Xiao Zhang and Kangsheng Wang and Tianyu Hu and Huimin Ma},
journal= {arXiv preprint arXiv:2505.00009},
year = {2025}
}
备注
Accepted by IEEE International Conference on Multimedia & Expo 2025