MTLoRA：一种用于高效多任务学习的低秩适应方法
计算机视觉与模式识别
2024-04-01 v1 人工智能
机器学习
摘要
将在大规模数据集上预训练的模型适应各种下游任务是深度学习中的常见策略。因此，参数高效微调方法已成为一种有前景的方式，可以在仅训练最少参数的情况下将预训练模型适应不同任务。虽然大多数这些方法是为单任务适应设计的，但在多任务学习架构中的参数高效训练仍未探索。在本文中，我们介绍了MTLoRA，一种用于MTL模型参数高效训练的新颖框架。MTLoRA采用任务无关和任务特定的低秩适应模块，有效地解耦了MTL微调中的参数空间，从而使模型能够熟练地处理MTL上下文中的任务专业化和交互。我们将MTLoRA应用于基于层次变换器的MTL架构，使其适应多个下游密集预测任务。我们在PASCAL数据集上的大量实验表明，与完全微调MTL模型相比，MTLoRA在下游任务上实现了更高的准确性，同时将可训练参数数量减少了3.6倍。此外，MTLoRA在可训练参数数量和下游任务准确性之间建立了帕累托最优权衡，在准确性和效率方面均优于当前最先进的参数高效训练方法。我们的代码已公开。
引用
@article{arxiv.2403.20320,
title = {MTLoRA: A Low-Rank Adaptation Approach for Efficient Multi-Task Learning},
author = {Ahmed Agiza and Marina Neseem and Sherief Reda},
journal= {arXiv preprint arXiv:2403.20320},
year = {2024}
}
备注
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024