一个网络，多副掩码：迈向更参数高效的迁移学习
计算与语言
2023-06-13 v2 人工智能
摘要
为多项任务微调预训练语言模型在存储方面往往代价高昂。为缓解此问题，已有参数高效迁移学习（PETL）方法被提出，但在应用于更广任务范围时仍需要大量参数与存储。为达成更高的存储缩减，我们提出 PROPETL，一种新颖方法，能够高效共享单一 PETL 模块（我们称之为原型网络，如 adapter、LoRA 与 prefix-tuning）于各层与各项任务。我们随后学习二值掩码，从共享原型网络中选择不同子网络，并将其作为 PETL 模块应用于不同层。我们发现二值掩码可确定网络中的关键信息，而这是以往研究常忽略的。我们的工作也可视为一种剪枝方法，我们从中发现看似微小的 PETL 模块中也存在过参数化现象。我们在多种下游任务上评估 PROPETL，表明其以约其他方法所需参数存储的 10% 即可优于其他 PETL 方法。
引用
@article{arxiv.2305.17682,
title = {One Network, Many Masks: Towards More Parameter-Efficient Transfer Learning},
author = {Guangtao Zeng and Peiyuan Zhang and Wei Lu},
journal= {arXiv preprint arXiv:2305.17682},
year = {2023}
}
备注
Accepted by ACL 2023