基于原型的超网络适配器：面向样本高效的多任务微调
计算与语言
2023-11-14 v3 人工智能
摘要
参数高效微调（PEFT）在将预训练语言模型适配到下游任务时仅更新少量参数，已展现出其有效性。尽管取得了成功，大多数现有方法独立地适配每个任务，未考虑任务间的知识迁移，并且受限于低数据场景。为克服该问题，我们提出基于原型的超网络适配器（PHA），一种构建于适配器微调与超网络之上的新颖框架。它引入实例稠密检索器与原型超网络，以样本高效的方式生成条件模块。这在多任务学习与少样本迁移学习上取得了与现有 PEFT 方法相媲美的性能提升。更重要的是，当可用数据规模变得更小时，我们的方法大幅优于其他强基线。基于我们在多个数据集上的广泛实证实验，我们证明 PHA 在可训练参数、流式任务准确率与样本效率之间取得了更好的权衡。
引用
@article{arxiv.2310.11670,
title = {Prototype-based HyperAdapter for Sample-Efficient Multi-task Tuning},
author = {Hao Zhao and Jie Fu and Zhaofeng He},
journal= {arXiv preprint arXiv:2310.11670},
year = {2023}
}
备注
Accepted by EMNLP 2023