面向中文少样本学习的模块化提示多任务预训练
计算与语言
2023-05-09 v3
摘要
提示微调是一种将预训练语言模型适配下游任务的参数高效方法。尽管已有研究表明在训练数据充足时提示微调可媲美全模型微调的性能，它在少样本学习场景下往往表现不佳。本文提出多任务预训练模块化提示（MP2）以提升少样本学习下的提示微调。MP2 是一组在 38 个中文任务上预训练的可组合提示。在下游任务上，预训练提示被选择性激活与组合，从而对未见过任务产生强组合泛化能力。为弥合预训练与微调间的鸿沟，我们将上游与下游任务统一为机器阅读理解任务。在梯度下降与黑盒微调两种学习范式下的广泛实验表明，MP2 在少样本设置下显著优于提示微调、全模型微调及已有提示预训练方法。此外，我们展示 MP2 仅通过学习 8 个参数组合预训练模块化提示，即可对下游任务实现惊人快速且强的适配。
引用
@article{arxiv.2210.07565,
title = {Multitask Pre-training of Modular Prompt for Chinese Few-Shot Learning},
author = {Tianxiang Sun and Zhengfu He and Qin Zhu and Xipeng Qiu and Xuanjing Huang},
journal= {arXiv preprint arXiv:2210.07565},
year = {2023}
}
备注
Accepted to ACL 2023 (main conference). Code and data are publicly available at https://github.com/Hzfinfdu/MPMP