AdaPrompt：面向提示驱动自然语言处理的自适应模型训练
计算与语言
2022-11-21 v2
摘要
基于提示的学习因其能够处理零样本和少样本自然语言处理（NLP）任务而备受关注。其核心思想是通过将下游 NLP 任务映射为自然语言提示，再由预训练语言模型（PLM）进行填充，从而弥合 NLP 下游任务与语言建模（LM）之间的差距。然而，对于提示学习，NLP 任务与预训练之间仍存在两个显著差距。第一，提示信息在 LM 预训练期间未必充分存在。第二，任务特定数据在预训练期间未必得到良好表示。我们通过提出 AdaPrompt 来解决这两个问题，该方法利用任务和提示的特征，自适应地检索外部数据以对 PLM 进行持续预训练。此外，我们利用自然语言推理模型中的知识来推导自适应言语化器。在五个 NLP 基准上的实验结果表明，AdaPrompt 在少样本设置下能优于标准 PLM。此外，在零样本设置下，我们的方法相比标准基于提示的方法，相对误差降低幅度最高可达 26.35%。
引用
@article{arxiv.2202.04824,
title = {AdaPrompt: Adaptive Model Training for Prompt-based NLP},
author = {Yulong Chen and Yang Liu and Li Dong and Shuohang Wang and Chenguang Zhu and Michael Zeng and Yue Zhang},
journal= {arXiv preprint arXiv:2202.04824},
year = {2022}
}