DynaMaR：基于掩码令牌表示的动态提示
计算与语言
2022-06-08 v1 机器学习
摘要
近期研究表明，采用无监督方法预训练的大语言模型可在许多下游任务上取得显著性能提升。通常将这些语言模型适配到下游任务(如分类或回归任务)时，我们采用微调范式，即将语言模型的句子表示输入到任务特定的头部，然后端到端微调模型。然而，随着GPT-3等模型的出现，基于提示的微调已被证明是少样本任务的成功方法。受此启发，我们研究实践中的离散提示技术。标准提示方法会出现两个问题。首先，它可能过拟合于提示模板。其次，它需要人工将下游任务构建为语言模型问题。本文提出一种改进基于提示的微调的方法以解决这两个问题。我们将该方法称为DynaMaR——基于掩码令牌表示的动态提示。结果表明，在四个电子商务应用中，DynaMaR在少样本设定下可比标准微调方法平均提升10%，在数据丰富设定下提升3.7%。
引用
@article{arxiv.2206.02982,
title = {DynaMaR: Dynamic Prompt with Mask Token Representation},
author = {Xiaodi Sun and Sunny Rajagopalan and Priyanka Nigam and Weiyi Lu and Yi Xu and Belinda Zeng and Trishul Chilimbi},
journal= {arXiv preprint arXiv:2206.02982},
year = {2022}
}