NSP-BERT：通过原始预训练任务——下一句预测实现的基于提示的少样本学习器
计算与语言
2022-10-19 v2 人工智能
摘要
利用提示来使用语言模型执行各种下游任务，也称为基于提示的学习或提示学习，近来相较于预训练与微调范式取得了显著成功。然而，几乎所有这些基于提示的方法都是 token 级的，即它们都利用 GPT 的自左向右语言模型或 BERT 的掩码语言模型来执行完形填空式任务。在本文中，我们尝试使用被 RoBERTa 及其他模型抛弃的 BERT 原始预训练任务——下一句预测（NSP），在零样本场景下完成若干 NLP 任务。与 token 级技术不同，我们的句子级基于提示的方法 NSP-BERT 不需要固定提示的长度或待预测位置，使其能轻松处理如实体链接等任务。基于 NSP-BERT 的特性，我们为各种下游任务提供了若干快速构建模板。我们特别针对词义消歧任务提出两阶段提示方法。我们映射标签的策略显著提升了模型在句子对任务上的性能。在 FewCLUE 基准上，我们的 NSP-BERT 在大多数任务上优于其他零样本方法，并接近少样本方法。
引用
@article{arxiv.2109.03564,
title = {NSP-BERT: A Prompt-based Few-Shot Learner Through an Original Pre-training Task--Next Sentence Prediction},
author = {Yi Sun and Yu Zheng and Chao Hao and Hangping Qiu},
journal= {arXiv preprint arXiv:2109.03564},
year = {2022}
}
备注
Published at COLING2022, long paper