提示 ELECTRA：基于判别性预训练模型的少样本学习
计算与语言
2022-10-28 v3 机器学习
摘要
预训练掩码语言模型通过将下游任务表述为文本填充，成功地进行少样本学习。然而，作为全样本设置下强有力的替代方案，诸如 ELECTRA 之类的判别性预训练模型并不适合该范式。在这项工作中，我们将基于提示的少样本学习适配到 ELECTRA，并表明其在广泛任务上优于掩码语言模型。ELECTRA 被预训练以区分一个词元是生成的还是原始的。我们自然地将其扩展到基于提示的少样本学习，通过训练来评分目标选项的原始性，而不引入新参数。我们的方法可以轻松适配涉及多词元预测的任务，且无额外计算开销。分析表明，ELECTRA 学习到的分布与下游任务对齐得更好。
引用
@article{arxiv.2205.15223,
title = {Prompting ELECTRA: Few-Shot Learning with Discriminative Pre-Trained Models},
author = {Mengzhou Xia and Mikel Artetxe and Jingfei Du and Danqi Chen and Ves Stoyanov},
journal= {arXiv preprint arXiv:2205.15223},
year = {2022}
}
备注
Accepted to EMNLP 2022; The code is available at https://github.com/facebookresearch/ELECTRA-Fewshot-Learning