用于基于提示的少样本语言学习器的对比学习
计算与语言
2022-05-04 v1 人工智能
摘要
GPT-3使用自然语言提示和上下文学习所展现的令人印象深刻的性能，启发了在此范式下对中等规模模型更好微调的研究。遵循这一工作路线，我们提出一种对比学习框架，其对来自同一类的输入进行聚类，以提升仅用有限样本训练的模型的泛化能力。具体而言，我们提出一种有监督对比框架，其在不同增强“视图”下对来自同一类的输入聚类，并排斥来自不同类的输入。我们通过将示例附加不同的语言提示和上下文演示来创建其不同“视图”。将对比损失与基于提示的少样本学习器中的标准掩码语言建模（MLM）损失相结合，实验结果表明，我们的方法在15个不同语言任务上优于最先进的方法。我们的框架对任务或基模型做出最小假设，并可应用于许多近期方法而只需少量修改。代码将发布于：https://github.com/yiren-jian/LM-SupCon。
引用
@article{arxiv.2205.01308,
title = {Contrastive Learning for Prompt-Based Few-Shot Language Learners},
author = {Yiren Jian and Chongyang Gao and Soroush Vosoughi},
journal= {arXiv preprint arXiv:2205.01308},
year = {2022}
}
备注
accepted to NAACL 2022