ConsPrompt：利用对比样本进行少样本提示学习
计算与语言
2024-03-13 v3 人工智能
摘要
提示已成为利用预训练语言模型的有效语言工具。然而，在少样本场景下，提示设计的细微改动总会使结果大相径庭，且提示学习方法也容易对有限样本过拟合。为缓解此问题，我们探索利用合适的对比样本与多尺度对比学习方法来提升提示表示的鲁棒性。因此，本文提出结合提示编码网络、对比采样模块与对比打分模块的 ConsPrompt，以实现差异化对比学习。我们的结果在不同少样本设定下均展现出 SOTA 性能，且消融实验也证明了在基于提示的微调过程中利用多尺度对比学习的有效性。
引用
@article{arxiv.2211.04118,
title = {ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning},
author = {Jinta Weng and Yifan Deng and d Donghao Li and Hao You and Yue Hu and Heyan Huang},
journal= {arXiv preprint arXiv:2211.04118},
year = {2024}
}
备注
2 figures