通过对比提示微调使预训练语言模型成为端到端少样本学习器
计算与语言
2022-04-04 v1 人工智能
摘要
预训练语言模型（PLMs）在 IR 系统的各类语言理解任务中取得了卓越性能，其需要基于有标签训练数据的微调过程。对于低资源场景，基于提示的 PLM 学习利用提示作为任务引导，将下游任务转化为掩码语言问题以实现有效的少样本微调。在多数现有方法中，基于提示学习的高性能严重依赖于手工设计的提示与 verbalizers，这可能限制此类方法在真实场景中的应用。为解决该问题，我们提出 CP-Tuning，首个无需任何任务特定提示与 verbalizers 手工工程的端到端对比提示微调框架，用于微调 PLMs。它集成了任务无关的连续提示编码技术与完全可训练的提示参数。我们进一步提出成对代价敏感对比学习过程来优化模型，以实现无 verbalizer 的类别映射并增强提示的任务无关性。它通过为易样本与难样本分配不同代价，显式学习区分不同类别并使决策边界更平滑。在 IR 系统中使用的多种语言理解任务与不同 PLMs 上的实验表明，CP-Tuning 优于最先进的方法。
引用
@article{arxiv.2204.00166,
title = {Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning},
author = {Ziyun Xu and Chengyu Wang and Minghui Qiu and Fuli Luo and Runxin Xu and Songfang Huang and Jun Huang},
journal= {arXiv preprint arXiv:2204.00166},
year = {2022}
}