面向提示式少样本微调的原型化动词器
计算与语言
2022-03-21 v1 机器学习
摘要
预训练语言模型（PLMs）的基于提示的微调已在少样本学习中展现出其有效性。通常，基于提示的微调将输入文本包装为完形填空问题。为进行预测，模型通过动词器将输出词映射到标签，动词器或为人工设计，或为自动构建。然而，人工动词器严重依赖特定领域的先验知识与人力，而自动寻找合适的标签词仍具挑战。本工作中，我们提出原型化动词器（ProtoVerb），其直接由训练数据构建。具体而言，ProtoVerb 通过对比学习学习原型向量作为动词器。以此方式，原型概括了训练样本，并能够包含丰富的类级语义。我们在主题分类与实体类型标注任务上开展实验，结果表明 ProtoVerb 显著优于当前的自动动词器，尤其在训练数据极度稀缺时。更令人惊讶的是，ProtoVerb 即便在未微调的 PLMs 上也能持续增强基于提示的微调，表明了一种利用 PLMs 的优雅的非微调方式。我们的代码见 https://github.com/thunlp/OpenPrompt。
引用
@article{arxiv.2203.09770,
title = {Prototypical Verbalizer for Prompt-based Few-shot Tuning},
author = {Ganqu Cui and Shengding Hu and Ning Ding and Longtao Huang and Zhiyuan Liu},
journal= {arXiv preprint arXiv:2203.09770},
year = {2022}
}
备注
11 pages. ACL 2022 main conference