面向序列到序列模型提示的自动标签序列生成
计算与语言
2022-09-21 v1 机器学习
摘要
提示（prompting）将下游应用转化为语言建模任务，相较使用预训练模型的标准微调已显示出样本高效性。然而，提示的一个缺陷是需要人工设计的模板，其结果可能不直观且需大型验证集调参。为应对该挑战，我们提出AutoSeq，一种全自动提示方法：（1）我们在序列到序列模型上采用自然语言提示，实现自由形式生成与更大标签搜索空间；（2）我们提出标签序列——用以语言化标签的任意长度短语——消除了对手动模板的需求且比单一标签词更具表达力；（3）我们使用束搜索自动生成大量标签序列候选，并提出对比重排序以获取最佳组合。AutoSeq显著优于其他无人工设计方法，如软提示微调、适配器微调和单标签词自动搜索；所生成标签序列在多种任务上甚至优于精心设计的手动模板。我们的方法揭示了序列到序列模型在少样本学习中的潜力，并为通用自动提示指明路径。本文源代码可从 https://github.com/thunlp/Seq2Seq-Prompt 获取。
引用
@article{arxiv.2209.09401,
title = {Automatic Label Sequence Generation for Prompting Sequence-to-sequence Models},
author = {Zichun Yu and Tianyu Gao and Zhengyan Zhang and Yankai Lin and Zhiyuan Liu and Maosong Sun and Jie Zhou},
journal= {arXiv preprint arXiv:2209.09401},
year = {2022}
}
备注
Accepted to COLING 2022