MetaPrompting：学习更好地学习提示
计算与语言
2023-02-06 v4
摘要
提示方法被视为少样本自然语言处理的重要进展之一。近期提示相关研究从基于离散 token 的“硬提示”转向连续的“软提示”，后者采用可学习向量作为伪提示 token 并取得更好性能。尽管展现出良好前景，这些软提示方法被观察到严重依赖良好的初始化才能生效。不幸的是，为软提示获得完美初始化需要理解内部语言模型工作机制并精心设计的，这并非易事，且对每个新任务都须从零开始。为此，我们提出一种称为 MetaPrompting 的通用软提示方法，其采用广受认可的模型无关元学习算法自动寻找更优的提示初始化，从而促成对新提示任务的快速适配。大量实验表明，MetaPrompting 解决了软提示初始化问题，并在四个不同数据集上带来显著提升（1-shot 设置下准确率提升超 6 个点），取得了新的 SOTA 性能。
引用
@article{arxiv.2209.11486,
title = {MetaPrompting: Learning to Learn Better Prompts},
author = {Yutai Hou and Hongyuan Dong and Xinghao Wang and Bohan Li and Wanxiang Che},
journal= {arXiv preprint arXiv:2209.11486},
year = {2023}
}
备注
Accepted as COLING 2022 long paper