通用自适应提示
计算与语言
2023-10-24 v2 人工智能
机器学习
摘要
现代大语言模型（LLMs）的一个显著特征是令人印象深刻的通用零样本和少样本能力，通常通过提示进行上下文学习（ICL）来激发。然而，尽管零样本性能备受青睐且最具通用性，但由于缺乏引导，且在无真实标签的通用任务中难以应用现有自动提示设计方法，LLMs 的零样本性能通常仍较弱。在本研究中，我们提出通用自适应提示（USP）来解决这一问题，这是一种专为零样本学习（同时兼容少样本）定制的自动提示设计方法。USP 仅需少量无标签数据和仅推理的 LLM，具有高度通用性：为实现通用提示，USP 将可能的 NLP 任务归类为三种任务类型之一，然后使用相应的选择器挑选最合适的查询和零样本模型生成的响应作为伪演示，从而以完全自动化的方式将 ICL 推广到零样本设置。我们使用 PaLM 和 PaLM 2 模型对 USP 进行评估，结果表明其在 40 多项自然语言理解、自然语言生成和推理任务上的性能显著强于标准零样本基线，且常与少样本基线相当甚至更优。
引用
@article{arxiv.2305.14926,
title = {Universal Self-Adaptive Prompting},
author = {Xingchen Wan and Ruoxi Sun and Hootan Nakhost and Hanjun Dai and Julian Martin Eisenschlos and Sercan O. Arik and Tomas Pfister},
journal= {arXiv preprint arXiv:2305.14926},
year = {2023}
}
备注
EMNLP 2023 (Main). 10 pages, 5 figures, 4 tables (26 pages, 9 figures and 13 tables including references and appendices)