将指令提示重构为 GPTk 的语言
计算与语言
2022-03-17 v3 人工智能
机器学习
摘要
哪些类型的指令提示更易于语言模型（LMs）遵循？我们通过开展广泛的实证分析来研究这一问题，以揭示成功指令提示的重要特征。具体而言，我们研究了几类用于手动将提示重构为更有效提示的重构技术。一些例子包括将复杂任务指令分解为多个更简单的任务，或将指令逐项化为顺序步骤。我们的实验比较了在 6 类共 12 个 NLP 任务上，使用重构指令提示的 LMs 的零样本与少样本性能。与原始指令相比，我们的重构指令在不同规模的 LMs 上均带来了显著提升。例如，相同的重构提示在全部任务上平均将 GPT3 系列与 GPT2 系列的少样本性能分别提升了 12.5% 和 6.7%。此外，重构指令减少了少样本设置下提示 LMs 所需的示例数量。我们希望这些由实证驱动的技术能为未来更有效的提示算法铺平道路。
引用
@article{arxiv.2109.07830,
title = {Reframing Instructional Prompts to GPTk's Language},
author = {Swaroop Mishra and Daniel Khashabi and Chitta Baral and Yejin Choi and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2109.07830},
year = {2022}
}
备注
ACL 2022 Findings