探究任务无关前缀提示在指令遵循中的有效性
计算与语言
2023-12-27 v2 人工智能
摘要
在本文中，我们展示了在输入前添加任务无关前缀提示（Task-Agnostic Prefix Prompt，TAPP）可在推理时提升各类大语言模型（LLMs）的指令遵循能力。TAPP 与 LLM 的常规提示不同，它是一个固定提示，无论目标任务如何，都前置到每个输入的起始处以实现零样本泛化。我们观察到基础 LLM（即未经过指令微调的模型）和指令微调模型均能从 TAPP 中受益，平均分别提升 34.58% 和 12.26%。这意味着 LLM 的指令遵循能力可在推理时通过一个以简单启发式方法构建的固定提示得到提升。我们假设 TAPP 通过在推理时使语言模型更关注目标任务的指令，从而更好地估计输出分布。换言之，这种能力似乎不仅基础 LLM 未充分激活，许多指令微调 LLM 亦如此。所有实验均可从 https://github.com/seonghyeonye/TAPP 复现。
引用
@article{arxiv.2302.14691,
title = {Investigating the Effectiveness of Task-Agnostic Prefix Prompt for Instruction Following},
author = {Seonghyeon Ye and Hyeonbin Hwang and Sohee Yang and Hyeongu Yun and Yireun Kim and Minjoon Seo},
journal= {arXiv preprint arXiv:2302.14691},
year = {2023}
}
备注
AAAI 2024