EchoPrompt：指示模型重述查询以改进上下文学习
计算与语言
2024-02-22 v3
摘要
语言模型通过积极采用推理时提示技术（如零样本和少样本提示）在各种任务上取得令人印象深刻的性能。本文中，我们介绍 EchoPrompt，一种简单而有效的方法，它提示模型在回答查询之前先对其查询进行重述。EchoPrompt 适用于标准提示和思维链提示下的零样本与少样本上下文学习。实验结果表明，EchoPrompt 在这所有设置下对四个系列的因果语言模型均带来显著提升。这些提升在各类数值推理（如 GSM8K、SVAMP）、阅读理解（如 DROP）和逻辑推理（如 Coin Flipping）任务上均可观察到。平均而言，EchoPrompt 将 code-davinci-002 的零样本思维链性能在数值任务上提升 5%，在阅读理解任务上提升 13%。我们通过消融研究探究了促成 EchoPrompt 有效性的因素，揭示出原始查询与模型生成的重述版本均对其性能提升起到关键作用。我们的实证结果表明，EchoPrompt 是一种提升上下文学习性能的有效技术。我们建议将 EchoPrompt 融入各种基线提示策略中以获取性能增益。
引用
@article{arxiv.2309.10687,
title = {EchoPrompt: Instructing the Model to Rephrase Queries for Improved In-context Learning},
author = {Rajasekhar Reddy Mekala and Yasaman Razeghi and Sameer Singh},
journal= {arXiv preprint arXiv:2309.10687},
year = {2024}
}