EPA：基于多源多目标的大型语言模型简易提示增强方法
计算与语言
2023-09-12 v1
摘要
大型语言模型（LLMs）已通过任务提示在各种 NLP 任务上展现出有前景的性能。并且其性能可通过在提示头部附加任务示例而进一步提升。通常，更多示例可带来更好性能。然而，要求用户编写示例可能繁琐。作为一种简单且具成本效益的替代方案，本文提出一种称为 EPA（\textbf{E}asy \textbf{P}rompt \textbf{A}ugmentation，简易提示增强）的新方法\footnote{尽管本文考虑通过示例增强提示，我们将其命名为 EPA，因为名称 EDA 已被著名的 NLP 方法 \citep{wei-zou-2019-eda} 占用。}，其有效最小化用户编写示例的努力，同时提升模型性能。EPA 通过利用多源/多目标自动增强示例来实现这些目标，其中每个源/目标相互释义。这具有充分动机，因为通过释义增强数据可有效改进神经语言模型。EPA 因此将释义用作上下文学习的一种增强方法。大量实验表明，EPA 有效改进了从自然语言推理到翻译数十种语言的机器翻译的 NLU 与 NLG 任务。\footnote{代码与数据将在发表后发布。}
引用
@article{arxiv.2309.04725,
title = {EPA: Easy Prompt Augmentation on Large Language Models via Multiple Sources and Multiple Targets},
author = {Hongyuan Lu and Wai Lam},
journal= {arXiv preprint arXiv:2309.04725},
year = {2023}
}