大语言模型中针对不同 NLP 任务的提示工程方法综述
计算与语言
2024-07-25 v2 人工智能
摘要
大语言模型 (LLM) 在诸多不同的自然语言处理 (NLP) 任务上显示出惊人的性能。提示工程在为 LLM 添加更多到其已有能力以实现在各种 NLP 任务上取得显著性能提升方面发挥着关键作用。提示工程需要编写自然语言指令（称为提示）以结构化的方式从 LLM 中提取知识。不同于以前的 state-of-the-art (SOTA) 模型，提示工程不需要基于给定的 NLP 任务进行大量的参数重新训练或微调，因此仅依赖于 LLM 嵌入的知识。此外，LLM 爱好者可以通过简单的自然语言对话或提示工程，从而智能地从 LLM 中提取知识，使得即使没有深厚的数学机器学习背景的人也能够实验 LLM。鉴于提示工程在过去两年中受到热烈欢迎，研究人员围绕设计提示以提高从 LLM 中提取信息的准确率，提出了众多工程技术。在本文中，我们总结了不同的提示技术，并根据它们所用于的不同 NLP 任务进行归类。我们进一步细致地概述了这些提示策略在 various 属于该 NLP 任务的数据集上的性能，讨论了相应使用的 LLM，呈现了 taxonomy 框图，并讨论了特定数据集的可能 SOTA。总体而言，我们阅读并呈现了 44 篇关于 39 种不同提示方法在 29 种不同 NLP 任务上的研究论文，其中大多数论文在过去两年内发表。
引用
@article{arxiv.2407.12994,
title = {A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks},
author = {Shubham Vatsal and Harsh Dubey},
journal= {arXiv preprint arXiv:2407.12994},
year = {2024}
}