大语言模型能否真正理解提示？一项基于否定提示的案例研究
计算与语言
2022-09-27 v1
摘要
先前的研究表明，语言模型（LM）的规模与其在不同下游 NLP 任务上零样本性能之间存在缩放定律。在本工作中，我们表明当在带有否定提示的任务上评估大型 LM 时，这一现象并不成立，而是呈现出逆缩放定律。我们在以下模型上评估了 9 个不同带否定提示的任务：(1) 不同规模（125M–175B）的预训练 LM（OPT 与 GPT-3），(2) 为进一步泛化至新提示而继续预训练的 LM（InstructGPT），(3) 提供少样本示例的 LM，以及 (4) 专门在否定提示上微调的 LM；所有类型的 LM 在规模增大时于否定提示上的表现均更差，并且在比较原始与否定提示上平均得分时，与人类表现之间存在巨大性能差距。通过凸显现有 LM 与方法的一个关键局限，我们敦促学界开发能够真正遵循所给指令的 LM 新构建方法。我们在 https://github.com/joeljang/negated-prompts-for-llms 提供了用于探索否定提示的代码与数据集。
引用
@article{arxiv.2209.12711,
title = {Can Large Language Models Truly Understand Prompts? A Case Study with Negated Prompts},
author = {Joel Jang and Seonghyeon Ye and Minjoon Seo},
journal= {arXiv preprint arXiv:2209.12711},
year = {2022}
}