大型语言模型是零样本学习者

本文提出了零样本提示（null-shot prompting）。零样本提示利用大型语言模型（LLM）的幻觉现象，通过指示LLM使用提供的上下文中从未存在的“示例”部分中的信息来执行任务。虽然减少幻觉对于LLM的日常和关键用途至关重要且不可忽视，但我们提出，在当前这些LLM仍然存在幻觉的情况下，实际上可以利用幻觉来提高执行任务时的性能，相比于标准的零样本提示。对八个LLM的实验表明，在八个数据集中的大多数（包括阅读理解、算术推理和闭卷问答）上，性能均有提升。观察到的不同LLM之间相对性能提升的不一致性也潜在表明了每个模型固有幻觉程度的不同。这些差异表明，可以利用零样本提示作为一种通过现有基准数据集检测LLM幻觉程度的方法。我们还进行了消融研究，包括实验了一种结合了零样本思维链提示思想的零样本提示的修改版本，该版本显示了不同的结果趋势。