语言模型通过预备检索知识获得利益
计算与语言
2025-05-27 v4 人工智能
摘要
零样本链式思考（CoT）方法常用于问答任务中，语言模型（LM）需要进行多步推理。然而，一些问答任务更依赖于获取相关知识，而非链式推理。我们提出一种简单有效的提示技术，称为 PREP（Preparation），该技术使用两个 LM 实例：第一个（LM1）生成相关信息，第二个（LM2）接收用户提供的信息并回答问题。这种设计旨在更好地利用 LM 的指令遵循能力。PREP 可适用于各种问答任务，无需特定领域的提示工程。PREP 在 100 个问答问题的数据集上开发，这些问题来源于详细的图式数据集，指定制品部件和材料组成。这些问题询问两种制品中哪一种不太可能与另一种制品共享材料。此类问题检验 LM 对不同制品部件结构中共享材料的了解。我们在parts-and-materials数据集以及三个已发表的常识推理数据集上测试了该方法。在所有测试数据集上，我们方法的平均准确率始终高于所有其他 tested 方法。
引用
@article{arxiv.2409.01345,
title = {Language Models Benefit from Preparation with Elicited Knowledge},
author = {Jiacan Yu and Hannah An and Lenhart K. Schubert},
journal= {arXiv preprint arXiv:2409.01345},
year = {2025}
}