迭代提示预训练语言模型以实现思维链

尽管预训练语言模型（PLMs）内化了大量世界知识，但已被证明无法回忆这些知识来解决需要复杂且多步推理的任务。类似于人类为这些任务发展出“思维链”，我们如何赋予 PLMs 此类能力？本工作中，我们探索一种迭代提示框架，这是一种新的提示范式，逐步从 PLMs 中引出相关知识以进行多步推断。我们指出了现有提示方法的关键局限，即它们要么受限于具有单一可识别关系/谓词的查询，要么对输入上下文不可知，这使得难以捕捉不同推断步之间的变化。我们提出一种迭代上下文感知提示器，通过学习动态合成以当前步上下文为条件的提示来解决这些局限。在三个涉及多步推理的数据集上的实验显示了迭代方案与上下文感知提示器设计的有效性。