RAT：检索增强思维激发长程生成中的上下文感知推理
计算与语言
2024-03-11 v1 人工智能
摘要
我们探讨了如何在信息检索的帮助下迭代修正思维链，从而显著提高大型语言模型在长程生成任务中的推理和生成能力，同时大幅减少幻觉。具体而言，所提出的方法——*检索增强思维*（RAT）——在生成初始零样本思维链（CoT）后，利用与任务查询、当前及过往思维步骤相关的检索信息，逐步修正每一个思维步骤。将 RAT 应用于 GPT-3.5、GPT-4 和 CodeLLaMA-7b，显著提升了它们在各类长程生成任务中的表现；在代码生成、数学推理、创意写作和具身任务规划方面，相对评分平均分别提高了 13.63%、16.96%、19.2% 和 42.78%。演示页面可见 https://craftjarvis.github.io/RAT
引用
@article{arxiv.2403.05313,
title = {RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation},
author = {Zihao Wang and Anji Liu and Haowei Lin and Jiaqi Li and Xiaojian Ma and Yitao Liang},
journal= {arXiv preprint arXiv:2403.05313},
year = {2024}
}