超越思维链：语言模型中有效的思维图推理
计算与语言
2024-03-26 v2
摘要
随着语言模型（LM）在 NLP 任务中的广泛使用，研究者发现了思维链（CoT）通过生成中间步骤协助 LM 完成复杂推理任务的潜力。然而，人类的思维过程通常是非线性的，而非简单的顺序思维链。因此，我们提出思维图（GoT）推理，将人类思维过程建模为不仅是链，而且是图。通过将思维单元表示为节点、它们之间的连接表示为边，我们的方法捕捉了人类思维的非顺序本质，并允许更真实地建模思维过程。GoT 采用两阶段框架，带有额外的 GoT 编码器用于思维图表示，并通过门控融合机制将图表示与原始输入表示融合。我们在纯文本推理任务（AQUA-RAT）和多模态推理任务（ScienceQA）上评估 GoT 的性能。我们的模型在 AQUA-RAT 测试集上相较强 CoT 基线取得显著提升，并在 ScienceQA 测试集上使用 T5-base 模型将准确率从 85.19% 提升至 87.59%，优于最先进的多模态思维链。
引用
@article{arxiv.2305.16582,
title = {Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models},
author = {Yao Yao and Zuchao Li and Hai Zhao},
journal= {arXiv preprint arXiv:2305.16582},
year = {2024}
}