通过多思维链元推理回答问题
计算与语言
2024-08-05 v4 人工智能
摘要
现代多跳问答(QA)系统通常将问题拆解为一系列推理步骤,称为思维链(CoT),再得出最终答案。通常,系统会采样多条链并通过最终答案上的投票机制进行聚合,但中间步骤本身被丢弃。尽管此类方法提升了性能,它们未考虑跨链中间步骤之间的关系,也未对预测答案提供统一解释。我们提出多链推理(MCR),一种提示大语言模型对多条思维链进行元推理、而非聚合其答案的方法。MCR 审视不同推理链,在它们之间混合信息,并筛选最相关事实以生成解释并预测答案。MCR 在 7 个多跳 QA 数据集上优于强基线。此外,我们的分析表明 MCR 解释具有高质量,使人类能够验证其答案。
引用
@article{arxiv.2304.13007,
title = {Answering Questions by Meta-Reasoning over Multiple Chains of Thought},
author = {Ori Yoran and Tomer Wolfson and Ben Bogin and Uri Katz and Daniel Deutch and Jonathan Berant},
journal= {arXiv preprint arXiv:2304.13007},
year = {2024}
}
备注
Accepted for publication in The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023). Author's final version