在基于知识图谱的多跳推理中直接评估思维链
计算与语言
2024-06-21 v2
摘要
当被提示在生成答案的同时生成思维链解释时，大型语言模型展现出了强大的推理能力。然而，以往关于评估 LLM 的研究仅关注答案准确性，忽略了所生成 CoT 的正确性。在本文中，我们利用知识图谱深入探讨了 LLM 在多跳问答中的 CoT 推理能力。我们提出了一种新颖的判别式与生成式 CoT 评估范式，以评估 LLM 的推理知识与生成 CoT 的准确性。通过在 2 个多跳问答数据集上对 5 个不同系列的 LLM 进行实验，我们发现 LLM 具备执行推理的充分知识。然而，LLM 生成的 CoT 推理的答案准确性与忠实性之间存在显著差异，表明它们经常通过错误的推理得出正确的答案。
引用
@article{arxiv.2402.11199,
title = {Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs},
author = {Minh-Vuong Nguyen and Linhao Luo and Fatemeh Shiri and Dinh Phung and Yuan-Fang Li and Thuy-Trang Vu and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2402.11199},
year = {2024}
}
备注
Minh-Vuong Nguyen and Linhao Luo are co-first authors and contributed equally to the preparation of this manuscript. Accepted to ACL24-Findings