大语言模型无法发现推理错误，但在给定错误位置时可纠正它们
人工智能
2024-06-05 v3 计算与语言
机器学习
摘要
尽管自纠正已在提升大语言模型(LLM)输出的风格与质量方面展现出潜力(如 Chen 等人, 2023b; Madaan 等人, 2023),但近期尝试对逻辑或推理错误进行自纠正时,常导致正确答变为错误,整体性能反而下降(Huang 等人, 2023)。本文表明,自纠正性能不佳源于 LLM 难以发现逻辑错误,而非其纠正已知错误的能力不足。首先,我们在多个最先进 LLM 的错误发现能力上进行了基准测试,证明即便在高度客观、无歧义的情形下,它们普遍难以完成该任务。其次,我们借助回溯设置,将真实错误位置信息输入模型,从而将错误发现与纠正能力分开测试。结果表明,这提升了我们在 5 项推理任务上的下游任务性能,说明 LLM 的纠正能力是稳健的。最后,我们展示无需真实标签或领域内训练数据也可获得错误位置信息:我们用域外数据训练了一个小型分类器,其错误发现性能优于提示大型模型。我们发布了 LLM 生成的逻辑错误数据集 BIG-Bench Mistake,以促进对定位 LLM 推理错误的进一步研究。
引用
@article{arxiv.2311.08516,
title = {LLMs cannot find reasoning errors, but can correct them given the error location},
author = {Gladys Tyen and Hassan Mansoor and Victor Cărbune and Peter Chen and Tony Mak},
journal= {arXiv preprint arXiv:2311.08516},
year = {2024}
}
备注
ACL 2024 Findings