阅读再思考：通过分步骤阅读缓解 LLM 理解失败
计算与语言
2025-09-19 v2 人工智能
摘要
大型语言模型（LLM）常因问题理解错误而在复杂推理任务中失败，而不仅仅是逻辑错误。本文系统性地调查了这些理解失败。我们的工作得出三个关键见解：（1）计算中有效的分步骤原则可迁移到阅读过程中以增强理解；（2）增加问题相关标记的比例（例如通过重复）通过重新聚焦注意力成功实现，这一机制可以被显式控制；（3）反向依赖是解码器-only 模型的一个核心瓶颈，即使采用像链式思考这样的强大方法也仍然存在。基于这些发现，我们引入了 Step-by-Step Reading（SSR）系列提示。这种多阶段方法最终导向 SSR++，该方法专为通过引导模型以更细粒度解析问题、聚焦关键标记、通过迭代重新建模来解决反向依赖而设计，以深化模型的理解。SSR++ 在多个推理基准测试上取得了新的最佳成绩，我们的分析确认其通过直接缓解语义误理解来工作。这些结果表明，引导模型的阅读方式是一种强大且高效的方法，可提高其推理能力。
引用
@article{arxiv.2504.09402,
title = {Read Before You Think: Mitigating LLM Comprehension Failures with Step-by-Step Reading},
author = {Feijiang Han and Hengtao Cui and Licheng Guo and Zelong Wang and Zhiyuan Lyu},
journal= {arXiv preprint arXiv:2504.09402},
year = {2025}
}
备注
Done in November 2024