解构 LLM 推理中的误information 传播
计算与语言
2025-09-24 v2
摘要
大型语言模型（LLM）在推理方面展现了惊人的能力，使其成为支持人类问题解决的有前景工具。然而，当其性能受到误information 的影响时——即因用户疏漏或知识缺口而引入的错误输入——会发生什么情况？在与 LLM 的实际交互中，误information 相当普遍，但其在 LLM 推理过程中的传播方式仍未得到充分探索。我们聚焦于数学推理，全面分析误information 对中间推理步骤和最终答案的影响。我们也检验了 LLM 在被明确指示纠正误information 时的效果。即使有明确指示，LLM 在纠正误information 的成功率仍不足一半，尽管拥有正确的内部知识，这导致显著的准确率下降（10.02% - 72.20%），且在包含思考模型的情况下也持续降低（4.30% - 19.97%）。进一步分析表明，尽早在推理过程中应用事实性纠正可最有效减少误information 传播，针对包含早期纠正的合成数据进行微调可显著提高推理事实性。我们的工作提供了实用的方法来缓解误information 传播。
引用
@article{arxiv.2505.18555,
title = {Unraveling Misinformation Propagation in LLM Reasoning},
author = {Yiyang Feng and Yichen Wang and Shaobo Cui and Boi Faltings and Mina Lee and Jiawei Zhou},
journal= {arXiv preprint arXiv:2505.18555},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Findings)