结构使 LLM 在错误自局定方面更有效
人工智能
2026-02-03 v1
摘要
语言模型的自我纠正仍然尚不完善。本文探讨了语言模型是否能够显式局定错误的推理，从而 toward 构建能够有效自我纠正的 AI 系统。我们引入一种 prompting 方法，将推理结构化为离散且语义连贯的 thought 步骤，并展示模型能够在此结构下可靠地局定错误，而在常规的、非结构化的 chain-of-thought 推理中则无法做到。受人类大脑在离散决策点监控错误并重新抽样替代方案的启发，我们引入 Iterative Correction Sampling of Thoughts（Thought-ICS），一种自我纠正框架。Thought-ICS 持续 prompt 模型逐个离散且完整的 thought 生成推理——每个 thought 表示模型的一次 deliberate 决策——从而为精确的错误局定创建自然的边界。 Upon verification，模型局定第一个错误的步骤，系统回溯以从 last correct point 生成 alternative reasoning。当被要求纠正由 oracle 验证为 incorrect 的推理时，Thought-ICS 实现了 20-40% 的 self-correction 提升。在完全 autonomous setting 中无外部验证的情况下，它超过了当代自我纠正 baseline。
引用
@article{arxiv.2602.02416,
title = {Structure Enables Effective Self-Localization of Errors in LLMs},
author = {Ankur Samanta and Akshayaa Magesh and Ayush Jain and Kavosh Asadi and Youliang Yu and Daniel Jiang and Boris Vidolov and Kaveh Hassani and Paul Sajda and Jalaj Bhandari and Yonathan Efroni},
journal= {arXiv preprint arXiv:2602.02416},
year = {2026}
}