从 Hopfield 视角理解链路思维中的推理

大型语言模型在各类任务中展现出惊人的能力，链路思维（Chain-of-Thought, CoT） prompting 作为提升推理能力的关键技术日益受到关注。然而，现有研究主要聚焦于提升性能，缺乏能够解释和理解 CoT 成功背后根本性因素的综合性框架。为弥合这一差距，本文引入一种基于认知神经科学中 Hopfield 视角的新颖观点。我们在此视角下建立了 CoT 推理与刺激、动作、神经群体及表征空间等关键认知要素之间的联系。从我们的观察出发，可以将推理过程理解为这些表征空间之间的运动。基于这一洞见，我们发展了一种用于局部化化链路思维响应中推理错误的方法。此外，我们提出了表示思维（Representation-of-Thought, RoT）框架，利用低维表征空间的鲁棒性来增强链路思维推理过程的鲁棒性。实验结果表明，RoT 在保持链路思维推理可解释性的同时，显著提升了其鲁棒性，并为链路思维过程的细粒度控制提供了可能。