通过注意力感知干预提升逻辑推理的链路思考

现代大语言模型(LLM)的逻辑推理主要依赖于复杂的交互式框架，将推理过程分解为通过精心设计的提示或依赖外部资源（如符号求解器）来解决的子任务，以发挥其强大的逻辑结构。虽然交互式方法引入了额外的开销或依赖于外部组件，限制了其可扩展性。本文引入一种非交互式、端到端的框架，用于推理任务，使推理能够在模型内部自发涌现——在保持可分析性的同时提升泛化能力，无需任何外部资源。我们表明，将结构化信息引入few-shot提示中，可激活一部分注意力头，这些注意力头模式与逻辑推理算子一致。基于这一洞察，我们提出了注意力感知干预(Attention-Aware Intervention, AAI)方法，通过注意力得分的再加权来实现对特定注意力头的干预。AAI为通过注意力调制引导模型的推理以利用先验知识提供了一种高效方法。大量实验表明，AAI在多样化基准测试和模型架构上都能提升逻辑推理性能，同时引入的额外计算开销可忽略不计。代码已公开https://github.com/phuongnm94/aai_for_logical_reasoning。