Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning

基于迭代总结的推理框架如InftyThink通过控制上下文增长实现了大范围推理，但会在不同任务中反复生成类似的推理策略。我们引入InftyThink with Cross-Chain Memory，该框架通过嵌入式语义缓存存储先前成功的推理模式，增强了迭代推理。每一步推理中，模型检索并以最语义相似的存储引理为导向，指导推理而不无差别地扩大上下文窗口。在MATH500、AIME2024和GPQA-Diamond上的实验表明，语义引理检索在结构化领域提高了准确性，同时暴露了在包含异构领域的测试中存在的局限性。推理轨迹的几何分析揭示，缓存检索在嵌入空间中引发方向性偏差，导致一致的"fix"（改善基准准确性）和"break"（降低基准准确性）吸引子。我们的结果凸显了基于相似性的记忆在自我改进LLM推理中的优势与局限。