思想类比：通过最小自由解析改进大语言模型的思考链
计算与语言
2025-12-23 v3
摘要
思考链（Chain-of-Thought, CoT）通过将问题分解为顺序步骤来增强大型语言模型（LLMs）的推理能力，模仿人类逻辑并减少错误。然而，面对解空间广阔且约束模糊的复杂任务，单个推理链的容量往往不足。灵感来自交换代数和代数几何中的最小自由解析（Minimal Free Resolution, MFR），我们提出了“思想类比”（Syzygy of Thoughts, SoT）——一种新型框架，通过引入辅助且相互关联的推理路径来扩展CoT。SoT捕获更深层的逻辑依赖，实现更稳健、更结构化的解决问题。MFR将模块分解为秩最小的自由模块序列，提供了处理复杂系统的结构化分析方法。该方法引入“模块”、“Betti数”、“_freevess”、“映射”、“exactness”和“minimality”等概念，使原有复杂问题能在保持关键特征的同时，分解为逻辑完整的最小子问题，同时缩短推理长度。我们在多样化数据集（如GSM8K、MATH）和模型（如GPT-4o-mini、Qwen2.5）上测试了SoT，实现的推理准确率与主流CoT标准相当或更好。此外，通过将抽样过程与代数约束对齐，我们的方法提高了LLM推理时间的可扩展性，确保了推理的透明性和高性能。我们的代码将在https://github.com/dlMARiA/Syzygy-of-thoughts 上公开。
引用
@article{arxiv.2504.09566,
title = {Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution},
author = {Chenghao Li and Chaoning Zhang and Yi Lu and Jiaquan Zhang and Qigan Sun and Xudong Wang and Jiwei Wei and Guoqing Wang and Yang Yang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2504.09566},
year = {2025}
}