CoAT：增强大语言模型推理能力的关联思维链框架
计算与语言
2025-11-14 v3 人工智能
摘要
关于大语言模型（LLM）技术的研究正在迅速涌现，其中大多数采用“快思考”方法进行推理。大多数 LLM 仅基于单个查询和 LLM 的推理能力生成最终结果。然而，随着 OpenAI-o1 的出现，“慢思考”技术因其过程更接近人类思维过程而受到越来越多的关注。受人类在思考过程中不断联想和补充知识的能力启发，我们开发了新颖的关联思维链（CoAT）框架，该框架引入了蒙特卡洛树搜索（MCTS）算法与一种用于整合新关键信息的动态机制（称为“联想记忆”）之间的创新协同作用。通过将 MCTS 的结构化探索能力与联想记忆的自适应学习能力相结合，CoAT 显著扩展了 LLM 的搜索空间，使我们的框架能够探索多样化的推理路径并实时动态更新其知识库。这使得该框架不仅能够重新审视和细化早期的推理，还能自适应地整合不断演变的信息，确保最终输出既准确又全面。我们在各种生成和推理任务上验证了 CoAT 的有效性。定量实验表明，CoAT 在开源多跳推理数据集（HotpotQA、MuSiQue）上实现了超过 10% 的性能提升，在我们专有的 CRB 数据集上实现了超过 15% 的提升。
引用
@article{arxiv.2502.02390,
title = {CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning},
author = {Jianfeng Pan and Senyou Deng and Shaomang Huang},
journal= {arXiv preprint arXiv:2502.02390},
year = {2025}
}
备注
18 pages, 10 figures, Accepted by EMNLP 2025 (Findings)