THOUGHT-LIKE-PRO：通过自驱动基于 Prolog 的链式思考提升大语言模型推理能力
人工智能
2024-08-13 v2 计算与语言
摘要
大语言模型 (LLM) 在各类推理任务中表现卓越，作为通用助手展现了非凡能力。这标志着实现人工通用智能 (AGI) 的重要一步。尽管如此，LLM 的效果往往取决于所采用的具体提示策略，而缺乏一种稳健的框架来促进跨 diverse reasoning tasks 的学习和泛化。为此，我们引入了一种新型学习框架 THOUGHT-LIKE-PRO。该框架利用模仿学习模拟由符号 Prolog 逻辑引擎生成的经验证和翻译的链式思考 (CoT) 过程。该框架以自驱动方式运行，使 LLM 能够从给定指令中构建规则和语句，并利用符号 Prolog 引擎推导结果。随后，LLM 将由 Prolog 生成的连续推理轨迹转换为自然语言 CoT 以进行模仿学习。我们的实证研究表明，我们的方法显著提升了 LLM 的推理能力，并在 out-of-distribution reasoning tasks 上表现出稳健的泛化。
引用
@article{arxiv.2407.14562,
title = {Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Driven Prolog-based Chain-of-Thought},
author = {Xiaoyu Tan and Yongxin Deng and Xihe Qiu and Weidi Xu and Chao Qu and Wei Chu and Yinghui Xu and Yuan Qi},
journal= {arXiv preprint arXiv:2407.14562},
year = {2024}
}