基于 DSPy 的神经符号管线以提升 LLM 的空间推理能力
人工智能
2024-12-13 v2 计算与语言
摘要
大语言模型（LLM）在各类任务中展现出惊人的能力，但常常在空间推理方面受限。本文提出了一种新型神经符号框架，通过 LLM 与答案集编程（ASP）之间进行迭代反馈来增强 LLM 的空间推理能力。我们在两个基准数据集上评估了该方法：StepGame 和 SparQA，实现了三种不同的策略：（1）直接提示基线，（2）Facts+Rules 提示，以及（3）基于 DSPy 的 LLM+ASP 管线及其迭代细化。我们的实验结果表明，LLM+ASP 管线显著优于基线方法，在 StepGame 上实现 82% 的平均准确率，在 SparQA 上实现 69%，分别相对于直接提示提升了 40-50% 和 8-15%。成功的原因在于三项关键创新：（1）通过模块化管线实现语义解析与逻辑推理的有效分离，（2）LLM 与 ASP 求解器之间实现迭代反馈机制以提高程序成功率，（3）鲁棒的错误处理解决了解析、 grounding 和求解故障。此外，我们提出 Facts+Rules 作为一种轻量级替代方案，可在复杂的 SparQA 数据集上实现相当的性能，同时降低计算开销。我们在不同的 LLM 架构（Deepseek、Llama3-70B、GPT-4.0 mini）上的分析表明，该框架具有普适性，并提供了实现复杂度与推理能力之间权衡的见解，为开发更可解释和可靠的人工智能系统作出了贡献。
引用
@article{arxiv.2411.18564,
title = {Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs},
author = {Rong Wang and Kun Sun and Jonas Kuhn},
journal= {arXiv preprint arXiv:2411.18564},
year = {2024}
}