HYBRIDMIND：用于增强 LLM 推理的自然语言与符号语言的元选择
计算与语言
2025-02-27 v5
摘要
LLM 通过自然语言或符号语言来进行逻辑和数学推理。虽然自然语言提供了人类可访问的灵活性，但存在歧义；符号推理提供了精确、可机器执行的推理，但受限于严格的领域约束。我们引入 HYBRIDMIND，一种针对每个推理问题选择最佳推理方法的自适应策略。通过大量实验，我们评估了基于提示的做法与经过微调的开源模型。我们发现，将 LLaMA-3.1-8B-Instruct 作为元选择器进行微调的性能优于 GPT-4o 的自然语言推理在 FOLIO 上提升 4.4%，在 MATH 上提升 1.3%。更值得注意的是，使用 GPT-3.5-turbo 作为提示式元选择器在 FOLIO 的具有挑战性的子集上 outperform GPT-4o 达 10%。我们将发布代码和数据以支持未来研究。
关键词
引用
@article{arxiv.2409.19381,
title = {HYBRIDMIND: Meta Selection of Natural Language and Symbolic Language for Enhanced LLM Reasoning},
author = {Simeng Han and Tianyu Liu and Chuhan Li and Xuyuan Xiong and Arman Cohan},
journal= {arXiv preprint arXiv:2409.19381},
year = {2025}
}