让LLM成为更好的零样本推理者：面向结构的自主推理
机器学习
2024-10-28 v1
摘要
大型语言模型（LLM）的零样本推理方法具有显著优势，包括对新任务的很好泛化以及减少对人工编写示例的依赖。然而，当前的零样本方法在复杂任务中仍存在局限性，例如回答需要多步骤推理的问题。在本文中，我们通过引入一种新颖的面向结构的分析方法来帮助LLM更好地理解问题并指导LLM的问题解决过程，以克服这一限制。我们首先展示了现有推理策略（如链式思考和ReAct）如何从我们的面向结构分析中受益。除了实证研究之外，我们运用概率图模型从理论上解释了为何我们的面向结构分析可以改进LLM的推理过程。为了进一步提高在复杂问答任务中的可靠性，我们提出了一种多智能体推理系统，即面向结构的自主推理智能体（SARA），该系统通过精炼技术更好地遵循我们的面向结构分析，并具备外部知识检索能力以减少事实错误。大量实验验证了所提出推理系统的有效性。令人惊讶的是，在某些情况下，该系统甚至超越了零样本方法。最后，该系统不仅提高了复杂任务中推理准确率，还显示出对可能破坏推理过程的攻击具有鲁棒性。
引用
@article{arxiv.2410.19000,
title = {Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning},
author = {Pengfei He and Zitao Li and Yue Xing and Yaling Li and Jiliang Tang and Bolin Ding},
journal= {arXiv preprint arXiv:2410.19000},
year = {2024}
}