思维判断提示：一种受法庭启发的面向大型语言模型的二元逻辑推理框架
人工智能
2025-05-23 v2
摘要
本文提出了一种新颖的提示方法——思维判断（JoT），专门针对二元逻辑推理任务。尽管提示工程取得了进展，但现有方法在处理复杂逻辑推理任务时仍面临局限性。为了解决这些问题，JoT 引入了一种多智能体方法，包含三个专门角色——律师、检察官和法官——其中高级模型担任法官，低级模型担任律师和检察官，以系统地辩论和评估论点。在 BigBenchHard 和 Winogrande 等基准上的实验评估表明，与现有的提示方法相比，JoT 表现出更优的性能，取得了显著的改进，包括在布尔表达式任务中达到 98% 的准确率。此外，我们的消融研究验证了每个角色、迭代细化循环和反馈机制的关键作用。因此，JoT 显著提高了二元推理任务的准确性、可靠性和一致性，并展现出实际应用的潜力。
引用
@article{arxiv.2409.16635,
title = {Judgment-of-Thought Prompting: A Courtroom-Inspired Framework for Binary Logical Reasoning with Large Language Models},
author = {Sungjune Park and Heehwan Kim and Haehyun Cho and Daeseon Choi},
journal= {arXiv preprint arXiv:2409.16635},
year = {2025}
}