重新思考大语言模型推理的边界：多智能体讨论是关键吗？
计算与语言
2024-02-29 v1 人工智能
摘要
近期关于大语言模型（LLM）讨论的进展表明，多智能体讨论能提高 LLM 的推理能力。在本文中，我们通过系统实验重新评估了这一主张，并提出了一种新颖的群体讨论框架以丰富讨论机制集。有趣的是，我们的结果表明，在广泛的推理任务和骨干 LLM 上，具有强提示词的单智能体 LLM 可以达到与现有最佳讨论方法几乎相同的性能。我们观察到，仅当提示词中没有示例时，多智能体讨论的表现才优于单智能体。进一步的研究揭示了 LLM 在讨论过程中的常见交互机制。
引用
@article{arxiv.2402.18272,
title = {Rethinking the Bounds of LLM Reasoning: Are Multi-Agent Discussions the Key?},
author = {Qineng Wang and Zihao Wang and Ying Su and Hanghang Tong and Yangqiu Song},
journal= {arXiv preprint arXiv:2402.18272},
year = {2024}
}
备注
22 pages, 5 figures, 10 tables