GPT-4 无法推理
计算与语言
2023-08-11 v2
摘要
GPT-4 于 2023 年 3 月发布，广受赞誉，较 GPT-3.5（OpenAI 此前最佳的模型，曾为 ChatGPT 的初始版本提供支持）在各方面的能力均有大幅提升。然而，尽管这一改进确实令人印象深刻，我们有充分理由对 GPT-4 的推理能力高度怀疑。本立场论文探讨了推理的本质；批评了 NLP 社区当前对推理问题的表述方式，以及当前对 LLM 推理性能的评估方式；引入了一组由 21 个多样化推理问题组成的小型集合；并对 GPT-4 在这些问题上的表现进行了详细的定性评估。基于该分析，本文得出结论：尽管偶有分析上的惊艳表现，GPT-4 目前完全不具备推理能力。
引用
@article{arxiv.2308.03762,
title = {GPT-4 Can't Reason},
author = {Konstantine Arkoudas},
journal= {arXiv preprint arXiv:2308.03762},
year = {2023}
}