为什么 LLM 无法思考以及如何解决
机器学习
2025-03-13 v1 计算与语言
摘要
本文阐明，由于架构限制，当前最先进的大型语言模型（LLM）从根本上无法在特征空间中做出决策或产生“思想”。我们建立了一个涵盖该术语传统理解并将其适配于 LLM 的“思想”定义。我们证明，当代 LLM 的架构设计和语言建模训练方法本质上阻碍了它们参与真正的思维过程。我们的主要关注点在于这一理论认知，而非从实验数据中得出的实践见解。最后，我们提出了在特征空间中实现思维过程的解决方案，并讨论了这些架构修改的更广泛影响。
引用
@article{arxiv.2503.09211,
title = {Why LLMs Cannot Think and How to Fix It},
author = {Marius Jahrens and Thomas Martinetz},
journal= {arXiv preprint arXiv:2503.09211},
year = {2025}
}
备注
Original conference submission for neurips 2024