推理是否涌现？检验大语言模型中的因果概率
机器学习
2024-08-16 v1
摘要
人工智能的最新进展很大程度上得益于大语言模型（LLM）以类似人类思维的方式解决复杂问题的能力。然而，关于LLM是否具备实际推理能力仍存在持续争论。争论的核心是两个关键的概率概念，它们对于将原因与结果联系起来至关重要：必然性概率（PN）和充分性概率（PS）。本文引入了一个兼具理论和实践的框架，旨在评估LLM如何有效地利用这些概率度量来复制现实世界的推理机制。通过将LLM视为通过自然语言接口处理信息的抽象机器，我们考察了计算PN和PS合适近似值的条件。我们的研究标志着在更深入理解LLM何时具备推理能力方面迈出了重要一步，这通过一系列数学例子得到说明。
引用
@article{arxiv.2408.08210,
title = {Does Reasoning Emerge? Examining the Probabilities of Causation in Large Language Models},
author = {Javier González and Aditya V. Nori},
journal= {arXiv preprint arXiv:2408.08210},
year = {2024}
}