既非随机鹦鹉亦非通用人工智能：LLM 通过从训练数据先验出发的上下文导向外推求解任务
计算与语言
2025-09-23 v2
摘要
在这篇立场论文中，我们提高了对 LLM 能力现实视角的批判性认识，摒弃了 LLM 要么是“随机鹦鹉”要么具备“涌现”高级推理能力（因其不可预测的涌现而构成生存威胁）的极端对立观点。我们的中间立场观点是，LLM 从其训练数据的先验进行外推，同时利用上下文引导模型找到合适的先验；我们将此称为“上下文导向外推”。具体而言，这种上下文导向在基础模型中是通过示例实现的，从而产生上下文学习，而指令微调使 LLM 能够基于提示而非显式示例类似地执行。在这一观点（有现有文献支持）下，尽管推理能力远超随机鹦鹉，但此类能力是可预测、可控制的，并不表明具备类似于人类高级认知能力的高级推理，且不会随额外训练无限扩展。因此，缓解了对智能体不可控涌现的担忧，同时将研究重点适当地重新聚焦于上下文导向外推的过程，以及这如何与训练数据相互作用以在 LLM 中产生有价值的能力。未来的工作因此可以探索不依赖 LLM 固有高级推理的替代增强技术。
引用
@article{arxiv.2505.23323,
title = {Neither Stochastic Parroting nor AGI: LLMs Solve Tasks through Context-Directed Extrapolation from Training Data Priors},
author = {Harish Tayyar Madabushi and Melissa Torgbi and Claire Bonial},
journal= {arXiv preprint arXiv:2505.23323},
year = {2025}
}