激励还是本体论?对OpenAI幻觉论的结构性反驳
计算与语言
2025-12-18 v1 人工智能
机器学习
摘要
OpenAI近期认为,大型语言模型的幻觉主要源于误导性评估激励,后者奖励自信猜测而非认知谦逊。在此观点下,幻觉是一种偶然的行为性artifact,可通过改进基准和奖励结构来缓解。本文挑战了该解释。基于对结构性幻觉的前期工作及使用授权 oracle 进行的实证实验,我们认为幻觉并非优化失效,而是Transformer模型的结构必然性。Transformer不建模世界,而是对token间的统计关联进行建模。其嵌入空间形成一种源自语言共现的伪本体,与世界关联结构无关。在训练数据稀疏或不连贯的本体边界条件处,该模型必然插值虚构的延续,以维持连贯性。任何激励机制都无法改变这种对模式完成的结构性依赖。我们的实证结果表明,幻觉只能通过外部真理验证与停发模块来消除,无法通过激励、提示或微调来实现。授权 oracle 之所以在各领域实现完美的停发精度,正是因为它提供了Transformer所缺乏的 grounding。我们得出结论,幻觉是生成式架构的结构属性,可靠的人工智能需要混合系统,以区分语言流畅性与认知责任。
引用
@article{arxiv.2512.14801,
title = {Incentives or Ontology? A Structural Rebuttal to OpenAI's Hallucination Thesis},
author = {Richard Ackermann and Simeon Emanuilov},
journal= {arXiv preprint arXiv:2512.14801},
year = {2025}
}
备注
17 pages, references to prior work arXiv:2509.16297 and arXiv:2511.06073