语言结构的基本原理并非由 o3 所表征
计算与语言
2025-02-18 v1
摘要
成功的通用人工智能的核心组成部分包括快速创建和操作基于现实的组合式抽象，以及展示掌握创造性使用人类语言所需的递归层次句法对象家族的能力。我们评估了近期发布的 o3 模型（OpenAI；o3-mini-high），发现尽管它在某些依赖线性表面统计的基本语言测试上取得成功（例如 Strawberry 测试），但它未能泛化基本短语结构规则；它在涉及语义非法基数比较的比较句（'Escher 句'）上失败；它无法正确评分和解释可接受性动态；它也无法区分生成不可接受语义输出与不可接受句法输出的指令。当被要求生成简单的语法规则违反时，它似乎无法表示多个解析以针对各种可能的语义解释进行评估。与近期声称人工语言模型即将取代语言学领域的许多观点形成鲜明对比的是，我们的结果不仅表明深度学习在组合性方面遇到了瓶颈（Marcus 2022），而且表明它遇到了一个顽固的、难以逾越的壁垒，无法仅通过更多计算就能达到人类水平的组合推理。
引用
@article{arxiv.2502.10934,
title = {Fundamental Principles of Linguistic Structure are Not Represented by o3},
author = {Elliot Murphy and Evelina Leivada and Vittoria Dentella and Fritz Gunther and Gary Marcus},
journal= {arXiv preprint arXiv:2502.10934},
year = {2025}
}