无排他性重复：儿童规模语言模型中指代机制的尺度敏感性

我们报告了关于语言模型中互斥假设（ME）的首个系统性评估——即将新词映射到新指称的偏见，在仅使用儿童导向语料训练的文本模型中。我们将 ME operationalize 为指代抑制：当熟悉对象在两个指称语境中被重新标记时，ME 预测该标记名词在后续填空位置的概率会降低。三个初步发现推动了一次预先注册的尺度灵敏度实验：（1）掩码语言模型（BabyBERTa）对多句指代语境完全不敏感；（2）自回归模型在熟悉名词被重新标记时表现出强大的重复加压——与 ME 相反；（3）一种新颖的情境依赖诊断揭示，看似符合 ME 的模式完全可归因于嵌入相似性，而非指代消歧。 在确认性实验中，我们训练了 45 个 GPT-2 架构模型（290 万、890 万和 3350 万参数；5、10 和 20 个时代在 AO-CHILDES 上；每个模型 5 个随机种子），并在预先注册的 ME 电池上进行评估。所有 9 个实验单元中均检测到反-ME 重复加压（85-100% 的项目；所有 p < 2.4×10^-13）。加压在语言建模性能提升时会减弱（Spearman rho = -0.533，p = 0.0002），但在 3.8 倍的困惑度范围内始终未归零。情境依赖诊断在所有 9 个单元中复制，且剂量-反应加压在 8/9 个单元中随重复次数增加而增强（所有趋势 p < 0.002）。这些发现表明，针对儿童导向语料的分布式学习产生的是基于重复的指代跟踪，而非词汇排他性。我们将其与 grounded cognition 文献联系起来，认为指代 grounding 可能是实现 ME 必需的条件——这是关于所需输入结构的经验主义命题，而非 nativist 命题。