解构 Let Alone：人类规模模型在形式但非意义上的罕见构造中泛化
计算与语言
2025-10-02 v2 人工智能
摘要
人类具有显著的能力，能够获取和理解在童年期几乎从未出现的格言现象。最近的证据表明，具有人类规模预训练数据的数据的语言模型可能通过从频繁到罕见构造的泛化来具备类似能力。然而，仍未确定这种泛化能力的覆盖范围，以及这种知识是否仅限于罕见构造的形式，而不涉及其意义。我们通过测试人类规模变换器语言模型对 (罕见且古怪) 英语 LET-ALONE 构造的形式和意义知识来填补这一空白。为评估我们的 LM，我们构建了一个针对该构造的语法和语义属性的专属基准。我们发现，人类规模 LM 对形式敏感，即使相关构造从数据集中被过滤，也如此。然而，人类规模 LM 对 LET-ALONE 的意义不会做出正确的泛化。这些结果指出，当前架构在语言形式与意义之间的样本效率存在不对称，这在人类语言学习者中并不存在。
引用
@article{arxiv.2506.04408,
title = {Unpacking Let Alone: Human-Scale Models Generalize to a Rare Construction in Form but not Meaning},
author = {Wesley Scivetti and Tatsuya Aoyama and Ethan Wilcox and Nathan Schneider},
journal= {arXiv preprint arXiv:2506.04408},
year = {2025}
}
备注
Empirical Methods for Natural Language Processing (EMNLP) 2025, Camera-Ready Version