填补机制：在发展约束下，大语言模型如何学习填词-空缺依赖关系？
计算与语言
2026-04-17 v1
摘要
对于人类而言，填词-空缺依赖关系需要跨越不同句法构造的共享表示。尽管因果分析表明这也可能适用于大语言模型（Boguraev 等，2025），但仍不清楚在基于发展上可行数据量训练的语言模型是否也存在这种表示。我们应用分布式对齐搜索（DAS，Geiger 等，2024）到在 BabyLM 挑战（Warstadt 等，2023）上以不同数据量训练的大语言模型，以评估填词-空缺依赖关系的表示是否在 wh 疑问句和主题化之间迁移，后者在输入频率上差异很大。我们的结果表明，在有限训练数据下，共享且具有项目敏感性的机制可能会发展出来。更重要的是，大语言模型仍需要远多于人类的数据来学习可 comparable 的概括，凸显了语言模型获取中语言特定偏差的必要性。
引用
@article{arxiv.2604.14459,
title = {Filling in the Mechanisms: How do LMs Learn Filler-Gap Dependencies under Developmental Constraints?},
author = {Atrey Desai and Sathvik Nair},
journal= {arXiv preprint arXiv:2604.14459},
year = {2026}
}
备注
To be published in the 64th Annual Meeting of the Association for Computational Linguistics