神经语言模型中填空-间隙依赖关系的通用性
计算与语言
2024-10-25 v1
摘要
人类通过从有限输入中进行结构性概括来发展其语法。我们探讨了填空-间隙依赖关系——尽管表面形式多样，但共享结构性概括——如何从输入中产生。我们显式控制神经语言模型（NLM）的输入，以探究模型是否为填空-间隙依赖关系建立共享表征。我们表明，尽管NLM在区分语法正确与不正确的填空-间隙依赖关系方面取得成功，但它们依赖于输入的表面特性，而非共享的概括。我们的工作凸显了为模型语言习得引入特定语言归纳偏置的必要性。
引用
@article{arxiv.2410.18225,
title = {Generalizations across filler-gap dependencies in neural language models},
author = {Katherine Howitt and Sathvik Nair and Allison Dods and Robert Melvin Hopkins},
journal= {arXiv preprint arXiv:2410.18225},
year = {2024}
}
备注
accepted at CoNLL 2024