子词模型在词学习中的困境： surprisal 的隐藏作用
计算与语言
2025-06-03 v2
摘要
我们研究了在带有心理语言学词项决策任务的子词和字符语言模型中的词学习。虽然子词 LM 在区分词项和非词项方面难以实现高准确率，但字符 LM 能轻松且稳定地解决此任务。只有在提供额外语境后，子词 LM 才表现出类似字符模型的性能。此外，我们注意到在词级和句法学习轨迹方面，字符 LM 中两种过程是可分离的：词学习先于句法学习，而在子词 LM 中则同时发生。这引发了关于子词 LM 是否足以建模语言习得的疑问，并将字符 LM 作为研究语法水平以下过程的可行替代方案。
引用
@article{arxiv.2502.12835,
title = {Subword models struggle with word learning, but surprisal hides it},
author = {Bastian Bunzeck and Sina Zarrieß},
journal= {arXiv preprint arXiv:2502.12835},
year = {2025}
}
备注
Accepted to ACL 2025 (Main)