更深层次是否总是更好?在判别词典模型中用深度学习网络取代线性映射
计算与语言
2025-11-18 v2
摘要
最近,深度学习模型日益被用于语言认知建模。本研究探讨了深度学习能否帮助我们更好地理解语言发音人需要解决的学习问题,超越线性方法。我们利用Baayen等人首次提出的判别词典模型(Discriminative Lexicon Model),该模型通过数值形式与意义向量之间的映射来建模理解与生产。虽然此前这些映射均为线性(线性判别学习,LDL),但本研究将其替换为深度稠密神经网络(深度判别学习,DDL)。我们发现,DDL对于来自英语和荷兰语的大型且多样化的数据集能提供更精确的映射,但对于爱沙尼亚语和台湾华语并非如此。DDL在处理具有类词形结构词汇(如chol+er)时尤为出色。针对平均反应时间,我们发现DDL不如频率信息化的线性映射(FIL)。然而,DDL经过频率信息化训练("频率信息化"深度学习,FIDDL)显著优于FIL。最后,尽管线性映射可非常有效地从试验中不断更新,以建模词汇的增量学习,但深度映射则不够有效。目前,线性映射和深度映射在理解语言方面都具有启发作用。
引用
@article{arxiv.2410.04259,
title = {Is deeper always better? Replacing linear mappings with deep learning networks in the Discriminative Lexicon Model},
author = {Maria Heitmeier and Valeria Schmidt and Hendrik P. A. Lensch and R. Harald Baayen},
journal= {arXiv preprint arXiv:2410.04259},
year = {2025}
}
备注
19 pages, 6 figures; includes a few numeric changes to results due to a fixed bug, published version