刺激输入有多贫乏？评估基于儿童指向语音训练的神经网络中的层级泛化
计算与语言
2023-06-07 v2
摘要
在习得句法时，儿童始终选择层级规则而非竞争性的非层级可能性。这种偏好是由于对层级结构的习得偏向，还是由于与儿童语言输入中层级线索相互作用的更一般偏向？我们通过在与儿童语言输入数量与内容相似的数据上训练 LSTM 和 Transformer——两种无层级偏向的神经网络——来探索这些可能性：来自 CHILDES 语料库的文本。然后我们评估这些模型对英语是非问句学到了什么，该现象对层级结构至关重要。我们发现，尽管它们在捕捉儿童指向语音的表面统计特性方面表现良好（以困惑度衡量），两种模型类型的泛化方式都更符一种不正确的线性规则而非正确的层级规则。这些结果表明，仅从文本实现类人泛化需要比标准神经网络架构的一般序列处理偏向更强的偏向。
引用
@article{arxiv.2301.11462,
title = {How poor is the stimulus? Evaluating hierarchical generalization in neural networks trained on child-directed speech},
author = {Aditya Yedetore and Tal Linzen and Robert Frank and R. Thomas McCoy},
journal= {arXiv preprint arXiv:2301.11462},
year = {2023}
}
备注
10 pages plus references and appendices; accepted to ACL