语言习得：儿童与语言模型是否遵循相似的学习阶段？
计算与语言
2023-06-07 v1 人工智能
摘要
在语言习得过程中，儿童遵循典型的学习阶段序列，即先学会对音素分类，再发展词汇，最终掌握日益复杂的句法结构。然而，导致这一学习轨迹的计算原理在很大程度上仍属未知。为探究此问题，我们在此将深度语言模型的学习轨迹与儿童进行比较。具体而言，我们检验 GPT-2 在训练期间是否展现出与 18 个月至 6 岁儿童中所观察到的可比拟的语言习得阶段。为此，我们从头训练 48 个 GPT-2 模型，并在每个训练步使用从 BLiMP、Zorro 与 BIG-Bench 基准筛选出的 96 个探针评估其句法与语义能力。随后将这些评估与 54 名儿童在语言产生中的行为进行比较。我们的分析揭示三个主要发现。首先，与儿童类似，语言模型倾向于以系统性顺序学习语言技能。其次，该学习方案是并行的：最后被学习的语言任务从最初的训练步起便有所提升。第三，部分（而非全部）学习阶段为儿童与这些语言模型所共有。总体而言，这些结果揭示了语言习得原理的新见解，并凸显了人类与现代算法在学习处理自然语言方面的重要差异。
引用
@article{arxiv.2306.03586,
title = {Language acquisition: do children and language models follow similar learning stages?},
author = {Linnea Evanson and Yair Lakretz and Jean-Rémi King},
journal= {arXiv preprint arXiv:2306.03586},
year = {2023}
}
备注
Accepted to ACL 2023. *Equal Contribution