中文

揭开语言习得的黑箱

计算与语言 2024-02-20 v1 数值分析 数值分析

摘要

利用深度学习技术的大型语言模型的最新进展,重新激发了人们对如何从数据中学习语言的兴趣。然而,尚不清楚这些模型是否以及如何表征所学语言的语法信息。此外,模型在使用前必须在大型语料库上进行预训练。在本工作中,我们提出了一种替代性的、更透明且符合认知合理性的语言学习架构。我们的方法不使用深度学习,而是基于序列记忆和组块(chunking)的最小认知架构。学习机制基于强化学习原理。我们在多种类自然玩具语言上测试了我们的架构。结果表明,该模型可以从零开始学习这些人造语言,并提取支持学习的语法信息。我们的研究展示了这种简单架构的力量,并强调了序列记忆作为语言学习过程关键组成部分的重要性。由于其他动物似乎没有忠实的序列记忆,这或许解释了为何只有人类发展出了复杂的语言。

关键词

引用

@article{arxiv.2402.11681,
  title  = {Opening the black box of language acquisition},
  author = {Jérôme Michaud and Anna Jon-and},
  journal= {arXiv preprint arXiv:2402.11681},
  year   = {2024}
}