人工神经网络中音素、句法和语义表征的涌现
人工智能
2026-01-27 v1 计算与语言
摘要
在语言习得过程中，儿童依次学会对音素进行分类、识别词汇，并运用句法将其组合以形成新含义。虽然这种行为的发展已被充分刻画，我们仍然缺乏一个统一的计算框架来解释其底层的神经表征。在此，我们研究在训练期间，人工神经网络的激活中是否以及何时涌现音素、词汇和句法表征。我们的结果表明，基于语音和文本的模型都遵循一系列学习阶段：在训练期间，其神经激活相继构建子空间，其中神经激活的几何结构表示音素、词汇和句法结构。虽然这种发展轨迹在定性上与儿童相关，但在定量上却有所不同：这些算法确实需要多出两到四个数量级的数据才能使这些神经表征涌现。总之，这些结果展示了语言习得主要阶段自发涌现的条件，从而描绘了一条理解支撑语言习得的计算的有前景的路径。
引用
@article{arxiv.2601.18617,
title = {Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks},
author = {Pierre Orhan and Pablo Diego-Simón and Emmnanuel Chemla and Yair Lakretz and Yves Boubenec and Jean-Rémi King},
journal= {arXiv preprint arXiv:2601.18617},
year = {2026}
}