走向语言的神经架构:组合处理神经架构中的深度学习与访问逻辑
计算与语言
2022-10-20 v1 人工智能
神经与进化计算
摘要
近期,若干文章主张诸如GPT之类的深度学习模型也能捕捉人类心智与大脑中语言处理的关键方面。然而,我将论证这些模型并不适合作为人类语言的神经模型。首先,因为它们未能满足基本边界条件,例如所需的学习量。这实际上意味着GPT与大脑语言处理的机制存在根本差异。其次,因为它们不具备组合性与生成性人类语言处理所需的访问逻辑。神经架构可具备基于小世界类网络结构的访问逻辑,其中处理并非符号操纵,而是对激活流的控制。在此观点下,探究大脑与认知的关系需要两种互补路径。研究学习方法可揭示深度学习中的“习得性认知”如何在大脑中发展。然而,也应开发具备访问逻辑的神机架构,以解释自然语言或人工语言处理所需的“生成性认知”。此后,或可将这两类路径结合,以观察此类架构如何通过学习与发育从更简基础发展而来。
引用
@article{arxiv.2210.10543,
title = {Towards a neural architecture of language: Deep learning versus logistics of access in neural architectures for compositional processing},
author = {Frank van der Velde},
journal= {arXiv preprint arXiv:2210.10543},
year = {2022}
}
备注
23 pages, 1 figure