规模化 Echo State 神经语言模型的句法可学习性
计算与语言
2025-03-04 v1
摘要
什么是具有最小架构复杂度且表现出合理语言学习能力的神经模型？为探索这种简单但足够的神经语言模型，我们重新审视一种基本的滞留计算（RC）模型，Echo State Network（ESN），它是受限的简单递归神经网络。我们的实验表明，ESN 在隐藏状态较大的情况下，通过约 1000 万词语的训练，能够在语法正确性判断任务中表现出与 Transformer 相当或更好的性能，这表明像 Transformer 那样复杂的架构对于句法学习并总是必要的。
引用
@article{arxiv.2503.01724,
title = {Syntactic Learnability of Echo State Neural Language Models at Scale},
author = {Ryo Ueda and Tatsuki Kuribayashi and Shunsuke Kando and Kentaro Inui},
journal= {arXiv preprint arXiv:2503.01724},
year = {2025}
}
备注
10 pages