复仇者归来？循环模型在预测人类语言理解指标方面匹配 Transformer

Transformer 通常已取代循环神经网络作为自然语言处理任务和建模人类在线语言理解影响的主导架构。然而，两个最近开发的循环模型架构，RWKV 和 Mamba，似乎在相当于 Transformer 的规模时，在自然语言任务方面表现出与 Transformer 相当甚至更好的性能。本文我们表明，当代循环模型现在也能够匹配——在某些情况下超过——相当规模的 Transformer 在建模人类语言理解方面的性能。这表明 Transformer 语言模型并非唯一适合此任务的架构，并为关于语言模型架构特征在多大程度上使其更好或更差地成为人类语言理解模型开辟了新方向。