将Transformer与海马结构模型及神经表征相关联
神经与进化计算
2022-03-16 v2 机器学习
神经元与认知
摘要
最近，许多基于脑网络松散启发的深度神经网络架构已被证明能够复现大脑中观察到的神经放电模式。其中，最令人兴奋和最有前景的新型架构之一——Transformer神经网络，其开发之初并未考虑大脑。在这项工作中，我们展示了当Transformer配备循环位置编码时，能够复现海马结构中精确调谐的空间表征，最显著的是位置细胞和网格细胞。此外，我们表明这一结果并不令人意外，因为它与当前神经科学中的海马模型密切相关。我们还展示了Transformer版本相比神经科学版本提供了显著的性能提升。这项工作继续将人工网络与大脑网络的计算联系起来，为海马-皮层交互提供了新的理解，并暗示了更广泛的皮层区域如何执行超出当前神经科学模型能力的复杂任务，例如语言理解。
引用
@article{arxiv.2112.04035,
title = {Relating transformers to models and neural representations of the hippocampal formation},
author = {James C. R. Whittington and Joseph Warren and Timothy E. J. Behrens},
journal= {arXiv preprint arXiv:2112.04035},
year = {2022}
}