通过共形归一化训练循环网络涌现类网格表征
神经元与认知
2024-02-21 v2 机器学习
机器学习
摘要
哺乳动物内嗅皮层的网格细胞在动物（如大鼠）于二维开放环境导航时，其响应图呈现出显著的六边形网格放电模式。本文基于一个捕捉导航过程的通用循环神经网络（RNN）模型，研究网格细胞六边形网格模式的涌现。网格细胞的响应共同构成一个高维向量，表征智能体的二维自身位置。随着智能体移动，该向量由一个以智能体速度为输入的 RNN 进行变换。我们提出一种简单而通用的 RNN 输入速度的共形归一化（conformal normalization），使得高维神经空间中位置向量的局部位移正比于智能体在二维物理空间中的局部位移，而与输入速度的方向无关。我们将该机制应用于线性 RNN 和非线性 RNN。理论上，我们提供了阐释共形归一化与六边形网格模式涌现之间联系的理解。实验上，我们进行了广泛实验以验证共形归一化对各种类型 RNN 中六边形网格模式涌现的关键作用。所学模式与生物网格细胞具有相似轮廓，且模式的拓扑性质也与我们的理论理解一致。
引用
@article{arxiv.2310.19192,
title = {Emergence of Grid-like Representations by Training Recurrent Networks with Conformal Normalization},
author = {Dehong Xu and Ruiqi Gao and Wen-Hao Zhang and Xue-Xin Wei and Ying Nian Wu},
journal= {arXiv preprint arXiv:2310.19192},
year = {2024}
}