空间表征的自监督学习生成多模块网格细胞
机器学习
2023-11-07 v1 神经与进化计算
摘要
为解决建图、定位与导航等空间问题，哺乳动物谱系演化出了引人注目的空间表征。其中一种重要空间表征是获诺贝尔奖的网格细胞：以少数离散周期的看似奇异的非局部且空间周期性活动模式，来表征自身位置这一局部且非周期的量。哺乳动物谱系为何习得这种奇特的网格表征？数学分析表明，这种多周期表征作为具有高容量与内在纠错能力的代数码具备优良性质，但迄今在深度循环神经网络中导致多模块网格细胞的核心原理尚无令人满意的综合。本工作中，我们首先从回答网格细胞问题的四类方法中提炼关键洞见：编码理论、动力系统、函数优化与有监督深度学习。随后利用这些洞见提出一种结合四类方法优势的新途径。我们的途径是一个自监督学习（SSL）框架——包含数据、数据增强、损失函数与网络架构——从规范视角出发，无需如先前方法那样获取有监督位置信息或设计特定读出表征。我们展示在 SSL 框架下训练的网络中可涌现多个网格细胞模块，且网络与涌现表征在其训练分布外泛化良好。本工作对关注网格细胞起源的神经科学家及关注新颖 SSL 框架的机器学习研究者均有启示。
引用
@article{arxiv.2311.02316,
title = {Self-Supervised Learning of Representations for Space Generates Multi-Modular Grid Cells},
author = {Rylan Schaeffer and Mikail Khona and Tzuhsuan Ma and Cristóbal Eyzaguirre and Sanmi Koyejo and Ila Rani Fiete},
journal= {arXiv preprint arXiv:2311.02316},
year = {2023}
}