中文

网格细胞对定向动作的预测与泛化

神经元与认知 2021-03-24 v2 机器学习

摘要

知晓定向动作的效果如何泛化到新情境(例如向北、南、东、西移动,或向左、右转等)是跨新情境快速泛化的关键。马尔可夫任务可由状态空间和转移矩阵刻画,近期工作提出神经网格编码提供了状态空间的高效表示,作为反映状态间扩散的转移矩阵的特征向量,从而允许对未来状态分布进行有效预测。在此,我们扩展特征基预测模型,利用傅里叶分析工具,实现对任意平移不变定向转移结构(即位移与扩散)的预测,表明单一特征向量集可通过动作特定特征值支持对任意定向动作的预测。我们展示如何定义“方向感”以组合动作到达目标状态(忽略任务特定的对平移不变性的偏离),并证明将傅里叶表示加入深度 Q 网络有助于连续控制任务中的策略学习。我们展示了广义预测框架与由自运动驱动执行路径整合的网格细胞放电传统模型之间的等价性,无论是通过振荡干涉(将傅里叶分量作为速度控制振荡器)还是连续吸引子网络(通过更新动力学分析)。因此我们为网格系统在预测性规划、方向感和路径整合中的作用提供了一个统一框架:支持跨不同任务的定向动作的可泛化推断。

关键词

引用

@article{arxiv.2006.03355,
  title  = {Prediction and Generalisation over Directed Actions by Grid Cells},
  author = {Changmin Yu and Timothy E. J. Behrens and Neil Burgess},
  journal= {arXiv preprint arXiv:2006.03355},
  year   = {2021}
}

备注

In Proceedings of ICLR 2021