来自强化学习的启示：空间的生物表征
神经元与认知
2020-07-10 v3
摘要
神经科学家假定大脑中以多种不同坐标系（如“以头为中心”、“以手为中心”和“以世界为基础”）存在三维表征。强化学习的最新进展展示了一种相当不同的方法，可能为空间感知与导航背后的生物表征提供更有前景的模型。在本文中，我们聚焦于那些通过奖励智能体到达目标图像、而完全不尝试构建三维“地图”的强化学习方法。我们测试此类表征支持几何一致空间任务（如利用特征向量解码在已学习位置间进行插值）的能力。我们引入了一种按设计具有高度几何一致性的手工表征，并证明在此情况下，关于特征随相机平移而持续存在（如远处特征持续存在）的信息可提升几何任务上的表现。这些示例避免了空间的笛卡尔（此处为二维）表征。非笛卡尔的、习得的表征为神经科学中寻找“认知地图”的替代方案提供了重要刺激。
引用
@article{arxiv.1912.06615,
title = {Lessons from reinforcement learning for biological representations of space},
author = {Alex Muryy and N. Siddharth and Nantas Nardelli and Philip H. S. Torr and Andrew Glennerster},
journal= {arXiv preprint arXiv:1912.06615},
year = {2020}
}
备注
40 pages including Appendix, 6 figures plus 3 figures in Appendix. Accepted for publication in Vision Research