凭借神经连接约束赢得彩票：基于空间约束稀疏循环神经网络在认知任务中实现更快学习
神经元与认知
2023-05-31 v2
摘要
循环神经网络（RNNs）常被用于建模大脑中的神经环路，并能解决多种需要记忆、纠错或选择的困难计算问题[Hopfield, 1982, Maass et al., 2002, Maass, 2011]。然而，全连接 RNNs 在结构上与其生物对应物截然不同，后者极为稀疏（约 0.1%）。受新大脑皮层的启发——其中神经连接受沿皮层片物理距离及其他突触连接代价的约束——我们提出了局部性掩码 RNNs（LM-RNNs），其利用任务无关的预定图，稀疏度可低至 4%。我们在与认知系统神经科学相关的多任务学习设定中，使用一组常用任务 20-Cog-tasks [Yang et al., 2019] 研究 LM-RNNs。我们通过归谬法表明，20-Cog-tasks 可由一小池分离的自突触（autapses）解决，这些自突触可被机制性地分析与理解。因此，这些任务未能达到在 RNNs 中诱导复杂循环动力学与模块化结构的目标。我们随后贡献了一个新的认知多任务基准 Mod-Cog，包含多达 132 个任务，将 20-Cog-tasks 的任务数量与任务复杂度扩展了 7 倍。重要的是，尽管自突触能解决简单的 20-Cog-tasks，扩展后的任务集需要更丰富的神经架构与连续吸引子动力学。在这些任务上，我们表明具有最优稀疏度的 LM-RNNs 比全连接网络实现了更快的训练与更好的数据效率。
引用
@article{arxiv.2207.03523,
title = {Winning the lottery with neural connectivity constraints: faster learning across cognitive tasks with spatially constrained sparse RNNs},
author = {Mikail Khona and Sarthak Chandra and Joy J. Ma and Ila Fiete},
journal= {arXiv preprint arXiv:2207.03523},
year = {2023}
}
备注
12 pages, 5 main text figures