低维流形支持循环神经网络中的多重积分
机器学习
2020-11-23 v1
摘要
我们研究了训练用于积分一个或多个时间信号的循环神经网络（RNN）的学习动态与涌现表征。结合解析与数值研究，我们刻画了具有n个神经元的RNN学习积分D(n)个任意时长标量信号的条件。我们针对线性与ReLU神经元均表明，其内部状态接近于一个D维流形，其形状与激活函数相关。因此每个神经元在不同程度上携带关于所有积分值的信息。我们讨论了我们的结果与计算神经科学家为解释皮层记录而提出的混合选择性概念之间的深刻类比。
引用
@article{arxiv.2011.10435,
title = {Low-Dimensional Manifolds Support Multiplexed Integrations in Recurrent Neural Networks},
author = {Arnaud Fanthomme and Rémi Monasson},
journal= {arXiv preprint arXiv:2011.10435},
year = {2020}
}