吸引子神经网络对多个低维流形最优学习中的容量-分辨率权衡
无序系统与神经网络
2020-02-05 v2 统计力学
摘要
循环神经网络（RNN）是解释吸引子如何从高维噪声动力学中涌现的有力工具。我们在此研究如何学习具有 N 个神经元的 RNN 中约 N^(2) 个两两相互作用，以嵌入 L 个维数 D << N 的流形。我们表明容量（即最大比值 L/N）随 |log(epsilon)|^(-D) 减小，其中 epsilon 是由神经活动沿每个流形编码的位置误差。因此，RNN 是能够以高空间分辨率存储大量流形的灵活存储设备。我们的结果依赖于统计力学与随机矩阵论分析工具的结合，将 Gardner 经典学习理论推广到具有强空间相关性的模式情形。
引用
@article{arxiv.1910.05941,
title = {Capacity-resolution trade-off in the optimal learning of multiple low-dimensional manifolds by attractor neural networks},
author = {Aldo Battista and Rémi Monasson},
journal= {arXiv preprint arXiv:1910.05941},
year = {2020}
}