循环神经网络中序列索引与工作记忆的一种理论

为顺应神经计算的结构化方法，我们提出一类用于对符号或模拟数据向量序列进行索引与存储的循环神经网络。这些具有随机输入权重与正交循环权重的网络实现了先前在向量符号架构（VSA）中描述的编码原理，并利用储备池计算的性质。一般而言，储备池计算中的存储是有损的，且串扰噪声限制了检索精度与信息容量。本文提出一种优化此类网络记忆性能的新理论，并与仿真实验进行比较。该理论描述了模拟数据的线性读出，以及VSA模型中提出的带赢者通吃纠错的符号数据读出。我们发现文献中多样的VSA模型具有普适的性能性质，优于先前分析所预测的结果。进一步，我们提出了在读出中带有统计最优Wiener滤波器的新型VSA模型，其展现出高得多的信息容量，尤其在存储模拟数据方面。所提理论亦适用于记忆缓冲器，即具有渐进遗忘、可在无限数据流上运行而无内存溢出的网络。有趣的是，我们发现不同的遗忘机制，如衰减循环权重或神经非线性，在遗忘时间常数对齐时产生非常相似的行为。此类模型在其遗忘时间常数针对给定噪声条件与网络规模优化时表现出巨大容量。这些结果使得设计用于处理数据流在线处理的新型VSA模型成为可能。