用对角概念器控制循环神经网络

人脑能够学习、记忆并再生大量时间模式。一种称为概念器（conceptor）的神经动力学机制提供了一种控制循环神经网络动力学的方法，借此可学习与回忆多种时间模式。然而，概念器是矩阵，其规模随循环神经网络中神经元数量呈二次方增长，因此很快变得不实用。在本论文报道的工作中，引入了一种概念器的变体，称为对角概念器（diagonal conceptor），其为对角矩阵，从而大幅降低了计算成本。我们将展示对角概念器能达到与概念器相同的精度，但稍不稳定。这种不稳定性可加以改善，但需进一步研究。尽管如此，对角概念器显示出作为标准全矩阵概念器一种有前景的实用替代方案。