神经网络中随机连接主义表示的叠加原理理论
神经与进化计算
2017-07-06 v1
摘要
为了理解大脑中的认知推理，有人提出符号及其组合由大量神经元中的活动模式（向量）来表示。实现这一思想的形式模型 [Plate 2003], [Kanerva 2009], [Gayler 2003], [Eliasmith 2012] 包含一个可逆的叠加操作，用于用单个向量表示整个符号集或有序符号序列。如果表示空间是高维的，则可以叠加大型符号集并单独检索它们。然而，串扰噪声限制了检索精度和信息容量。为了理解大脑中的信息处理并设计用于认知推理的人工神经系统，这种叠加操作的理论至关重要。在此，我们提出了这样的理论。不同现有模型中的叠加操作被映射到具有酉循环矩阵的线性神经网络中，其中检索精度可以通过单个方程进行分析。我们表明，以叠加方式表示信息的网络可以实现约每个神经元半比特的信道容量，这是总可用熵的显著部分。超越现有模型，我们提出了具有近因效应的叠加操作，这在表示无限数据流的历史时避免了灾难性遗忘。这些新颖模型对应于具有非酉矩阵或非线性神经元的循环网络，并可以通过我们理论的扩展进行分析和优化。
引用
@article{arxiv.1707.01429,
title = {Theory of the superposition principle for randomized connectionist representations in neural networks},
author = {E. Paxon Frady and Denis Kleyko and Friedrich T. Sommer},
journal= {arXiv preprint arXiv:1707.01429},
year = {2017}
}
备注
42 pages, 13 figures