用于分解数据结构分布式表示的谐振器网络
计算机视觉与模式识别
2020-07-09 v1 神经与进化计算
摘要
以分布式神经表示来编码和操作数据结构的能力,可通过支持基于规则的符号推理(认知的核心属性)来定性增强传统神经网络的能力。在此我们展示如何可在向量符号架构(VSA)(Plate, 1991; Gayler, 1998; Kanerva, 1996)框架内实现这一点, whereby 数据结构通过组合高维向量与若干操作进行编码,这些操作共同构成分布式表示空间上的代数。特别地,我们针对解码VSA数据结构元素时出现的困难组合搜索问题——多个码向量乘积的因式分解——提出了一种高效解法。我们提出的算法称为谐振器网络,是一种新型循环神经网络,其交错执行VSA乘法操作与模式补全。我们通过两个示例——类树数据结构的解析与视觉场景的解析——展示因式分解问题如何产生以及谐振器网络如何解决它。更广泛地,谐振器网络为将VSA应用于现实领域中的无数人工智能问题开辟了可能。一篇配套论文(Kent et al., 2020)对谐振器网络的性能进行了严格分析与评估,显示其优于替代方法。
引用
@article{arxiv.2007.03748,
title = {Resonator networks for factoring distributed representations of data structures},
author = {E. Paxon Frady and Spencer Kent and Bruno A. Olshausen and Friedrich T. Sommer},
journal= {arXiv preprint arXiv:2007.03748},
year = {2020}
}
备注
20 pages, 5 figures, to appear in Neural Computation 2020 with companion paper: arXiv:1906.11684