谐振器网络在求解高维向量分解问题上优于优化方法
神经与进化计算
2020-07-16 v4 机器学习
机器学习
摘要
我们为谐振器网络（Resonator Networks）发展了理论基础，这是一种新型递归神经网络，由Frady等人（2020）引入，用于解决向量符号架构中出现的高维向量分解问题。给定一个由离散的高维向量集之间的Hadamard乘积形成的复合向量，谐振器网络可以有效地将该复合向量分解为这些因子。我们将谐振器网络的性能与基于优化的方法（包括交替最小二乘法和几种基于梯度的算法）进行了比较，结果表明谐振器网络在几个重要方面都更优越。这一优势是通过结合非线性动力学和“叠加搜索”实现的，通过叠加搜索，正确解的估计是由所有可能解的加权叠加形成的。虽然替代方法也在叠加中搜索，但谐振器网络的动力学使其能够在探索解空间和利用局部信息驱动网络趋向可能解之间取得更有效的平衡。谐振器网络不保证收敛，但在特定区域内它们几乎总是收敛。作为放宽这种全局收敛保证的交换，谐振器网络在寻找分解方面比所有考虑的替代方法都显著更有效。
引用
@article{arxiv.1906.11684,
title = {Resonator Networks outperform optimization methods at solving high-dimensional vector factorization},
author = {Spencer J. Kent and E. Paxon Frady and Friedrich T. Sommer and Bruno A. Olshausen},
journal= {arXiv preprint arXiv:1906.11684},
year = {2020}
}
备注
arXiv's LaTeX compiler contains a compatibility issue with the subcaption package, screwing up the placement of Figure 6 (and subsequent figures) in V3. This update simply remedies that issue