神经 RAM 单元及其在脉冲神经网络相似性测试与压缩中的应用

我们研究了在简化的生物启发性随机脉冲神经网络模型中实现的分布式算法。我们重点关注计算时间与网络复杂性之间的权衡，以及随机性在高效神经计算中的作用。神经计算本质上是随机的，这一观点已被广泛接受。在最近的工作中，我们探索了如何利用这种随机性来解决“赢家通吃”的领导者选举任务。在这里，我们专注于在神经算法中使用随机性进行相似性测试和压缩。在最基本的设置中，给定两个长度为 $n$ 的放电神经元模式，我们希望区分这些模式是相等的还是相距 $\epsilon$ 的。随机化使我们能够用一个极其紧凑的网络来解决这个任务，使用 $O \left (\frac{\sqrt{n}\log n}{\epsilon}\right)$ 个辅助神经元，这在输入大小上是次线性的。我们解决方案的核心是设计了一个 $t$ 轮神经随机存取存储器，或称索引网络，我们称之为 neuro-RAM。该模块可以用 $O(n/t)$ 个辅助神经元实现，并在相似性测试之外的许多应用中都很有用。使用基于 VC 维的论证，我们证明了 neuro-RAM 中运行时间与网络大小之间的权衡接近最优。我们的结果有几个推论——由于我们的 neuro-RAM 可以用确定性阈值门实现，这表明与相似性测试相反，随机性并没有为这个问题提供显著的计算优势。它还在前馈网络和经过充分研究的确定性 Sigmoid 网络之间建立了一种区分，前者的门以 Sigmoid 概率函数放电，而后者的门输出实数 Sigmoid 值，并且能够更高效地实现 neuro-RAM。