稀疏分布式表示的变量绑定：理论与应用

符号推理与神经网络常被视为互不相容的方法。被称为向量符号架构（VSAs）的连接主义模型有可能弥合这一鸿沟。然而，经典 VSAs 与神经网络仍被认为是不相容的。VSAs 通过稠密伪随机向量编码符号，其中信息分布于整个神经元群体。神经网络则局部编码特征，常形成稀疏的神经元激活向量。遵循 Rachkovskij (2001)、Laiho 等人 (2015)，我们探索基于稀疏分布式表示的符号推理。VSAs 中的核心操作是向量间的二元运算，用以表达变量绑定与集合表示。因此，代数操作使 VSAs 能够在固定维度的向量空间中表示并处理数据结构。利用压缩感知技术，我们首先证明 VSAs 中稠密向量间的变量绑定在数学上等价于稀疏向量间的张量积绑定，后者是一种增加维度的操作。该结果表明，针对一般稀疏向量的保维绑定必须包含将张量矩阵约化为单个稀疏向量的步骤。我们研究了两种保稀疏性的变量绑定方案。一种针对一般稀疏向量的绑定方法扩展了早先将张量积约化为向量的提议，如循环卷积。另一种方法仅针对稀疏分块码定义，即分块循环卷积。我们的实验揭示，分块码的变量绑定具有理想性质，而一般稀疏向量的绑定虽也有效，但为有损的，类似于此前的提议。我们在示例应用（认知推理与分类）中展示了基于稀疏分块码的 VSA，并讨论其与神经科学与神经网络的相关性。