面向分布式稀疏块码的因数分解器

分布式稀疏块码（SBCs）使用定宽向量对符号数据结构进行编码与操作，具有紧凑表示的特点。然而，一个主要挑战是在不必遍历所有可能组合的情况下，将数据结构的分布式表示解耦或分解为组成元素。当 SBCs 向量因感知不确定性和现代神经网络生成查询 SBCs 向量时的近似而含有噪声时，该因式分解更具挑战性。为应对这些挑战，我们首先提出一种快速且高精度的方法，用于因式分解更灵活因而更广义形式的 SBCs，称为 GSBCs。我们的迭代因数分解器引入了基于阈值的非线性激活、条件随机采样以及基于 $\ell_\infty$ 的相似度度量。其次，当使用深度卷积神经网络（CNNs）生成的含噪乘积向量进行查询时，所提因数分解器仍保持高准确率。这便于其应用于替换 CNNs 中大型全连接层（FCL），其中 $C$ 个可训练类别向量或属性组合可由我们的因数分解器以 $F$ 个因子码本隐式表示，每个码本含 $\sqrt[\leftroot{-2}\uproot{2}F]{C}$ 个固定码向量。我们提供了一种方法，通过新颖损失函数将因数分解器灵活集成于 CNNs 的分类层。借助该集成，卷积层可生成我们的因数分解器仍能解码的含噪乘积向量，且解码出的因子可基于下游任务具有不同解释。我们在 CIFAR-100、ImageNet-1K 和 RAVEN 数据集上的四种深度 CNN 架构上验证了方法的可行性。在所有用例中，与 FCL 相比参数量和运算量均显著减少。