基于离散字典的分解层用于结构化表示学习

神经符号神经网络广泛研究用于将符号操作与神经网络集成，从而提高系统综合泛化能力。具体而言，张量积表示 (TPR) 框架使神经网络能够通过将数据的符号结构编码到向量空间中来执行可微分的符号操作。然而，TPR 基于的神经网络往往难以将未见数据分解为结构化的 TPR 表示，从而削弱了其符号操作。为解决此分解问题，本文提出了离散字典分解层 (D3)，旨在增强 TPR 基于模型的分解能力。D3 采用离散、可学习的键值字典进行训练，以捕获分解操作所必需的符号特征。它利用在训练期间获得的先验知识，通过将输入数据映射到这些字典中预先学习的符号特征来生成结构化的 TPR 表示。D3 是一个即插即用的层，可无需修改地集成到任何 TPR 基于模型中。我们的实验结果表明，D3 在各种 TPR 基于模型上显著提高了系统综合泛化能力，所需的额外参数数量也更少。值得注意的是，D3 在需要对未见组合数据的系统分解的合成任务上优于基线模型。